ITlyng-CSDN博客

原创大数据采集工具

大数据是当下最火热的话题，对于一个公司来讲，如果要搭建自己的大数据平台，至少需要了解这个平台包含哪些过程：1.数据采集（collect）2.数据存储（store）3.数据处理（process）4.数据展现（可视化（visualize），报表（reporting）和监控（monitoring））其中，数据采集又是必不可少的，因为当下数据源量大，复杂，所以如何保证数据采集的可靠性，...

2018-11-18 09:55:33 3711

消息队列中间件是分布式系统基础架构中必不可少的一个组件，主要用来解决应用解耦，异步消息，流量削峰、日志处理和消息通讯等问题，实现高可用，高性能，可伸缩和最终一致性架构。使用较多的消息队列ActiveMQ、RabbitMQ、Kafka等。异步消息：常用场景就是用户在网站注册成功时，需要发送短信和邮件，这种需求就可以在注册信息插入数据库成功后，将发送任务写入消息队列，同时将结果返回给用户，降低系统...

2018-11-18 09:21:14 200

转载后端架构师系列---微服务

微服务是指开发一个单个小型的但有业务功能的服务，每个服务都有自己的处理和轻量通讯机制，可以部署在单个或多个服务器上。微服务也指一种种松耦合的、有一定的有界上下文的面向服务架构。也就是说，如果每个服务都要同时修改，那么它们就不是微服务，因为它们紧耦合在一起；如果你需要掌握一个服务太多的上下文场景使用条件，那么它就是一个有上下文边界的服务，这个定义来自DDD领域驱动设计。优点:每个微服

2018-05-07 10:47:56 1011

原创 spring集成activemq

最近在项目中开发新功能的时候遇到需要发送短信和邮件以及待办的需求,初期开发时,直接是处理完业务逻辑,再调发送的接口,走的是同步的操作,这种情况下,会导致提交很慢,会影响系统的运行和用户的体验度,于是想到可以运用消息队列来削峰,走异步操作,很好的解决了这个问题,不多说,直接上代码:1.再pom.xml中添加依赖:2.编写activemq配置:spring-amq.xml<bea

2018-01-10 17:24:01 403

原创 linux环境下mysql服务的安装

linux安装mysql服务分两种安装方法：①源码安装，优点是安装包比较小，只有十多M，缺点是安装依赖的库多，安装编译时间长，安装步骤复杂容易出错；②使用官方编译好的二进制文件安装，优点是安装速度快，安装步骤简单，缺点是安装包很大，300M左右。以下介绍linux使用官方编译好的二进制包安装mysql。1.下载官方编译好的二进制文件并上传至Linux环境,这里用到的是cen

2018-01-08 11:01:03 796

转载基于资源的权限管理

什么是角色当说到程序的权限管理时，人们往往想到角色这一概念。角色是代表一系列可执行的操作或责任的实体，用于限定你在软件系统中能做什么、不能做什么。用户帐号往往与角色相关联，因此，一个用户在软件系统中能做什么取决于与之关联的各个角色。例如，一个用户以关联了”项目管理员”角色的帐号登录系统，那这个用户就可以做项目管理员能做的所有事情――如列出项目中的应用、管理项目组成员、产生项目报表等。从

2018-01-07 20:10:48 4306

原创 jeesite-4

这一篇,依旧讲解jeesite的工具组件1.工具类,具体位置见下图,每个类的具体作用,相信大家都能见明知义,这里我就不多说了除此之外,还有一些工具类在以下位置:2.自定义标签3.4.

2018-01-07 17:55:22 2330

原创 jeesite-3

这一篇,来介绍一下jeesite内置组件的应用: 1.布局组件布局文件配置：/jeesite/src/main/webapp/WEB-INF/decorators.xml默认布局文件:/ jeesite/src/main/webapp/WEB-INF/views/layouts/default.jsp使用布局文件：JSP的he

2018-01-07 17:28:15 2614

原创 jeesite-2

本文主要讲述jeesite的文件结构和配置,如图所示先介绍源码目录,不多说,直接上图:资源目录:发布目录:jeesite.properties中的相关配置:

2018-01-07 11:13:07 770

原创 jeesite学习-1

jeesite是当下最流行的企业信息化快速开发平台,不仅内置了企业信息化系统的基础功能:系统管理(sys):企业组织架构(用户,机构,区域)管理,菜单管理(操作权限,按钮权限),角色权限管理:给角色分配菜单权限,按机构进行数据范围权限的划分.字典管理等.内容管理(cms):内容管理(文章,链接),栏目管理,站点管理,公共留言,文件管理,前端网站展示等.办公(oa):

2018-01-04 18:20:22 521

转载做个男人，做个成熟的男人，做个有城府的男人

做个男人，做个成熟的男人，做个有城府的男人突然间觉得，自己已经不是青涩时候的自己了。应该正视老婆的叽叽喳喳，领导的唧唧歪歪，同事的稀稀拉拉，同学朋友们的嘻嘻哈哈。看了一篇帖子，讲男人的，觉得说的很好，拿过来，鞭策自己，同时鞭策能看到这篇文章的朋友们，男人们。是谁说过的，一个人的成熟程度，与其的情商是成正比的，一个人成事的概率也与其情商是成正比的。一：沉稳

2018-01-04 14:19:27 337

转载 git flow的使用

git flow的诞生背景:一般来说，如果你是一个人开发，可能只需要 master、develop 两个分支就 ok 了，平时开发在 develop 分支进行，开发完成之后，发布之前合并到 master 分支，这个流程没啥大问题。如果你是 3、5 个人，那就不一样了，有人说也没多大问题啊，直接可以新建 A、B、C 三个人的分支啊，每人各自开发各自的分支，然后开发完成之后再逐步合并到 mas

2018-01-03 18:50:23 381

原创 git&github的使用-2

git alias:git命令别名,使用git更加方便快捷:git config --global alias.co checkout # 别名git config --global alias.ci commitgit config --global alias.st statusgit config --global alias.br branchgit config --

2018-01-03 18:28:34 312

原创 markdown快速上手

markdown是一种电子邮件风格的标记语言.优点如下:1.纯文本书写,兼容性强,可以用所有的文本编辑器打开.2.可以让用者专注于文字,而不用关心排版.3.格式转换方便,可以轻松的转换为html等.4.标记语法简单,易上手展现出来的样式有极好的可读性.常用的格式如下:标题:#和文字之间保留一个字符的空格.# 一级标题## 二级标题### 三级标题###

2018-01-03 15:53:39 257

原创 git&github的使用-1

github从诞生开始,主要提供的是基于git的版本托管服务,发展到现在,已经成为全球最大的开源社区.git是一款免费,开源的分布式版本控制系统.在github上可以学习优秀的开源项目,多人协作,搭建博客/个人网站或者公司官网,基于Mrakdown的写作,个人简历等.github中的一些常用名词:Repository:相当于项目Issue:问题(别人针对于你的repositor

2018-01-03 15:26:25 329

原创 ehcache缓存使用

在当下主流的开发缓存技术当中,memcached/redis/ehcache最常用,本文主要介绍其中ehcahce缓存的常用配置和简单实用:1.在工程的src目录下添加ehcache.xml配置文件:<?xml version="1.0" encoding="UTF-8"?> ehcache> diskStore path="java.io.tempd

2018-01-03 11:13:20 421

原创文件服务器-fastdfs

fastdfs是一款开源的分布式文件系统,充分考虑了冗余备份,负载均衡,现行扩容等机制,并注重高可用,高性能等指标,并能够提供上传,下载等服务,是一种高性能的文件服务器,主要用来解决海量数据的存储;fastdfs由tracker server(跟踪服务器),storage server(存储服务器)和client(客户端)组成.client通过请求tracker server,调度stor

2017-02-27 14:18:52 715

原创 java poi 操作excel总结

Poi是apache旗下的一个开源组件，提供一套java的api对word、excel等文档进行操作。使用HSSF进行excel文件写操作： HSSF只支持97-03版本excel，扩展名是.xls，(每个sheet行数最大65536行)。缺点：如果写数据量大文件，可能会导致内存溢出，原因，将所有数据对象放在内存中，最后执行文件内容写。优点：对于小数据量

2017-02-21 11:41:49 542

原创解决用户重复提交问题

在web应用中,由于网络,软件,硬件的一些问题,会导致用户重复提交,具体表现为:点击提交按钮多次,点击刷新按钮,使用浏览器后退按钮重复之前的操作,使用浏览器的历史记录重复提交表单,浏览器重复的http请求等解决方案有:1.在用户点击完提交按钮之后,通过js代码将提交按钮置为disable状态(一段时间内有效),这种方法的弊端是如果用户禁用了浏览器的JavaScript,这种方法就无效了;

2017-02-20 19:08:03 1543

原创分布式与集群的区别与联系

分布式是指把一个业务分拆为多个子业务,不同的子业务部署在不同的服务器上;集群是指针对于同一个业务应用,部署在不同的服务器上;区别如下:1. 分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。2. 分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。3. 集群一般是物理集中、统一管理的，而分布式系统则不强调这

2017-02-20 18:43:00 663

原创 spring+spring mvc+mybatis配置

当前常用的框架是ssm(spring+spring mvc+mybatis),现将其基本配置整理如下:1.通过maven导入项目所需要的jar包 4.0.0 com.creditease.cams2.ph cams2.ph 0.0.1-SNAPSHOT war cams2_ph 档案管理系统(普惠端) maven-c

2017-02-20 17:36:01 551

翻译 spring+mybatis环境下多数据源的配置

随着业务的扩展和数据访问量的剧增,海量数据的存储,为了保证系统的稳定性和提升系统的性能,加快客户请求的响应速度,业务拆分,分库分表和多数据源的应用显得异常重要本文是基于java开发中spring+mybatis的环境下分析的多数据源的应用:针对于多数据源,又分两种情况:1.多个数据库之间没有关联关系,2.多个数据库之间存在master-slave的关系,针对于第一种情况1.

2017-02-20 16:53:49 587

原创关于hbase应用的一些看法

在现在很多大型互联网的分布式应用中,针对于高并发和海量数据的存储问题,一种常见的解决方案就是针对mysql/oracle等关系型数据库的,业务拆分,分库分表,这样做虽然能够提高应用的并发处理能力和查询性能,但是也会带来一系列新的问题:1.单表的事务上升为跨表,跨库甚至分布式的事务;2.由于数据被切分到不同的表,不同的库中去,多表之间的关联与连接查询变得困难;3.在查询相关数据时,需要指

2017-02-20 14:43:14 883

原创如何将json文本转换为JavaScript对象

在实际项目开发过程中,json经常应用到的场景是:在后台应用程序中将响应数据封装成json格式,传到前台页面之后,需要将json格式转换为javascript对象,然后在网页中使用该数据那么,如何将json格式的数据转换为javascript对象:以下有两种解决方案:1.利用json解析器(JSON.parse(str))的方式,这种方式更安全,现在主流的,较新的浏览器中都包含了jso

2017-02-19 14:07:30 4466

原创 JavaScript 数据类型

javascript中常见的数据类型有String,Number,Boolean,初次之外还有Object,Undefined,Function,例如以下代码:"text/javascript"> function testTypeOf() { var message = "hello"; alert(typeof(m

2017-02-19 13:35:09 254

原创 javascript对象

javascript对象的例子:var people = {name:"tom",age:24,sex:'M'};对象由花括号分隔。在括号内部，对象的属性以名称和值对的形式 (name : value) 来定义。属性由逗号分隔也可以含有空格和折行var people = { name:"tom",age:24,sex:'M'};访问对象中的属性有两种方式:name

2017-02-19 13:23:32 292

原创 java中的单例模式

恶汉式public class EagerSingleton { private static final EagerSingleton instance = new EagerSingleton(); private EagerSingleton() { } public static Eag

2017-02-19 13:20:36 271

原创 mybatis中#{}和${}的区别于用法

区别:#{},用于传递参数,相当于一个占位符,可以防止sql注入,安全;${},用于sql的拼接,常用语group by,order by等不能使用占位符的语句中;用法:#{}"condition.userId != null and condition.userId != ''"> AND user_id = #{condition.userId

2017-02-19 13:03:57 2231

原创 mybatis choose标签的用法

先上代码:choose> when test="BEGINTIME != null and BEGINTIME != '' and ENDTIME != null and ENDTIME != ''"> AND time BETWEEN #{BEGINTIME, jdbcType=VARCHAR} AND #{ENDTIME, jdbcType=VARCHAR

2017-02-19 13:00:50 2499

转载 mysql删除重复数据只保留一条

mysql删除重复数据只保留一条;关键代码(标红):同oracle中不同DELETE book from book , ( SELECT id FROM ( SELECT id FROM book WHERE name IN(SELECT name FROM book GROUP BY name HAVING count(name)

2017-02-19 12:47:54 794

原创 mysql limit的用法

在mysql中用select查询数据时,经常会限定数据集的取值范围,这时候会用到limit:SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset 第一个参数是偏移量,第二个参数是从偏移量+1开始取回的记录行数,这两个参数都只能是整数;初始记录行的偏移量是0,而不是1,limit最常用的几种写法

2017-02-19 12:31:51 697

转载 maven中配置spring所需要的jar

4.0.6.RELEASE-------------------------------------------------------------------------------------------------------------------------------------------org.springframeworkspring-aop${sprin

2017-02-19 12:14:54 827

原创 mysql数据库中文乱码

在项目中经常会遇到往数据库更新数据或者从数据库取数据时出现中文乱码问题,这种情况下需要确定乱码到底是在应用程序中产生的还是数据库中产生的a.应用程序中乱码1.在web.xml中设置过滤器,将从客户端的请求信息转换为utf-8;杜绝从源头出现的中文乱码; encodingFilter org.springframework.web.filter.CharacterEnco

2017-02-19 11:14:39 352

原创 mysql中replace into的用法

在mysql数据库中,遇到向某个表中插入数据的情况时,除了可以用insert into,也可以用replace into,但它们之间是有差别的从字面上理解replace into含有更新替换的意思,1.对于一个含有主键或者唯一索引的表来说,执行insert into操作时,如果表中已经存在记录,则不会执行,否则,会插入记录;2.对于一个含有主键或者唯一索引的表来说,执行replace

2017-02-19 11:12:24 1474

原创 java中数据库连接池框架c3p0和dbcp的区别

在java项目中为了节省与数据库之间的交互成本,经常会用到数据库连接池,dbcp和c3p0就是其中比较流行的两种所谓数据库连接池,就是事先把与数据库的连接放在一起的管理容器,当项目中要与数据库打交道的时候,不需要重复的与数据库建立连接,断开连接,浪费时间,损耗性能,

2017-02-19 10:48:33 1205

ITlyng的博客