mingtian625-CSDN博客

原创架构学习-----架构概览(一)

笔者做java开发已经四年多了 , 这个架构学习系列 , 算是对四年时间的一个积累 , 也是做一个记录 , 概括:《可扩展的艺术》一书提出了一个更加系统的可扩展模型——AKF可扩展立方（Scalability Cube）。这个立方体中沿着三个坐标轴设置分别为：X、Y、Z。X轴扩展 —— 关注水平的数据和服务克隆，也就是前文提到

2017-04-27 00:08:45 808

原创 openssl学习 - 手动升级安装(一)

环境:系统:centos 6.5openssl:OpenSSL_1_0_1h介绍:在OpenSSL 1.0.1g版本中“ Heartbleed”漏洞被修复。所有centos6.5的系统运行OpenSSL 1.0.1e (openssl-1.0.1e-16.el6_5.4) 都会受到威胁 , 所以笔者正好升级一下openssl. 本

2016-08-30 14:54:41 15092

原创 thrift学习 --- 安装(一)

环境:linux:centos6.5thrift:0.9.3jdk: jdk8thrift简介:thrift是用于分布式不同语言的程序之间数据交互(服务化)的工具 , 在rpc工具中是性能稳定性比较突出的工具 . thrift和netty之间的区别是 , apache thrift是一整套，包涵序列化，传输，等，netty只是通讯的解决方案.thri

2016-08-25 11:17:00 5907

转载从LongAdder看更高效的无锁实现

LongAdder确实用了很多心思减少并发量，并且，每一步都是在”没有更好的办法“的时候才会选择更大开销的操作，从而尽可能的用最最简单的办法去完成操作。追求简单，但是绝对不粗暴。接触到AtomicLong的原因是在看guava的LoadingCache相关代码时，关于LoadingCache，其实思路也非常简单清晰：用模板模式解决了缓存不命中时获取数据的逻辑，这个思

2016-07-27 15:43:52 1229

原创 redis学习五 ------ redis高可用(sentinel)

环境:系统:centos 6.4redis:3.2.0机器ip: 192.168.10.160 , 192.168.10.161高可用集群图:sentinel配置:cd /opt/redis320/configtouch sentinel.confvim sentinel.con

2016-06-06 00:10:28 857

原创 redis学习四 ------ redis主从同步(读写分离)

环境:系统:centos 6.4redis:3.2.0机器ip: 192.168.10.160 , 192.168.10.161主从同步原理:*slave连接到master*slave发送SYNC命令*master服务器备份数据库到.rdb文件*master服务器把.rd

2016-06-05 17:59:35 5232

原创 redis学习三 ------ redis持久化

环境:系统:centos 6.4redis:3.2.0机器ip: 192.168.10.160 , 192.168.10.161redis的持久化有两种 , RDB和AOF , 这两种方式都有他们的特点, 可以根据特点在不同的应用场景使用RDB原理和场景:说到rdb的原理,首先要说到这个的触发条件 , 一种是手动触

2016-06-05 17:35:11 677

原创 redis学习二 ------ redis常用命令

环境:系统:centos 6.4redis:3.2.0机器ip: 192.168.10.160 , 192.168.10.161基础常用命令:#设置值set id 001#获取值get id#删除值del id (integer)1 ( 表示成功 )#查看某个key是否存在exists id(intege

2016-05-29 22:35:11 6803 1

原创 redis学习一 ------ redis安装

环境:系统:centos 6.4redis:3.2.0机器ip: 192.168.10.160 , 192.168.10.161下载解压redis:cd /opt/tmpwget http://download.redis.io/releases/redis-3.2.0.tar.gztar -zvxf redis-3.2.0.tar

2016-05-28 23:41:53 703

原创 protobuffer安装和使用

下载下载安装包。https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gz下载完成以后，上传到服务器上，然后解压 tar -zvxf protobuf-2.6.1.tar.gz安装cd protobuf-2.6.1初始化配置./configure

2016-02-25 15:42:25 8251 2

原创 es三 -- 安装部署logstash

环境：系统：CentOS release 6.6 (Final)logstash: 1.5.5jdk : 1.8下载：cd /home/yuezh2wget https://download.elastic.co/logstash/logstash/logstash-1.5.5.tar.gztar -zvxf logstash-1.5.5.tar

2015-12-02 11:27:53 533

原创 centos上安装gradle

系统环境：系统：CentOS release 6.4 (Final)CPU：4 Intel(R) Xeon(R) CPU E7- 4870 @ 2.40GHzgradle:2.8下载并解压cd /usr/localwget https://services.gradle.org/distributions/gradle-2.8-bin.zipunzip grad

2015-11-23 11:09:15 4671

原创日志实时分析统计平台三 ----- storm安装配置

环境版本：jdk : 1.8.0hadoop : hadoop-2.6.0-cdh5.4.8flume : flume-ng-1.5.0-cdh5.4.8系统：centos6.6storm : 0.9.6storm安装： * 将下载的storm压缩包上传到服务器

2015-11-16 18:24:55 582

原创日志实时分析统计平台二 ----- flume平台搭建配置

安装环境：jdk : 1.8.0hadoop : hadoop-2.6.0-cdh5.4.8flume : flume-ng-1.5.0-cdh5.4.8系统：centos6.6安装hadoop环境：安装flume之前，需要先安装hadoop环境，具体可以参考本人以前的记录hadoop安装配置，安装完成以后，再安装

2015-11-16 17:20:00 613

原创日志实时分析统计平台一 ----- 简介

业务背景：根据公司的业务需要，所以本人负责搭建一个日志的试试分析统计平台，根据日志统计一些数据，然后展现在页面上，方便运营人员来分析运营方式，和产出各种报表，用于汇报。所以根据需要，本人和领导共同决定使用当前很火的大数据的框架来进行这项工作，本人会将工作过程中遇到的问题等进行记录，也是对自己成长的积累。打算搭建的架构和用到的技术：图中

2015-11-16 16:16:34 2111

原创 vbox虚拟机的couldn't resolve host问题

本人在使用vbox虚拟机进行练习hadoop的时候，出现了一个棘手的问题，就是在安装软件的时候，一直说是域名无法解析，就是unknow host和cannot resolve host....问题，导致无法上网，后来在网上搜索一些资料，发现了一个常用的解决方式：但是本人按照这种方式操作以后，依然没有解决问题，还是无法解析域名然后，本人开始怀疑

2015-11-06 00:23:57 1932

转载 device eth0 does not seem to be present, delaying initialization

问题描述：本人在使用vmbox虚拟机进行练习的时候，遇到了一个问题，那就是从一台机器上拷贝的vdi文件到另一台机器上的后，用vmbox运行的时候，网络无法正常使用，然后再网上查找了一些资料，发现原来是vdi文件中mac地址已经被绑定，然后分享一下本人搜到的解决方案：vmlite虚拟机启动出错，就把这个虚拟机删除掉重新建立，系统虚拟硬盘使用之前的，启动系统后不能上网，通过ifco

2015-10-27 01:02:25 457 1

原创 es 二 ---- elasticsearch多节点集群不成功

环境：系统：centos6.5elasticsearch:1.5.2本人在构建elasticsearch的时候，出现了一个问题，就是启动第二个es的时候，无法和第一个启动的es形成集群，花费了本人大量的时间，所以，现在把本人解决的方法分享给大家:网上一般的解决方法就是关闭linux防火墙，但是本人感觉不是很好，所以想要尝试一下打开端口的方式。

2015-10-26 13:51:05 5561

原创 win10正式版关机内存不能读和开机画面卡死问题解决

本人在使用win10操作系统的时候，出现了两个问题，一个是开机的时候可能会卡死在开机画面；还有一个就是关机的时候会弹出一个对话框，说是内存不能读。虽然说这两个问题并不影响本人电脑的正常使用，但是出现的次数多了难免会烦躁，所以特地花了一个晚上的时间解决了这两个问题，然后把处理问题的过程分享给大家问题一：开机的时候可能会卡死在开机画面本人在网上查阅了一些资料，发现最靠谱

2015-10-21 22:39:36 2799

原创消息队列学习一 ------ rocketmq启动nameserver异常解决

系统环境：centos:6.5jdk:1.7rocketmq:3.2.6 笔者在学习rocketmq的时候，想要先启动nameserver，但是这个时候出现了问题，ERROR: Please set the JAVA_HOME variable in your environment, We need java(x64)! !!但是系统上已经安装了jd

2015-10-21 17:14:30 16822 1

原创 hadoop学习笔记七 -- hadoop集群高可用架构安装配置

环境说明：centos:6.5hadoop:2.7.1zookeeper:3.4.6

2015-10-19 00:32:04 720

原创 hadoop学习笔记六 --- mapreduce原理笔记

描述mapreduce的计算整体流程：此处参考传智播客相关资料： (1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId(3).client将jar包写入到HDFS当中(path = hdfs

2015-10-19 00:19:51 443

原创 hadoop学习笔记五 -- hdfs原理

首先说hdfs的原理：hdfs的原理会从三个方面描述，一个方面是提交文件到hdfs的原理，一方面是从hdfs下载文件的原理，最后是SecondaryNameNode工作原理#上传文件到hdfs*客户端提交文件信息到namenode，然后namenode会接收要上传的文件信息，根据文件的大小和实际的datanode的使用情况分配空间生成metadata，Namen

2015-10-19 00:04:34 568

原创 hadoop学习笔记四 -- hadoop集群HA架构设计

环境:系统：centos6.5hadoop:2.7.1zookeeper:3.4.6涉及到的概念和作用解释：zk : zookeeper,主要的作用是保证HA（high available 高可用），当一个namenode节点故障以后，切换备用namenode为主节点FailoverControllerActive:也叫做DFSZKF

2015-10-19 00:02:22 2139

原创 hadoop学习三 -- zookeeper安装

系统环境：centos:6.5zookeeper:3.4.6zookeeper的安装很简单，只要解压然后配置一下文件就可以了。因为zookeeper一般是做成集群模式的，而且节点的数量要是单数比较好，所以最少会有3个节点，具体为什么是单数，要参考zookeeper的选举算法了节点：192.168.10.160下载：cd /opt/tmpwget htt

2015-10-18 14:13:04 365

原创 mysql读写分离（四）---补充常用配置

[client]default-character-set = utf8mb4 //支持表情特殊符号[mysql]default-character-set = utf8mb4 //支持表情特殊符号[mysqld]character-set-client-handshake = FALSEcharacter-set-server

2015-09-26 14:02:30 482

原创 es 一 ---- elasticsearch1.5安装使用+IK中文分词

环境：系统：centos6.4elasticsearch:1.5.2ik:1.5 1.安装elasticsearchcurl -L -O https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.5.2.tar.gztar -xvf elasticsearch-1

2015-09-24 18:18:54 2610

原创 mysql读写分离（三）--- 读写分离实现

现在的mysql读写分离方案有很多，在这里笔者列举出几种自己使用过的方案：1.spring实现route不同的数据源，来达到读写分离的目的。主要原理是根据service或者dao方法做切面，然后根据规范方法名前缀来切换不同的数据源，实现读写分离，好处，速度快，支持事务，但是缺点，是不好管理2.atlas，360开源的mysql中间件 atlas作为中间件，支持事务

2015-09-24 17:15:48 1459

原创 mysql读写分离（二）-----主从复制

环境：centos:5.7mysql:percona-server-5.6.23-72.1操作步骤：主库（自己选定一个mysql为主库）：在主服务器上建立帐户并授权slave:GRANT REPLICATION SLAVE ON *.* to 'mysync'@'%' identified by 'q123456'; //一般不用root帐号，“%”表示

2015-09-24 16:26:21 491

原创 mysql读写分离(一)----------mysql安装

环境：centos:5.7mysql:percona-server-5.6.23-72.1.tar编译安装步骤：简介Percona server 是 MySQL 的衍生版，专注于 Linux/BSD 下 MySQL 数据库服务器的改进，在功能和性能上较 MySQL 有着显著的提升。Percona Server 的编译、配置和使用与 MySQL

2015-09-24 15:42:32 680

原创 hadoop学习（二）-- 配置ssh免登陆

环境介绍：hadoop: 2.7.1centos : 6.6创建密钥文件：cd /root/.ssh/生成rsa非对称加密,输入命令以后一直按回车就可以了ssh-keygen -t rsa可以看到多了 id_rsa , id_rsa.pub 两个文件，一个私钥，一个公钥[root@hadoop115 .ssh]# ll总用量 1

2015-09-04 00:12:51 436

原创 hadoop学习（一）-- centos 64位编译安装hadoop

hadoop的默认下载版本是32位的，但是本人的系统时64位，所以在安装hadoop的时候出现了Unable to load native-hadoop library for your platform 问题，所以笔者现在要用编译安装的方式来安装hadoop环境：maven : 3.3.3hadoop: 2.7.1jdk : 1.7centos : 6.6-64位

2015-09-03 00:07:04 884

原创 centos上安装maven

本人在学习hadoop的时候，遇到了Unable to load native-hadoop library for your platform 的问题，后来从http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html 了解到，hadoop的下载包默认是32位的，但是

2015-09-02 22:21:06 436

转载 linux的vsftpd配置教程-本人亲测

转载 http://segmentfault.com/a/1190000000438443但是这个转载的内容是有问题的，本人在试过以后，把原来的内容和修改的内容，以及在使用过程中遇到的问题给总结了一下1.安装Vsftpd服务相关部件：[root@KcentOS5 ~]# yum install vsftpd*Dependencies Resol

2015-08-29 23:35:49 759

原创 mybatis源码学习--spring+mybatis注解方式为什么mybatis的dao接口不需要实现类

相信大家在刚开始学习mybatis注解方式，或者spring+mybatis注解方式的时候，一定会有一个疑问，为什么mybatis的dao接口只需要一个接口，不需要实现类，就可以正常使用，笔者最开始的时候也会有这种疑问，当时在网上查了很多资料，也问过公司比较年长的同事，但是并没有得到答案，后来通过自己看mybatis的源码的方式才明白其中道理，接下来我就对大家分享，为什么dao接口不需要实现类的原

2015-08-15 18:37:58 17807 6

原创 spring读取资源文件时自定义数据类型转换---CustomEditorConfigurer

一共四步：第一步：资源文件添加key-value:memcached.opTimeout=10000第二步：实现类型处理的editorpublic class LongPropertyEditor extends PropertyEditorSupport{ @Override public void setAsText(S

2015-08-10 20:18:56 1078

转载 spring使用PropertyPlaceholderConfigurer扩展来满足不同环境的参数配置

来自：http://www.javaarch.net/jiagoushi/548.htmPropertyPlaceholderConfigurer是spring提供我们来把一些环境变量（数据库连接相关参数，文件路径等）统一管理起来，然后在bean中指定对应的变量的。但是往往开发环境，测试环境，生成环境的这些参数配置是不同的，那么我们如何使用PropertyPlacehold

2015-08-10 17:00:01 605

原创 mybatis源码学习--mybatis懒加载内部原理

笔者最近研究mybatis比较多，所以打算把最近研究的mybatis的心得写出来，以免以后忘记，算是对这阶段的总结吧mybatis的懒加载配置什么的我就不详细说了，可以到我的github地址，看我的mybatis-demo ，里边有详细的例子我在这里画了一个图，简单的描述一下懒加载的流程，（画的不好。。。）画的不好，，，可能大家看不懂，

2015-08-08 14:05:46 9673 1

原创 spring对shiro注解支持的原理

背景介绍：笔者最近要开发一个开放的管理后台，既然是给大量的用户做的，就必须要考虑到用户的权限问题，做到安全的管理，笔者以前用过的是spring security(简称ss)，但是根据网上的资料和同事的推荐，发现使用shiro来做权限控制比ss更好一些，尤其是spring组织的项目也是用的shiro，没有用自家的ss，所以笔者准备入shiro坑本篇文章主要讲的是sp

2015-07-22 01:47:24 10580 4

原创 win8.1安装mysql56版本的时候出现服务无法启动

作者在win8.1的操作系统上安装mysql5.6的时候，出现了一个问题：然后作者就开始百度了，出现了N个答案，修改注册表；命令方式安装等等但是都不起作用，要不就是太麻烦还要重启，最后的时候，笔者终于在百度百科上搜到了一个靠谱的简单的解决方案，不用重启，只需要动动鼠标，改改配置就可以了，然后亲测成功，现在吧连接贴出来，希望能给大家点帮助http:

2015-07-19 01:30:17 1025