- 博客(446)
- 收藏
- 关注
RSS订阅原创 es一致性问题
https://segmentfault.com/a/1190000005844120 概述内部因素es的一致性主要有两个方面：使用lucene索引机制带来的refresh问题使用分片和复制带来的副本一致性问题(consistency：one、all、quorum)外部因素外部因素的话，就是如果使用db跟es的同步机制的话，那么这里的同步有一定...
2016-08-17 20:07:59
1601
原创 如何防止ElasticSearch集群出现脑裂现象
如何防止ElasticSearch集群出现脑裂现象什么是“脑裂”现象？由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况称为集群脑裂（split-brain）现象。这个问题非常危险，因为两个新形成的集群会同时索引和修改集群的数据。如何避免脑裂问题？避免脑裂现象，用到的一个参数是：discovery.zen.minimum_master...
2016-05-24 15:04:54
411
原创 linux vim 替换指定字符为回车
linux vim 替换指定字符为回车 1 将 aaa,bbb,ccc 替换成 aaa bbb ccc 方法： :%s/,/^M/g ^M是用ctrl-v然后ctrl-m敲出来的 2 将 aaa bbb ccc 替换成 aaa,bbb,ccc 方法： :%s/\n/,/具体可参阅下述文件/usr/share/vim/vim63/doc/change.txt...
2016-05-17 20:31:50
1031
原创 elasticsearch如何安全重启节点
elasticsearch如何安全重启节点大岩不灿 发表于 2014年10月14日 浏览 6,568 次elasticsearch集群，有时候可能需要修改配置，增加硬盘，扩展内存等操作，需要对节点进行维护升级。但是业务不能停，如果直接kill掉节点，可能导致数据丢失。而且集群会认为该节点挂掉了，就开始转移数据，当重启之后，它又会恢复数据，如果你当前的数据量已经很大了，这是很耗费机器...
2016-05-11 14:08:24
325
原创 elasticsearch-sql 安装
https://github.com/NLPchina/elasticsearch-sql/blob/elastic2.3.2/README.md
2016-05-11 14:07:36
170
原创 elasticsearch如何安全重启节点(续)
elasticsearch如何安全重启节点(续)大岩不灿 发表于 2015年9月21日 浏览 1,086 次之前分享的一篇文章介绍了如何滚动rolling重启elasticsearch集群。但是当数据量很大的时候，可能那种方式并不适合修改整个集群的配置。如果你无法通过api更改集群属性，还是建议你把整个集群关闭，重启整个集群。重启步骤如下：1、关闭整个集群curl -XPO...
2016-05-11 14:07:05
282
原创 MySQL主从复制延迟的监测及缓解
MySQL的主从复制有多种原因可以导致延迟，这个是公认的了，下面我们谈谈怎样监测复制的延迟，以及怎样尽量的解决延迟的问题。 延迟的监测Seconds_behind_master在SLAVE上执行SHOW SLAVE STATUS，监控Seconds_behind_master列值，备库Seconds_Behind_Master值是通过将服务器当前的时间戳（这里...
2016-05-07 12:12:23
168
原创 MySQL 設定 Master-Slave Replication 同步
Home MySQL MySQL 設定 Master-Slave Replication 同步MySQL 設定 Master-Slave Replication 同步 Sam Tang 22 June 2015 MySQL No Comments<iframe id="aswift_2" style="margin: 0px; ...
2016-05-07 12:10:03
168
原创 哭了：整一天Java Runtime exec的挂死（不退出）问题，原来是酱子
哭了：整一天Java Runtime exec的挂死（不退出）问题，原来是酱子http://www.blogjava.net/alwayscy/archive/2009/05/15/270925.html今天搞了一天，JAVA调用一个PERL程序，得不得就退不出，千试万试，LOG精细到逐行，知道在哪停住了，但打死不知道为什么。后来吃个饭都放弃了，居然又找到答案，要没看到它，那真以为里面...
2016-02-04 14:49:06
1557
原创 hadoop-2.2.0 升级 2.6.0
hadoop-2.2.0 升级 2.6.0hadoop-2.2.0 准备通过一次全面的fsck检查现有系统是否健康，并可记录下fsck的输出信息，用于升级后的对比。./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log./bin/hadoop dfs -lsr / > dfs-v-ol...
2015-12-24 14:31:19
128
原创 Hadoop中CombineFileInputFormat详解
转http://blog.csdn.net/wawmg/article/details/17095125 在MR实践中，会有很多小文件，单个文件产生一个mapper，资源比较浪费，后续没有reduce逻辑的话，会产生很多小文件，文件数量暴涨，对后续的hive job产生影响。所以需要在mapper中将多个文件合成一个split作为输入，CombineFileInputForm...
2015-12-03 21:21:39
214
原创 com.mysql.jdbc.CommunicationsException: Communications link failure due to under
用java连接mysql数据库，出现具体错误如下：[plain] view plaincopy com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception: ** BEGIN NESTED EXCEPTION ** ...
2015-07-08 22:51:56
500
原创 将已有项目提交到github/从github上pull到本地
touch README.md //新建说明文件git init //在当前项目目录中生成本地git管理,并建立一个隐藏.git目录git add . //添加当前目录中的所有文件到索引git commit -m "first commit" //提交到本地源码库，并附加提交注释git remote add origin https://github.com/chape/t...
2015-03-19 18:06:39
125
原创 linux 下查找文件或者内容常用命令
linux 下查找文件或者内容常用命令 whereis <程序名称>查找软件的安装路径-b 只查找二进制文件-m 只查找帮助文件-s 只查找源代码-u 排除指定类型文件-f 只显示文件名-B <目录> 在指定目录下查找二进制文件-M <目录> 在指定目录下查找帮助文件-S <目录> 在指定目录下查找源代码...
2015-03-09 12:26:07
123
原创 正确理解Linux内存占用过高的问题
Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上：Mem: 3889836k total, 3341868k used, 547968k free, 286044k buffersSwap: 6127608k total, 0k used, 6127608k free, 1554888k cached如...
2015-02-13 10:27:50
401
原创 中药偏方
1.治疗脑梗的。脑袋里长肿瘤，脑梗等症状，大医院治疗一般都得开刀，大岁数了的人风险太大，但是少数民族——白族的人根本不当回事，说有什么呀，你弄7.8斤晒干的桔子皮作枕头，天天枕着它就行了。所以记住哦，干橘子皮枕头天天睡治疗脑肿瘤和脑梗有奇效。 2.肝上长了肿瘤。有一农村人穷，家里三千元都出不起，结果村里一个老人告诉他说，你还不去河滩水边上，去找“水葱”去。 “水葱”，据说是水里长的葱...
2015-01-29 22:37:50
541
原创 MYSQL JDBC的批处理操作三种方式
SQL批处理是JDBC性能优化的重要武器，经本人研究总结，批处理的用法有三种。 package lavasoft.jdbctest; import lavasoft.common.DBToolkit; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLEx...
2015-01-28 18:36:03
449
原创 HSSFClientAnchor 说明
public HSSFClientAnchor(int dx1,int dy1,int dx2,int dy2,short col1,int row1,short col2,int row2);Creates a new client anchor and sets the top-left and bottom-right coordinates of the ancho...
2014-12-26 11:41:17
3230
原创 Bug 51173 - XSSFClientAnchor.setDx1() has no effect
http://blog.csdn.net/hantiannan/article/details/7012363 ASF Bugzilla – Bug 51173XSSFClientAnchor.setDx1() has no effectLast modified: 2014-04-02 10:15:01 UTC H...
2014-12-25 22:14:38
960
原创 使用Apache POI精确设置Excel的行高和列宽
EXCEL的行高度和列宽度单位是不一样的。1,EXCEL列高度的单位是磅,Apache POI的行高度单位是缇(twip)：1英寸=72磅=25.4毫米=1440缇1磅=0.353毫米=20缇POI中的行高＝Excel的行高度*20Excel的行高度=POI中的行高/20 这里顺便把像素的换行方法说一下：DPI = 1英寸内可显示的像素点个数。通常电脑屏幕是96DPI...
2014-12-19 14:41:57
1069
原创 Jackson 动态过滤属性
用到的类库为：Jackson 版本1.9.5， 最近在看Google guava,所以用上了，版本是12.0-rc1废话不多说，定义两个Bean 先这两个bean 是父子关系。Java代码 public class User { private String name; private Date createDate; ...
2014-12-19 10:28:25
201
原创 tomcat服务器大数量数据提交Post too large解决办法
tomcat默认设置能接收HTTP POST请求的大小最大为2M,如果你的POST请求传递的数据大于2M，就会出现Post data too big的错误。解决办法：$TOMCAT_HOME$/conf/server.xml,找到里面的<Connector>标签,在该标签中添加"maxPostSize"属性，将该属性值设置成你想要的最大值,单位是字节,如果你把这个值设置为0(m...
2014-12-17 11:22:02
1010
原创 MySQL记录存在则更新，不存在则插入
Sql代码 CREATE TABLE `tb_file_authorize` ( `authorize_id` int(11) NOT NULL auto_increment, `str_id` int(11) default NULL COMMENT '用户标识', `file_id` int(11) default NULL COMMENT...
2014-12-15 20:43:06
120
原创 hbase on yarn 安装笔记，私货，浅显易懂
http://blog.csdn.net/jiushuai/article/details/26694475 java高级交流群：37341439 ，文明看不明白的地方可以进群询问啊！欢迎学习hbase的同志进群一同学习，一同进步。 hbase不需要编译，只需要选择需要的hadoop版本对应的hbase就可以。比如hbase-0.98.2-hadoop2-bin.ta...
2014-12-14 12:13:20
667
原创 storm on yarn 最简单安装笔记！！！私货哦！！！
http://blog.csdn.net/jiushuai/article/details/26693311http://blog.csdn.net/jiushuai/article/details/18729367http://www.cnblogs.com/byrhuangqiang/p/3824540.htmlhttp://zh.hortonworks.com/kb/s...
2014-12-14 12:11:38
164
原创 spark on yarn 安装笔记，私货总结！浅显易懂！
http://blog.csdn.net/jiushuai/article/details/26693569 spark on yarn 安装笔记，私货总结！浅显易懂！分类： hadoop2014-05-23 13:01 1487人阅读 评论(0) 收藏 举报 scala和spark的包都在官网找就可以了！spark 有几种形式，standal...
2014-12-14 12:10:34
103
原创 kafka-storm-zookerper实时分析
http://www.itcsl.cn/2014-05-23/kafka-storm-zookeeper%E5%AE%9E%E6%97%B6%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%901-%E5%BA%8F/
2014-12-13 18:14:41
261
原创 yum安装maven2
yum安装maven2 (2012-08-09 21:27:00)转载▼标签： 杂谈 http://stackoverflow.com/questions/6298865/how-to-install-maven-into-red-hat-linux-enterprise-addition-6注意是安装maven2不是mavenw...
2014-12-10 15:21:54
138
原创 Git URL 改变后，本地链接修改
git remote set-url origin git@ github.com:robbin/robbin_site.git
2014-12-10 14:36:56
327
原创 yarn 集群部署，遇到的有关问题小结
yarn 集群部署，遇到的有关问题小结优良自学吧提供yarn 集群部署，遇到的有关问题小结,yarn 集群部署，遇到的问题小结 版本信息： hadoop 2.3.0 hive 0.11.0 1. Application Master 无法访问 点击application mater 链接，出现 http 500 错误 <iframe src="h...
2014-12-08 13:56:27
335
原创 hadoop 2.3.0 打不开history server文件的问题
Error message looks like this:Couldnot load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist...
2014-12-07 22:45:15
942
原创 POI设置EXCEL单元格格式为文本、小数、百分比、货币、日期、科学计数法和中文大写...
POI设置EXCEL单元格格式为文本、小数、百分比、货币、日期、科学计数法和中文大写博客分类： FILE/IOExcel 再读本篇文章之前，请先看我的前一篇文章，前一篇文章中有重点讲到POI设置EXCEL单元格格式为文本格式，剩下的设置小数、百分比、货币、日期、科学计数法和中文大写这些将在下面一一写出以下将要介绍的每一种都会用到这三行中的变量 ...
2014-12-07 14:50:39
224
原创 使用 poi导大量数据到excel 2007导致内存溢出
v刚开始的时候，我执行到6万条记录就内存溢出了，我电脑内存完全被占用了。后来通过查资料，使用SXSSFWorkbook 这个类来写excel，并且在内存中记录满100条的时候就往硬盘上输出。这样我电脑内存一直有空余。代码出错在187行，workbook.write(os);这一段。我的数据量并没有达到Integer的最大值。我感觉是在写excel的过程中，有大量的对象被创建，而没有被gc及时...
2014-12-05 22:46:39
341
原创 利用java开源项目apache poi写excel文件行数过多问题解决方案
http://blog.sina.com.cn/s/blog_4add93f0010006ih.html 利用java开源项目apache poi写excel文件行数过多问题解决方案 (2006-12-30 14:09:18)转载▼ 分类： 信息技术 我们项目中有一个应用就是把数据导出为excel文件，提供给管理员导出到本地。...
2014-12-05 20:15:03
436
原创 IDEA 分享项目到 Git@OSC
http://my.oschina.net/fdblog/blog/221195 前言:在正常的项目开发里面，我们一般是先有项目，然后再建立版本管理的，所以如果是先在Git@OSC 建立项目然后clone下来，再提交的话，我这种处女座的人总是会很不爽的。。。首先，我们解决的情况是，已经有了一个正在开发的项目，现在我们要把他分享到git@osc上面去。1.第一步，当然是先在Git@...
2014-11-18 17:59:37
84
原创 Nexus启动失败The nexus-webapp service was launched, bu
JDK:版本1.6 下了最新版的nexus-2.7.2-03，却始终运行不起来，显示The nexus-webapp service was launched, but failed to start. 查看%Nexus_HOME%下logs目录下的日志文件，报错：JVM... jvm 5 | java.lang.UnsupportedClassVersionError: ...
2014-11-17 16:43:50
155
原创 kafka安装
kafka安装http://blog.csdn.net/weijonathan/article/details/18075967 http://blog.csdn.net/kimmking/article/details/8263057Kafka分布式环境搭建分类： JMS/MQ2012-12-06 00:08 3274人阅读 评论(1) 收藏 举报...
2014-11-08 20:59:44
87
原创 kafka详解一、Kafka简介
kafka详解一、Kafka简介分类： Kafka2014-08-18 10:45 375人阅读 评论(0) 收藏 举报背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它 如何及时做到如上两点 以上几个挑战形...
2014-11-08 17:05:55
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人