18 silent1

尚未进行身份认证

暂无相关简介

等级
TA的排名 5w+

elasticsearch一边滚动索引,一边删除数据出现的问题

最近在做删除es过期数据的程序。debug发现的问题记录在这。场景:1 一个线程不断写入数据2 一个线程不断滚动索引3 一个线程不断通过别名删除过期数据和过期的索引(active索引不删除)出现的问题问题1 一个索引中的数据明明过期了,但就是删不掉。下面是索引信息{ "fdfs1-active-000088" : { "aliases" : { "fdfs...

2019-12-25 14:22:12

项目中引入tika

通过maven引入tika的几个组件:<dependency> <groupId>org.apache.tika</groupId> <artifactId>tika-core</artifactId> <version>1.21</version> &l...

2019-07-31 15:07:52

kafka宕机恢复

kafka在我们的系统中处于一个消息集散地的位置,非常重要,一旦出问题,整个系统的数据处理就会停止.我原来的理解是这样的,kafka每个patition都有副本,所以一旦某个kafka服务器宕机,该服务器上的partition副本就会迁移到其它服务器。但实际情况不是这样的。我在三台虚拟机上建立了kafka集群(版本:kafka_2.12-1.1.0,操作系统redhat6.3)192.16...

2019-05-29 09:58:44

安装hive

其它项目组需要一套hive环境,原来想会很快搭好,没想到还颇费了些周折。这里记录一下。hadoop用现成的脚本安装。mysql也用现成的。hive搭建的主要过程是按照这个教程做的:http://www.cnblogs.com/zlslch/p/6700695.html,这个帖子虽然是安装1.0的,但安装2.0、3.0也好使。作者费心了。修改hive-site.xml也参考了ht...

2019-03-26 10:28:24

Global ordinals全局顺序

Global ordinals is a data-structure on top of fielddata and doc values, that maintains an incremental numbering for each unique term in a lexicographic order.全局顺序是一个数据结构,基于fielddata和doc value,该数据结

2016-11-16 15:32:13

Elasticsearch 5.0 rollover api 学习

一不留神,Elasticsearch都5.0了,这个是为了追Lucene还是solr? 想想hbase怎么从0.98, 0.99挣扎到1.0,令人唏嘘不已。els5.0很诱人的,看看这个被招安的曾勇(Medcl)怎么说:http://www.infoq.com/cn/news/2016/08/Elasticsearch-5-0-Elastic对于我来说,比较吸引人的第一个功能是...

2016-09-28 16:21:55

storm日志

2016.06.24昨天3台服务器中的1台,supervisor起不来,一直报FileNotFoundException,找不到“storm/data/supervisor/localstate/1466652445675”这个文件。后来把storm/data/supervisor目录删除掉就好了。这个估计是不正常关机造成的状态不一致造成的。具体原因不清楚。解决办法受这个帖子启

2016-08-29 18:36:52

flume+kafka+storm+redis+mongodb 配置

Flume : jvm  Xmx 缺省配置1024M  bin/flume-ng 中有设置。Kafka : jvm Xmx, Xms 缺省配置 1g  bin/kafka-server-start.sh 中有设置Storm : worker的缺省内存是768M http://blog.csdn.net/crazyhacking/article/details/40114

2016-07-07 16:41:09

storm中初始化类

bolt是这么设计的,每个协议数据对应一个bolt,每种协议数据可以有多个业务。每个业务通过一个单独的类实现。bolt的事件来临时,发送给各个业务类对象去处理。问题:在某个业务类的构造函数中,生成文件夹失败了。nimbus所在的那个supervisor上是成功的,其它supervisor上失败。分析:刚开始以为是该协议的bolt都创建在nimbus服务器上,

2016-07-07 10:41:56

redhat6.4 安装FastDFS5.03、5.05

1 失败的5.07安装经历本来想安装最新版5.07,但是遭受可耻失败。安装是按照这个指南进行的:http://www.cnblogs.com/PurpleDream/p/4510279.html但是版本不一样。FastDFS我刚开始用的是5.07,后来用5.05libfastcommon用1.04下载的地方是http://sourceforge.net/projec

2016-07-07 10:41:18

分布式文件系统(3)

分布式文件系统的历史。http://blog.chinaunix.net/uid-29759225-id-4489272.html把分布式文件系统的历史划分为4个阶段。 对每个阶段的优缺点总结不够透彻,历史的脉搏也不够清晰,但这很难吧。使用 FUSE 开发自己的文件系统http://www.ibm.com/developerworks/cn/linux/l-

2016-07-07 10:40:15

分布式文件系统(2)

1 通用brucejin同管理员所述,分布式文件系统在高存储量,高性价比上有非常大的优势。最初的网络文件存储需求,绝大多数都使用了NFS。NFS的优点非常明显:简单,易维护,在低吞吐,低并发的情况下,运行稳定。理论上NFSv4比NFSv3性能提升明显,支持更多的并发,需要谨慎尝试。NFS最大的缺点,是单点故障,带来成本的上升。中期,就依赖各种存储硬件系统堆叠,SAN,NSA,i

2016-07-07 10:39:28

分布式文件系统

Generalhappy_fish100我一直坚持这个观点:对于互联网应用,用通用文件系统,如mooseFS,clusterFS等,太废纸,也就是性价比不高。互联网应用使用专用文件系统,更合适一些。大文件分块这个特性,也是看你的应用场合的。比如HDFS,它的定位就是分布式计算,因此HDFS支持文件分块,是天经地义、顺理成章的事情。如果你最大的文件也就100多MB,采用文件分

2016-07-07 10:38:39

flume+kafka+storm+redis+mongodb日志优化

1  flume我们自己写的flume启动脚本flume.sh中,通过nohup启动,nohup日志输出到nohup.out。该日志会一直增长。修改:nohup日志输出到 /dev/null2 kafkakafka的日志原来都是dailyrolling日志,日志按日滚动,不删除。系统异常的时候,1天就会输出天量日志。我们自己写的kafka启动脚本kafka.sh

2016-07-07 10:37:39

程序在eclipse运行正常,但是打包上传到服务器上却报“java.lang.reflection.invocationTargetException”

开发机上安装的是jdk1.8,服务器是1.7。开发机的eclipse设置了java compiler为1.7。此程序修改之前是可以运行的。后来因为数据量的原因,把一个变量的类型由int,改成了long。再打包上传,运行就出问题了。原因:程序中使用了Long.parseUnsignedLong方法,此方法是1.8版本才有的:(

2015-11-13 10:39:53

vmware workstation 10 虚拟机可以ping通主机,但主机ping不通虚拟机

虚拟机有一段时间没用了,今天打开发现通过putty连不上。然后就发现ping的问题。后来尝试编辑“虚拟网络编辑器”的NAT设置,把子网ip的网段设成跟主机一个网段,重启了虚拟机。发现问题反过来了,主机可以ping通虚拟机,但虚拟机ping不通主机。然后又把虚拟机子网ip的网段改回去,重启虚拟机。问题解决。问题估计是没有使用虚拟机的这段时间,主机的ip发生了变化,DHCP,公司的

2015-08-26 18:32:36

Hbase1.0 客户端api

最近在试用Hbase1.0的API,发觉变化还是挺大。到处都是deprecated。最后搞出了这么一套。为什么要改成这样呢?只知其然,不知其所以然。Configuration  conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "192.168.4.11,192.168.4.22,192.

2015-05-28 15:59:21

Hbase 实战 4.1 点滴

4.1.4 Targeted data access......Putting data into the cell value occupies the same amount of storage space as putting it into the column qualifier or the rowkey. But you can possibly achieve b

2015-05-14 14:46:47

Hbase实战 2.2.7 合并:HBase日常工作

2.2.7 合并:HBase日常工作The Delete command doesn’t delete the value immediately. Instead, it marks therecord for deletion. That is, a new “tombstone” record is written for that value, markingit as

2015-05-05 18:55:55

HBase实战 2.2.5 背景知识:HBase读路径

2.2.5 Under the hood: the HBase read pathAs a general rule, if you want fast access to data, keep it ordered and keep as much ofit as possible in memory. HBase accomplishes both of these goals

2015-05-05 18:05:18

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。