- 博客(55)
- 收藏
- 关注
RSS订阅原创 执行 npx create-ol-app失败的解决办法
按照这个教程https://openlayers.org/en/latest/doc/tutorials/bundle.html搭建openlayer application，执行“npx create-ol-app”命令的时候失败了：[root@localhost olapp]# npx create-ol-appnpx: 9 安装成功，用时 3.298 秒> [email protected] install /root/olapp/node_modules/msgpackr
2021-08-12 19:55:18
837
原创 exsi6.7配置centos7虚拟机网络
以前都使的是centos6的操作系统。这次安装centos7算是尝鲜。操作系统使用阿里下载的CentOS-7-x86_64-DVD-1908.iso。配置光盘的时候需要把这个iso上传到datastore。然后启动虚拟机就可以安装了。安装过程很顺利。os安装结束后，配置网络。发现/etc/sysconfig/network-scripts/下没有ifcfg-eth0这样的文件，倒是有ifc...
2020-03-11 14:27:39
1885
原创 elasticsearch一边滚动索引，一边删除数据出现的问题
最近在做删除es过期数据的程序。debug发现的问题记录在这。场景：1 一个线程不断写入数据2 一个线程不断滚动索引3 一个线程不断通过别名删除过期数据和过期的索引（active索引不删除）出现的问题问题1 一个索引中的数据明明过期了，但就是删不掉。下面是索引信息{ "fdfs1-active-000088" : { "aliases" : { "fdfs...
2019-12-25 14:22:12
761
原创 项目中引入tika
通过maven引入tika的几个组件：<dependency> <groupId>org.apache.tika</groupId> <artifactId>tika-core</artifactId> <version>1.21</version> &l...
2019-07-31 15:07:52
2725
原创 kafka宕机恢复
kafka在我们的系统中处于一个消息集散地的位置,非常重要,一旦出问题,整个系统的数据处理就会停止.我原来的理解是这样的,kafka每个patition都有副本，所以一旦某个kafka服务器宕机，该服务器上的partition副本就会迁移到其它服务器。但实际情况不是这样的。我在三台虚拟机上建立了kafka集群(版本: kafka_2.12-1.1.0, 操作系统redhat6.3)192.16...
2019-05-29 09:58:44
6927
2
原创 安装hive
其它项目组需要一套hive环境，原来想会很快搭好，没想到还颇费了些周折。这里记录一下。hadoop用现成的脚本安装。mysql也用现成的。hive搭建的主要过程是按照这个教程做的：http://www.cnblogs.com/zlslch/p/6700695.html，这个帖子虽然是安装1.0的，但安装2.0、3.0也好使。作者费心了。修改hive-site.xml也参考了ht...
2019-03-26 10:28:24
174
翻译 Global ordinals全局顺序
Global ordinals is a data-structure on top of fielddata and doc values, that maintains an incremental numbering for each unique term in a lexicographic order.全局顺序是一个数据结构，基于fielddata和doc value，该数据结
2016-11-16 15:32:13
1263
原创 Elasticsearch 5.0 rollover api 学习
一不留神，Elasticsearch都5.0了，这个是为了追Lucene还是solr？ 想想hbase怎么从0.98， 0.99挣扎到1.0，令人唏嘘不已。els5.0很诱人的，看看这个被招安的曾勇(Medcl)怎么说：http://www.infoq.com/cn/news/2016/08/Elasticsearch-5-0-Elastic对于我来说，比较吸引人的第一个功能是...
2016-09-28 16:21:55
5855
原创 storm日志
2016.06.24昨天3台服务器中的1台，supervisor起不来，一直报FileNotFoundException，找不到“storm/data/supervisor/localstate/1466652445675”这个文件。后来把storm/data/supervisor目录删除掉就好了。这个估计是不正常关机造成的状态不一致造成的。具体原因不清楚。解决办法受这个帖子启
2016-08-29 18:36:52
3445
原创 flume+kafka+storm+redis+mongodb 配置
Flume : jvm Xmx 缺省配置1024M bin/flume-ng 中有设置。Kafka : jvm Xmx, Xms 缺省配置 1g bin/kafka-server-start.sh 中有设置Storm : worker的缺省内存是768M http://blog.csdn.net/crazyhacking/article/details/40114
2016-07-07 16:41:09
1866
原创 storm中初始化类
bolt是这么设计的，每个协议数据对应一个bolt，每种协议数据可以有多个业务。每个业务通过一个单独的类实现。bolt的事件来临时，发送给各个业务类对象去处理。问题：在某个业务类的构造函数中，生成文件夹失败了。nimbus所在的那个supervisor上是成功的，其它supervisor上失败。分析：刚开始以为是该协议的bolt都创建在nimbus服务器上，
2016-07-07 10:41:56
595
原创 redhat6.4 安装FastDFS5.03、5.05
1 失败的5.07安装经历本来想安装最新版5.07，但是遭受可耻失败。安装是按照这个指南进行的：http://www.cnblogs.com/PurpleDream/p/4510279.html但是版本不一样。FastDFS我刚开始用的是5.07，后来用5.05libfastcommon用1.04下载的地方是http://sourceforge.net/projec
2016-07-07 10:41:18
1186
原创 分布式文件系统（3）
分布式文件系统的历史。http://blog.chinaunix.net/uid-29759225-id-4489272.html把分布式文件系统的历史划分为4个阶段。 对每个阶段的优缺点总结不够透彻，历史的脉搏也不够清晰，但这很难吧。使用 FUSE 开发自己的文件系统http://www.ibm.com/developerworks/cn/linux/l-
2016-07-07 10:40:15
543
原创 分布式文件系统（2）
1 通用brucejin同管理员所述，分布式文件系统在高存储量，高性价比上有非常大的优势。最初的网络文件存储需求，绝大多数都使用了NFS。NFS的优点非常明显：简单，易维护，在低吞吐，低并发的情况下，运行稳定。理论上NFSv4比NFSv3性能提升明显，支持更多的并发，需要谨慎尝试。NFS最大的缺点，是单点故障，带来成本的上升。中期，就依赖各种存储硬件系统堆叠，SAN,NSA,i
2016-07-07 10:39:28
566
原创 分布式文件系统
Generalhappy_fish100我一直坚持这个观点：对于互联网应用，用通用文件系统，如mooseFS，clusterFS等，太废纸，也就是性价比不高。互联网应用使用专用文件系统，更合适一些。大文件分块这个特性，也是看你的应用场合的。比如HDFS，它的定位就是分布式计算，因此HDFS支持文件分块，是天经地义、顺理成章的事情。如果你最大的文件也就100多MB，采用文件分
2016-07-07 10:38:39
951
原创 flume+kafka+storm+redis+mongodb日志优化
1 flume我们自己写的flume启动脚本flume.sh中，通过nohup启动，nohup日志输出到nohup.out。该日志会一直增长。修改：nohup日志输出到 /dev/null2 kafkakafka的日志原来都是dailyrolling日志，日志按日滚动，不删除。系统异常的时候，1天就会输出天量日志。我们自己写的kafka启动脚本kafka.sh
2016-07-07 10:37:39
2090
原创 程序在eclipse运行正常，但是打包上传到服务器上却报“java.lang.reflection.invocationTargetException”
开发机上安装的是jdk1.8，服务器是1.7。开发机的eclipse设置了java compiler为1.7。此程序修改之前是可以运行的。后来因为数据量的原因，把一个变量的类型由int，改成了long。再打包上传，运行就出问题了。原因：程序中使用了Long.parseUnsignedLong方法，此方法是1.8版本才有的:(
2015-11-13 10:39:53
1228
原创 vmware workstation 10 虚拟机可以ping通主机,但主机ping不通虚拟机
虚拟机有一段时间没用了，今天打开发现通过putty连不上。然后就发现ping的问题。后来尝试编辑“虚拟网络编辑器”的NAT设置，把子网ip的网段设成跟主机一个网段，重启了虚拟机。发现问题反过来了，主机可以ping通虚拟机，但虚拟机ping不通主机。然后又把虚拟机子网ip的网段改回去，重启虚拟机。问题解决。问题估计是没有使用虚拟机的这段时间，主机的ip发生了变化，DHCP，公司的
2015-08-26 18:32:36
4789
原创 Hbase1.0 客户端api
最近在试用Hbase1.0的API，发觉变化还是挺大。到处都是deprecated。最后搞出了这么一套。为什么要改成这样呢？只知其然，不知其所以然。Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "192.168.4.11,192.168.4.22,192.
2015-05-28 15:59:21
6477
翻译 Hbase 实战 4.1 点滴
4.1.4 Targeted data access......Putting data into the cell value occupies the same amount of storage space as putting it into the column qualifier or the rowkey. But you can possibly achieve b
2015-05-14 14:46:47
744
翻译 Hbase实战 2.2.7 合并：HBase日常工作
2.2.7 合并：HBase日常工作The Delete command doesn’t delete the value immediately. Instead, it marks therecord for deletion. That is, a new “tombstone” record is written for that value, markingit as
2015-05-05 18:55:55
2768
翻译 HBase实战 2.2.5 背景知识：HBase读路径
2.2.5 Under the hood: the HBase read pathAs a general rule, if you want fast access to data, keep it ordered and keep as much ofit as possible in memory. HBase accomplishes both of these goals
2015-05-05 18:05:18
1134
翻译 HBase实战 2.2.3 背景知识： HBase写路径
2.2.3 Under the hood: the HBase write pathWhether you use Put to record a new row in HBase or to modify an existing row, theinternal process is the same. HBase receives the command and persist
2015-05-05 16:09:17
759
翻译 Geolocation
GeolocationGeo-PointsGeohashesGeo-aggregationsGeo-shapesGone are the days when we wander around a city with paper maps. Thanks to smartphones, we now know exactlywhere
2015-03-31 12:01:08
997
翻译 Fielddata
When you sort on a field, Elasticsearch needs access to the value of that field for every document that matches the query.The inverted index, which performs very well when searching, is not th
2015-03-31 10:57:35
835
翻译 ElasticSearch学习笔记
1 Elasticsearch中的概念与关系型数据库对比。Relational DB ⇒ Databases ⇒ Tables ⇒ Rows ⇒ Columns关系型数据库 数据库 表 行 列 Elasticsearch ⇒ Indices ⇒ Typ
2015-03-24 15:10:09
4027
原创 Elasticsearch1.4.2 安装中文分词器
终于安装好了IK分词器。1下载源码：https://github.com/medcl/elasticsearch-analysis-ik此页面有一个链接“DownloadZIP”，点击该链接即可下载源码。2编译源码该源码是通过maven管理的，通过pom文件即可导入到现有工程中。编译获得elasticsearch-analysis-ik-1.2.9.jar。
2015-03-24 13:58:23
3965
翻译 mhout in action : 13.4.1 阶段1(训练分类模型)的流程
13.4.1 阶段1(训练分类模型)的流程 在分类项目的第一个阶段, 你需要把目标变量记在心里, 这既能帮助你选择合适的历史数据(用于训练过程), 也能帮你选择合适的算法. 这些选择密切相关.在下面的讨论中, 我们将考察几个特定的例子, 在这些例子中,你选择的特性（feature）将会影响哪一个mahout学习算法在你的分类器中可以工作。为目标变量定义分类：定义目标变量，带出
2014-02-21 15:35:59
1794
1
转载 Passing Managed Structures With Arrays To Unmanaged Code Part 3
http://limbioliong.wordpress.com/2011/07/01/passing-managed-structures-with-arrays-to-unmanaged-code-part-3/ABOUT//you're reading...INTEROP MARSHALINGPassing Managed Stru
2013-10-14 17:38:59
698
转载 Passing Managed Structures With Arrays To Unmanaged Code Part 2
http://limbioliong.wordpress.com/2011/07/01/passing-managed-structures-with-arrays-to-unmanaged-code-part-2/ABOUT//you're reading...INTEROP MARSHALINGPassing Managed St
2013-10-14 17:37:00
940
转载 Passing Managed Structures With Arrays To Unmanaged Code Part 1
ABOUT//you're reading...INTEROP MARSHALINGPassing Managed Structures With Arrays To Unmanaged Code Part 1POSTED BY LIM BIO LIONG ⋅ JUNE 29, 2011 ⋅ 2 COMMENTS
2013-10-11 19:57:22
1323
2
转载 SAFEARRAY使用
http://wuyuans.com/2011/12/safearray-type/目录：SAFEARRAY使用实例... 1目录：... 1前言：... 1何谓SAFEARRAY：... 1创建SAFEARRAY:2方法一：使用SafeArrayAllocDescriptor在栈上创建一维数组... 2方法二：使用Saf
2013-10-11 09:59:31
912
1
转载 SAFEARRAY类型
原文地址http://wuyuans.com/2011/12/safearray-type/SAFEARRAY类型时间：2011 年 12 月 9 日 留言评论 分类：C++ , 学习笔记我们将使用SAFEARRAY来通过COM传送串行化的对象。这部分将介绍如何建立和使用SAFEARRAY类型。SAFEARRAY是数据结构的一种。这种结构也没有什么特别的，你只需要正
2013-10-11 09:47:46
1149
1
原创 openAM 志遗
2012.7.20最近一直在搭建OpenAM验证环境, 但总是有问题。单点登陆算是实现了，但policyagent 的policy总是不完全正确。ForgeRock的文档太简单； OpenAM Policy Agent 3 Installation GuideSun的文档又与最新程序不一致；820-7251.pdf （j2ee agent 3.0 for tomcat6）
2013-07-24 11:06:58
1688
2
翻译 chef介绍
翻译一下更清楚.http://www.opscode.com/chef/ 加速你的业务（business）Chef是开源自动化平台，志在应对地球上的最严酷的基础架构挑战。Chef赋予你所需要的在这个复杂世界里更快前进的力量和灵活性，从快速构建和部署服务器到自动交付应用和服务------规模不限。怎么使用Chef由你决定。这里是最通常的应用领域。部署管理（Configur
2013-02-20 13:51:32
2487
转载 PXE + kickstart 通过CentOS6.2 安装 ubuntu12.04
参考文档：http://wgkgood.blog.51cto.com/1192594/891152 说明：1 安装的过程可以参考上面的参考文档；2 本人的安装过程有点不同，因为此前已经成功安装了Centos6.2 kickstart Centos6.2, 服务器是虚拟机，客户机是实体机，所以这次试验直接拷贝的服务器虚拟机。 刚开始碰到了复制后ip地址与eth0设置不一致的问
2012-06-08 16:36:26
2097
2
原创 复制vmware CentOS6.2 虚拟机后, IP地址显示与设置不一致的解决办法
现象:1 复制一个CentOS6.2的虚拟机，并在VMWare Player中打开。打开时，vmware player问虚拟机是copy的还是move的，选择copy的。2 在打开的虚拟机中通过ifcongig查看网络设置，发现只有eth1的网络设置，没有eth0的网络设置，并且eth1的网络信息，与/etc/sysconfig/network-script/ifcfg-eth0中的设
2012-06-08 10:40:03
2516
转载 yum 使用本地光盘资源和安装system-config-kickstart
详细操作，请参考此文： http://blog.chinaunix.net/uid-16974460-id-3080622.html 说明（来龙去脉）：1 通过命令 rpm -ivh system-config-kickstart-2.8.6.4-1.el6.noarch.rpm 时， 发现此包依赖3个其他的包。尝试安装依赖的包，发现需要更多的依赖包，所以决定通过YU
2012-06-06 11:22:48
5434
转载 超好懂的PXE+Kickstart批量安装CentOS6.2教程(山寨版)
原文题目：超好懂的PXE+Kickstart批量安装RHEL5教程。大家应该能搜着。（csdn不能添加此链接？！） 对原文做的修改：1 一些路径错误等；2 CentOS6.2差异；修改均以红字标明。 试验环境:服务器环境: 虚拟机 vmware workstation 8 操作系统 Centos-6.2 -x86_64-bin-DVD1.is
2012-06-05 19:47:22
8306
转载 在CentOS 5.3下安装配置tftp服务
本人在centOS6.2下配置成功。原文链接：http://www.2cto.com/os/201102/84016.html向作者致敬！以下照抄！================================================== 在CentOS 5.3下安装配置tftp服务 过程如下:1. 挂载CDROM[root@localhost mnt
2012-06-05 18:52:08
833
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人