3 天心有情

尚未进行身份认证

暂无相关简介

等级
TA的排名 4w+

记一次HBase的STUCK Region-In-Transition问题

HBaseSTUCKRegion-In-Transition问题产生原因HBase2.x的Procedure是记录了HBase的各种操作,比如创建表、删除表、禁用表。当他出现不一致的时候可能就会导致STUCKRegion-In-Transition。解决方案HBase2.x已经有了相当先进的修复工具hbck2,但是这个修复工具试基于HbckService类来完成的,而HBase2.x...

2019-10-18 16:36:40

Centos7安装CDH6.3.0

Centos7.6安装CDH6.3文章目录Centos7.6安装CDH6.31、下载安装包2、集群环境准备3、安装mysql4、配置yumparcel源一般为/etc/my.cnf1、下载安装包ClouderaManager安装包下载cm6.3.0-redhat7.tar.gzCDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcelCDH-6.3.0-...

2019-10-15 14:49:33

HBase数据迁移方案

HBase2.1.0数据迁移方案文章目录HBase2.1.0数据迁移方案步骤一、迁移HFile数据步骤二、迁移表的region步骤三、bulkload数据业务要求:将数据从旧的集群HBase1.2迁移到HBase2.1.0中去。每个表的数据量级10TB左右值得注意:HBase升级到Hbase2.x之后,他的数据修复工具独立出来作为HBCK2成立了一个单独的项目,并且这个项目并不是所有的...

2019-09-25 15:32:11

Spark 加载PMML格式模型在线预测

Spark加载PMML格式模型在线预测Spark加载PMML格式的模型文件目前spark自身是不支持这个pmml类型模型的,想要使用它可以采用github上面的插件jpmml-evaluator-sparkgithub地址但是它上面的东西描述的优点抽象,使用的时候可能遇到很多的坑,比如使用的时候导入依赖<dependency><groupId>or...

2019-09-06 11:47:22

升级CDH集群的JDK

升级CDH集群的JDK更改所有节点的java命令[root@a01~]#whereisjavajava:/usr/bin/java/etc/java/usr/lib/java/usr/share/java/usr/share/man/man1/java.1.gz[root@a01~]#ll/usr/bin/javalrwxrwxrwx.1rootroot22...

2019-09-05 17:45:17

HBase启动报错Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

HBase报错问题HBase运行好好的,突然之间重启之后再也起不来了,一直报错。Causedby:java.lang.ClassNotFoundException:org.apache.htrace.SamplerBuilder类似的就是这个htrace包里面的内容。去安装的lib里面查发现真的没有和它有关jar包,再看lib里面的目录client-facing-thirdpar...

2019-08-27 09:46:39

Neo4j导入数据超过限制怎么办

Neo4j导入数据超出限制今天neo4j导入数据的时候报错了originalerror:MaximumidlimitforPROPERTYhasbeenreached.Generatedid68719476796isoutofpermittedrange[0,68719476735]这说明我的属性超出了限制个数68719476735,然后分配了一个新的...

2019-08-26 11:35:56

从两个HDFS集群之间拷贝数据命令

从两个HDFS集群之间拷贝数据命令1distcp命令命令如下:hadoopdistcphdfs://a01:8020/lime/hdfs://nameservice/该命令在需要数据的集群上面进行执行,执行过程需要跑MR程序。有的时候我在其他节点上需要数据,同时我需要的是把数据从hdfs上面下载下来,以前我的方式是通过distcp拷贝其他集群的数据.。然后去本地集群上通过...

2019-08-22 14:46:27

Neo4j性能测试

Neo4j性能测试文章目录Neo4j性能测试测试环境准备CPU内存磁盘测试数据测试方法100万关系数据测试无索引无预热无索引有预热创建索引查询索引是否生效有索引无预热1千万数据无索引无预热无索引有预热有索引无预热有索引有预热数据大小一亿条数据数据大小无索引无预热无索引有预热有索引无预热有索引有预热建立索引后数据大小十亿条数据数据量大小无索引有索引无预热有索引有预热数据大小结过对比图测试环境准备...

2019-07-19 18:09:27

SparkGraphX和Neo4j对比

SparkGraphX和Neo4j对比Neo4j优点支持交互式查询,查询效率很高。能够迅速从整网中找出符合特定模式的子网,供随后分析之用,适用于OLTP(OnlineTransactionProcessing)场景支持算法:社区发现算法,中心算法,路径查找算法,相似度算法,连接分量预测算法缺点不支持数据分片。因此存储数据有限Spark支持海量数据,运算...

2019-07-19 15:33:43

身份证校验算法

packageutil;importjava.text.SimpleDateFormat;importjava.util.Date;/***CreatedbyLiuWenShengon2018/1/11.*/publicclassCheckIdCard{privatefinalstaticintNEW_CARD_NUMBER_LENGTH

2019-07-02 12:42:40

SparkRPC源码分析之OneWayMessage消息

SparkRPC源码分析之OneWayMessage消息文章目录SparkRPC源码分析之OneWayMessage消息OneWayMessageOneWayMessage首先看一下OneWayMessage的定义publicfinalclassOneWayMessageextendsAbstractMessageimplementsRequestMessage什么是...

2019-07-01 21:59:18

SparkRPC源码分析之RpcRequest、RpcResponse和RpcFailure消息

SparkRPC源码分析之RpcRequest、RpcResponse和RpcFailure消息文章目录SparkRPC源码分析之RpcRequest、RpcResponse和RpcFailure消息RpcRequestRPCResponse和RpcFailure消息RpcRequest和上一个ChunkFetchRequest消息一样。入口都是从TransportRequestHand...

2019-07-01 20:58:30

neo4j导入csv数据

neo4j导入数据文章目录neo4j导入数据1、数据准备2、关闭服务3、数据导入4、开启服务5、一些遇到的问题倒错了想要删库怎么办导入出现错误怎么办错误一及解决办法错误二及解决办法错误三及解决办法1、数据准备将想要导入的数据做成csv文件的格式,需要准备两种csv文件、一种为节点csv文件一种为节点关系csv文件比如人和手机号,需要准备节点文件people.csv、phone....

2019-06-26 10:56:48

neo4j因果集群搭建

neo4j因果集群搭建文章目录neo4j因果集群搭建neo4j集群模式HA集群因果集群添加新的core服务器添加新的只读副本节点官网的错误neo4j集群模式HA集群因果集群本文的介绍来自于neo4j官网操作手册。HA集群HA集群已经被启用,将会在4.x被删除,这是官网的原话因此本文对HA集群不费口舌,重点介绍因果集群的搭建。因果集群其实官网介绍的已经很清晰了,只是全英文需...

2019-06-18 15:41:29

SparkRPC源码分析之ChunkFetchRequest、ChunkFetchSuccess和ChunkFetchFailure消息

StreamManager文章目录StreamManager作用方法ChunkFetchRequest消息ChunkFetchSuccess和ChunkFetchFailure消息作用​ StreamManager用来从一个流中提取单个的块。这会在TransportRequestHandeler中用来相应fetchChunk请求。流的创建超出了传输层的范围,但是一个给定的流保证了仅被一个客...

2019-06-14 08:58:00

图数据库JanusGraph与neo4j对比

图数据库文章目录什么是图?什么是图数据库?何时需要使用图数据库图数据库常用领域怎么确定需要使用图数据库图数据库的种类Neo4J和JanusGraph比较JanusGraph大型用户JanusGraph功能【官网介绍】Neo4j的企业与社区版本对比什么是图?​ 图由两个元素组成:节点、关系​ 每一个节点代表一个实体,每一个关系代表两个节点的关联方式什么是图数据库?​ 图形数据库是N...

2019-06-10 17:34:18

SparkRPC源码分析之RPC管道与消息类型

SparkRPC源码分析之RPC管道与消息类型我们前面看过了netty基础知识扫盲,那我们应该明白,ChannelHandler这个组件内为channel的各种事件提供了处理逻辑,也就是主要业务逻辑写在该组建内。Spark的RPC也不会例外,因此我们看一下Spark的Handeler怎么调用的。在TransPortClientFactory初始化客户端之前有一条代码为TransportChann...

2019-05-17 14:43:26

SparkRPC源码分析之Netty基础知识扫盲

SparkRPC源码分析之Netty基础知识扫盲在上面三篇文章中,我们介绍了Spark如何创建一个客户端和如何创建一个服务端。那么这些东西是什么呢?这就需要了解netty,而我本人是对netty不了解的。因此简单地看了一下netty需要的东西,写了以下简单的netty入门级程序。仅供参考服务端代码:importorg.jboss.netty.bootstrap.ServerBootstra...

2019-05-10 16:53:38

SparkRPC源码分析之TransportServer

SparkRPC源码分析之TransportServer在上一篇博客中写到了Transprotclient的初始化,也就是那个很重要的currentMap里面数据的初始化,本次分析服务端初始化过程。先看构造方法的源代码//创建一个TransportServer,绑定到给定主机和给定端口,(如果为0)绑定到任何可用的主机和端口。//如果不想绑定到任何特殊主机,请将“hostToBind”设置...

2019-05-09 18:17:56

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。