9 快乐崇拜234

尚未进行身份认证

开创光辉的程序员之路

等级
TA的排名 4k+

OKhttp3 简单使用

概述okhttp官网:https://square.github.io/okhttp/HTTP是现代应用网络的方式。这就是我们交换数据和媒体的方式。有效地执行HTTP可以加快您的负载并节省带宽。OkHttp是一个默认有效的HTTP客户端:HTTP/2支持允许对同一主机的所有请求共享套接字。连接池减少了请求延迟(如果HTTP/2不可用)。透明GZIP缩小了下载大小。响应缓存...

2019-10-05 13:52:36

phoenix5表结构变更,修改字段类型

概述众所周知,hbase中存储的数据都是二进制的字节数组,是没有数据类型的,所以这里的数据类型也就是说的Phoenix中的数据类型。在Phoenix中,有以下几张系统表,其中SYSTEM.CATALOG表保存了表的元数据信息SYSTEM:CATALOGSY...

2019-09-27 16:49:25

HBase 多租户:RegionServer Group

RegionServerGroup通过对RegionServer进行分组,不同的RegionServer分到不同的组。每个组可以按需挂载不同的表,并且当组内的表发生异常后,Region不会迁移到其他的组。这样,每个组就相当于一个逻辑上的子集群,通过这种方式达到资源隔离的效果,降低管理成本,不必为每个高SLA的业务线单独搭集群。不过目前hbase的不同rsgroup之间还是有影响...

2019-09-11 16:33:35

hbase 数据迁移 : CopyTable

上一篇文章介绍了快照方式的迁移:hbase数据迁移:基于hbaseSnapshot。本文介绍基于CopyTable迁移。copyTable是于HBase数据迁移的工具之一,以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的,利用MR去scan原表的数据,然后把scan出来的数据写入put到目标集群的表。copyTable优点是使用方便,简单,可以集群内复...

2019-09-11 16:03:44

Phoenix4.7 向 Phoenix 5.0 集群迁移数据

前面讲述了Phoenixhbase的数据迁移:hbase数据迁移:基于hbaseSnapshot。但这个是相同版本的。但是我想要将Phoenix4.7创建的表的数据迁移到Phoenix5.0.0集群中(Phoenix5.0.0hbase2.1.5),数据迁移过去了,但是查询时只有pk,其他数据查询不出来。问题排查:通过hbaseshell查看不通版本的数据格式,会发现col...

2019-08-07 19:59:10

hbase 多版本version

默认保存version数量测试SQLcreatetablePERSON3(idintegernotnullprimarykey,namevarchar,ageinteger,sexINTEGER,valDOUBLE);创建成后,查看表结构信息:hbase(main):018:0>describe'PERSON3'TablePERSON3isE...

2019-08-06 13:06:49

Phoenix 5索引

文章目录增删改查phoenixshell下创建view映射hbase表退出Phoenixpsql.py执行外部SQL文件创建表导入数据复杂SQL:计数平均值聚合Phoenix5.0安装部署搭建了Phoenix环境,本文介绍一下Phoenix的shell使用。增删改查下面演示一下创建表,插入语句,查询的操作。0:jdbc:phoenix:node1,node2,node3:2181...

2019-08-03 16:39:03

hbase数据迁移:基于 hbase Snapshot

文章目录初始环境说明表迁移创建快照数据迁移恢复快照参考资料初始环境说明hbase有两个集群:集群A和集群B,这里是1.1.3版本,2.X版本还没有测试。集群A上使用Phoenix创建表:createtablelbltest1(idvarcharPRIMARYKEY,accountvarchar,passwdvarchar);然后插入一些数据upsertintolb...

2019-07-31 14:29:11

hadoop 2.7 使用 distcp 在不同集群间数据迁移拷贝

文章目录本文讲述在多个hadoop集群中进行数据迁移操作。工作中可能会遇到同样的需求,还是很实用的。hadoop官方提供了distcp工具吗,具体使用说明参加官方文档:https://hadoop.apache.org/docs/r2.7.7/hadoop-distcp/DistCp.html#Command_Line_Options假设在hadoop集群1的目录/hbase/data...

2019-07-31 14:16:05

flink 读取kafka数据,并写入hbase

文章目录概述环境说明代码编写写入hbase概述环境说明scala:2.12.8linux下scala安装部署flink:1.8.1Flink1.8.1集群部署kafka_2.12-2.2.0kafka_2.12-2.2.0集群部署hbase2.1hbase2.1环境搭建–完全分布式模式Advanced-FullyDistributedhad...

2019-07-23 18:19:41

Flink1.8.1 集群部署

文章目录概述单机版部署HA部署概述首先需要安装scala环境,参照linux下scala安装部署我使用的scala是scala-2.12.8单机版部署到官网https://flink.apache.org/downloads.html#apache-flink-181下载最新的1.8.1版本的flink。接下来安装官方文档的操作,进行最简单的安装https://ci.a...

2019-07-23 18:06:55

linux下scala安装部署

文章目录到scala官网下载Scala,我这里下载的是scala-2.12.8.tgz版本。下载地址:https://www.scala-lang.org/download/2.12.8.html下载完成后,上传到Linux安装目录,tar-xzvfscala-2.12.8.tgz解压.配置环境变量vim/etc/profile:添加以下内容exportSCALA_HO...

2019-07-23 17:35:57

kafka_2.12-2.2.0 集群部署

文章目录zk搭建kafka下载配置启动服务测试创建一个topic“my-test-topic”测试消息的发送与接收zk搭建zk集群需要优先搭建起来,这里使用Hadoop2.8.5完全分布式HA高可用安装(一)–环境准备中搭建的ZK集群。kafka下载到kafka官网下载最新的kafka_2.12-2.2.0.tgz这里我们部署3台kafka,部署在node1,node2...

2019-07-22 20:45:50

使用Phoenix5 Java api操作HBase

文章目录引入依赖配置文件编写测试类建表插入记录查询引入依赖<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>2.1.5</version>&lt...

2019-07-22 17:11:36

Phoenix5.0 安装部署

文章目录概述Phoenix5.0shell安装Phoenix5.0shell使用使用Phoenix操作表phoenixshell下创建view映射hbase表概述现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。phoenix是一个在hbase上面实现的基于hadoop的OLTP技术,具有低延迟、事务性、可使用sql、提供jd...

2019-07-22 15:21:12

Hbase 使用高可用 (HA)的hadoop集群,hbase.rootdir如何配置

文章目录问题描述解决办法问题描述在前面文章中搭建了高可用的hadoop集群,然后hbase使用这个集群的hdfs。但是我们dhbase.rootdir配置的仍然是写死的机器:<property><name>hbase.rootdir</name><value>hdfs://node1:9000/hbase&...

2019-07-22 11:40:53

Java 8 函数式库 Vavr 学习笔记

文章目录概述引入依赖option元组TupleTry函数式接口集合Collections延迟计算Lazy模式匹配PatternMatching概述最近接手一个项目,里面使用到了Java8函数式库Vavr,故而来学习一下。其实很多库都是在java8之前出现的,借鉴了一些新兴语言的特性,比如guava。在java8以后的版本中,提供了很多的函数式编程的特征,已经够用,一些库可以不用了。...

2019-07-21 17:36:18

protocol buffer 3 (Protobuf3) ( java 版本 ) 使用入门

文章目录概述windows安装使用Protobuf3编写第一个protobuf程序概述proto3是googleprotocolbuffer的新版本。Protobuf3应用相当广泛,而且性能优秀,是序列化和网络传输及存储的优秀选择。官方测试数据:本文只是讲述其简单搭建使用,具体语法请参见官方文档或者其中文翻译ProtocolBuffer3学习笔记Protobu...

2019-07-21 14:20:20

springboo2 集成 hbase 2

文章目录环境说明:springboo2集成hbase2环境说明:hbase:2.1.5springboot:2.1.1.RELEASEhadoop:2.8.5java:8+hadoop环境:Hadoop2.8.5完全分布式HA高可用安装(二)–环境搭建hbase环境:hbase2.1环境搭建–完全分布式模式Advanced-FullyDistributed...

2019-07-19 10:29:02

使用最新的 hbase-client 2.1 操作 hbase

文章目录概述引入依赖配置文件编写测试代码概述springboot2.1集成hbase2.1环境说明:hbase:2.1.5springboot:2.1.1.RELEASEhadoop:2.8.5java:8+hadoop环境:Hadoop2.8.5完全分布式HA高可用安装(二)–环境搭建hbase环境:hbase2.1环境搭建–完全分布式模式Advanced...

2019-07-18 20:46:57

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。