- 博客(23)
- 收藏
- 关注
RSS订阅原创 HBase Filter 过滤器之RowFilter详解
前言：本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤，在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文：HBase Filter 过滤器之比较器 Comparator 原理及源码学习一。Java Api头部代码publi...
2020-05-04 09:09:18
2624
原创 如何在 HBase Shell 命令行正常查看十六进制编码的中文？哈哈~
今天比较开心，只想哈哈哈哈哈啥也不多说了，直接看示例吧！绝对比我口才好~hbase(main):050:0> scan 'test'ROW COLUMN+CELL row-1 column=f:c...
2020-04-27 21:26:45
2134
5
原创 基于HBase构建千亿级文本数据相似度计算与快速去重系统
前言随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。一. 面临的问题1. 如何选择文本的相似度计算或去重算法？...
2020-04-25 21:32:53
1172
原创 HBase Filter 过滤器之 Comparator 原理及源码学习
前言：上篇文章HBase Filter 过滤器概述对HBase过滤器的组成及其家谱进行简单介绍，本篇文章主要对HBase过滤器之比较器作一个补充介绍，也算是HBase Filter学习的必备低阶魂技吧。本篇文中源码基于HBase 1.1.2.2.6.5.0-292 HDP版本。HBase所有的比较器实现类都继承于父类ByteArrayComparable，而ByteArrayComparab...
2020-04-25 21:26:31
1117
原创 HBase Filter 过滤器概述
abc过滤器介绍HBase过滤器是一套为完成一些较高级的需求所提供的API接口。过滤器也被称为下推判断器（push-down predicates），支持把数据过滤标准从客户端下推到服务器，带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer，所有的过滤器都在服务端生效，使被过滤掉的数据不会被传送到客户端，这些过滤逻辑在读操作时使用，可以有效降...
2020-04-23 22:09:31
801
原创 HBase BucketAllocatorException 异常剖析
近日，观察到HBase集群出现如下WARN日志：2020-04-18 16:17:03,081 WARN [regionserver/xxx-BucketCacheWriter-1] bucket.BucketCache:Failed allocation for 604acc82edd349ca906939af14464bcb_175674734;org.apache.hadoop.hb...
2020-04-22 22:02:06
433
原创 HBase-2.2.3源码编译-Windows版
源码环境一览windows: 7 64BitJava: 1.8.0_131Maven：3.3.9Git：2.24.0.windows.1HBase：2.2.3Hadoop：2.8.5下载安装1. Maven|Git|Java下载安装Maven、Git 、Java 请先自行下载安装并配置环境变量。Maven安装完毕后在Maven配置文件settings.xml中配置阿里云镜像。 ...
2020-04-17 22:23:52
839
原创 基于HBase构建千亿级文本数据相似度计算与快速去重系统
前言随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。一. 面临的问题1. 如何选择文本的相似度计算或去重算法？...
2020-04-17 07:06:08
574
原创 HBase实操：HBase-Spark-Read-Demo 分享
前言：本文是一个关于Spark读取HBase的一个小demo，简单了解一下~相关代码：import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.hbase._import org.apache.hadoop.hbase.client.Scanimport org.apache.hadoop.hbase.ma...
2020-04-17 06:58:56
149
原创 HBase实操：Spark-Read-HBase-Snapshot-Demo 分享
前言：之前给大家分享了Spark通过接口直接读取HBase的一个小demo：HBase-Spark-Read-Demo，但如果在数据量非常大的情况下，Spark直接扫描HBase表必然会对HBase集群造成不小的压力。基于此，今天再给大家分享一下Spark通过Snapshot直接读取HBase HFile文件的方式。首先我们先创建一个HBase表：test，并插入几条数据，如下：hbase...
2020-04-17 06:54:47
346
1
原创 全方位认识HBase：一个值得拥有的NoSQL数据库（一）
前言：说起HBase这门技术，在认知上对于稍微接触或使用过它的人来讲，可能只是百千数据库中一个很普通的库，大概就像我对Redis的认知一样：缓存嘛！可对于HBase，我确实是带着某些感情在的。今日突然萌生了一个生趣的想法，想抛开技术的视角，从情感的角度，像写小说一样，写写这位老朋友，这可能会有点滑稽吧，不过我觉得很放松。《全方位认识HBase：一个值得拥有的NoSQL数据库》：从今天起，我们就暂...
2020-04-17 06:54:13
107
原创 HBase Shell 十大花式玩儿法
前言：工欲善其事必先利其器，今天给大家介绍一下HBase Shell十大花式利器，在日常运维工作中，可以试着用起来。1. 交互模式也就是我们最常用到的Shell命令行的方式。$ hbase shellhbase(main):001:0> list2. 非交互模式$ echo "describe 'test1'" | hbase shell ...
2020-04-16 21:29:25
744
原创 使用ElasticSearch赋能HBase二级索引 | 实践一年后总结
前言：还记得那是2018年的一个夏天，天气特别热，我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了，核心思想就是：我们要搞一个数据大池子，要把公司能灌的数据都灌入这个大池子，然后让别人用 各种姿势 来捞这些数据。系统从开始打造到上线差不多花了半年多不到一年的时间，线上稳定运行也有一年多的时间。今天想简单做个总结。一。背景介绍公司成立差不多十五六年了，老公司了。也正是因为资格...
2020-04-10 09:36:02
1552
1
原创 HBase协处理器加载的三种方式
本文主要给大家罗列了HBase协处理器加载的三种方式：Shell加载（动态）、Api加载（动态）、配置文件加载（静态）。其中静态加载方式需要重启HBase。我们假设我们已经有一个现成的需要加载的协处理器Jar包：HelloCoprocessor-0.0.1.jar。协处理器加载的三种方式Shell加载1. 上传HDFS将打包好的HelloCoprocessor-0.0.1.jar上传...
2020-04-08 10:57:39
1181
原创 读者来信 | 如何判断HBase Major Compact是否执行完毕？（已解决）
前言：之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》，扫描文末二维码解锁更多姿势！来信人：罗*铭小猿提问如何判断HBase Major Compact是否执行完毕？小猿解答这里提供两种查看方式：一种是HBase WebUI 界面； ...
2020-04-08 10:52:27
2536
原创 资料下载 | 58同城HBase平台及生态建设实践
前言：2020年3月7日晚7点，大佬张祥在微信群向大家详细介绍了58同城HBase平台及其生态的建设实践与相关经验，确实讲得很好。今天花了点时间帮大家整理了一下，希望更多的没有参与直播的朋友能够看到它，也欢迎大家积极转发一下，视频与PPT相关资料附于文末。亮点在哪该分享的亮点在哪儿里呢？这里我就自己的理解阐述一下自己的想法，不喜勿喷哈~1. 数据接入层第一个亮点是：58同城在HBase...
2020-04-08 10:38:38
691
原创 HBase 监控 | HBase Metrics 初探（一）
前言：对于任意一个系统而言，做好监控都是非常重要的，HBase也不例外。经常，我们会从JMX中获取相关指标来做展示、对HBase进行监控，那这些指标是怎么生成的呢？如果你想自定义自己的监控指标又该怎么做呢？基于好奇之心和学习的目的，最近打算学习一下HBase监控相关原理及实现，今天先简单捋一捋思路。1. 如何下手？我一向比较喜欢先看项目所依赖的pom文件，打开HBase源码，有两个非常相关...
2020-04-08 10:00:28
816
原创 HBase 监控 | HBase Metrics 初探（一）
前言：对于任意一个系统而言，做好监控都是非常重要的，HBase也不例外。经常，我们会从JMX中获取相关指标来做展示、对HBase进行监控，那这些指标是怎么生成的呢？如果你想自定义自己的监控指标又该怎么做呢？基于好奇之心和学习的目的，最近打算学习一下HBase监控相关原理及实现，今天先简单捋一捋思路。1. 如何下手？我一向比较喜欢先看项目所依赖的pom文件，打开HBase源码，有两个非常相关...
2020-04-07 00:03:09
729
原创 读者来信 | 设置HBase TTL必须先disable表吗？（已解决）
今日有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：《读者来信》。如遇到本人能力有限难以解决的问题，该贴将会被转发至我的资源圈寻求大佬们出手帮助，并附上提问者微信二维码。也欢迎大家在留言区积极探讨解决方案~来信人：黄*伟小猿提问如果我用Spark处理文件写进HBase，文件按日期每天增量下发，如果只想在HB...
2020-04-06 11:20:46
929
原创 读者来信 | 刚搭完HBase集群，Phoenix一启动，HBase就全崩了，是什么原因?（已解决）
前言：之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：《读者来信》。如遇到本人能力有限难以解决的问题，我将转发该文至我的资源圈尽力寻求大佬们出手帮助，并附上提问者微信二维码，希望给大家提供这样一个互帮互助解决问题的平台。也诚挚地欢迎大家能在留言区积极探讨解决方案，大胆发表自己的看法~来信人：于*超小猿提问...
2020-04-06 11:07:58
1339
1
原创 读者来信 | 如果你家HBase集群Region太多请点进来看看，这个问题你可能会遇到
前言：《读者来信》是HBase老店开设的一个问答专栏，旨在能为更多的小伙伴解决工作中常遇到的HBase相关的问题。老店会尽力帮大家解决这些问题或帮你发出求救贴，老店希望这会是一个互帮互助的小平台。有问题请直接在老店后台留言，有好的解决方案也请不要吝啬，诚挚欢迎大家能在留言区积极探讨解决方案，大胆发表自己的看法，也许你今天帮别人解决的问题，就是你明天可能遇到的答案。来信人：刘*刚小猿提问...
2020-04-05 13:16:39
714
原创 HBase Shell Get 操作常用小技巧
在工作中，有时候只是想简单看下HBase表某些关键指标的值，这个时候总不能现写Java代码去查看，以下几个小技巧你可能会经常用到。1. 某行有许多列，只想获取指定2~3列的数据hbase> get 't1', 'r1', ['f:c1', 'f:c2', 'f:c3']2. 想看某个字段多个版本的数据hba...
2020-04-05 11:28:34
1049
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人