大数据交流官方群-CSDN博客

原创 hbase for hadoop2.X 使用 protocolbuffer 自定义filter

一.所需技能 1.搭建环境请参考http://blog.csdn.net/hadoop_83425744/article/details/49254741里面环境搭建 2.必须掌握protocol buffer 3.了解hbase的流程二.环境搭建 1.推荐环境搭建使用linux,通过hadoop在windows的二次开发的教训决定直接使用linux环境开

2015-11-20 15:53:28 1862

原创关于HBase报错org.apache.hadoop.hbase.NotServingRegionException的异常分析

近期和一个朋友交流，他们的业务系统使用HBase做为底层的数据存储。高峰期的时候偶尔出现org.apache.hadoop.hbase.NotServingRegionException，严重影响了业务系统的正常运行。分析日志后得到这样的错误：1、刚开始报，org.apache.hadoop.hbase.NotServingRegionException ********，is not onl

2015-11-20 09:06:08 14255 2

原创大型网站核心的架构（6-2）高性能

提高网站的性能，主要可以从web 前端，应用服务器，和数据存储三个方向来实施有效的方式，来控制网站的整体性能。1.性能测试方法性能测试--增加网站并发数，查看系统是否可以达到预期的处理能力负载测试--继续增加并发，查看系统最大的负载能力，此时系统的并发能力是增加的。压力测试--在系统能够承受的最大负载下，继续增加并发请求，知道系统崩溃的临界点

2015-11-01 19:22:20 787 1

原创正确理解hadoop 2.x 的环形缓冲区: (一) MR环形缓冲区的结构

一.什么是hadoop 环形缓冲区: Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。从这周开始,开始学习shuffle的整个过程,今天带来的是hadoop环形缓冲区的理解二.初始化mr环形缓冲区(maptask.MapOutputBuffer

2015-11-01 19:05:12 13629 3

原创 Java 关于读取配置文件

前序：项目包含哪些路径？1. 开发项目根路径，通常会在IDE里面新建一个工程，在磁盘上有对应的文件夹。2. 编译根路径，将开发好的项目编译后，会产生一个新的文件夹。或bin;output;等文件夹。3. CLASSPATH路径，java设置环境变量时会设置一个classpath这个路径就是真正执行java时的根路径。执行项目时，会将编译后的根路径追加到java环境变量的class

2015-10-29 21:21:58 871

原创搜索引擎 Apache Solr

主要讨论一种特殊的 NoSQL 技术，即 Apache Solr 。和她的其他非关系型兄弟们一样， Solr 也为一类特定问题的处理做了优化。具体来说，Solr 是一个可扩展的，可快速部署的，对搜索海量文本中心的数据和对返回结果做相关性排序方面做了优化的企业级搜索引擎。这句话读上去有点拗口，不过没关系，我们把这个定义中的亮点分解出来看：•可扩展性： Solr 可以把建立索引和查询处理的

2015-10-23 17:29:53 1092

原创大型网站核心的架构（6-1）基本要素

1.性能优化网站性能的手段有很多，从用户浏览器到数据库，影响用户请求的所有环节都可以进行性能优化。a.浏览器端浏览器缓存（对于一个网站而言，CSS,javascript等静态文件的更改频率较低，而这些资源又是每次请求都需要的资源，如果将这些文件缓存在浏览器端，将很好的提升性能。可以通过设置Cac

2015-10-23 12:51:20 628

原创如何成为一名合格的程序员

今天是我第一次写博客，想写些对大家都有帮助的文章，思前想后，觉得让大家理解怎样的程序员是受欢迎的非常重要。作为从业6年的程序员，谈些自己对这份工作的理解，希望能帮助到大家。仅仅是经验之谈，不喜勿喷。首先程序员是一个创新型职业，从计算机语言的起源开始至今，计算机已经给人类带来了翻天覆地的变化。发展的速度之快让人瞠目结舌。所以，作为一名程序员，没有一颗奉献的心，就不是一名优秀的程序员。当然并非所有

2015-10-22 19:54:34 932 1

原创 hadoop优化之MapReduce的Uber方式运行

hadoop2.x版本中新增了Uber方式运行MR。什么是Uber呢？hadoop中对于Uber做了如下的定义：1、mapreduce.job.ubertask.enable=true 首先你要启用uber模式，默认是false2、map数量3、reduce4、所有输入文件的总长度5、mapreduce.map.memory.mb（默认1024）1536M)6、

2015-10-21 16:27:34 2845

原创 hadoop-源码原理剖析--------(一)手把手教你如何进行hadoop开发的环境搭建,拒绝深坑!~

手把手教你如何进行hadoop开发的环境搭建,拒绝深坑!~

2015-10-19 20:37:52 1554

原创如火如荼的大数据时代，我们该如何去学习大数据？致所有想从学习大数据的IT人

当今时代，大数据、云计算、互联网+，这些名词每天通过各种途径充斥我们的大脑，显然已经全民进入了大数据时代。这个说法是有道理的，从国家层面来看，互联网+，大数据已经被列为国家层面的纲要了。因此，很多的IT人都开始进入大数据了，甚至在学校的学生也已经开始进入学习状态了。然而，很多人都是无头苍蝇，不知道从哪里下手？做为有着10年软件开发经验，3年大数据工作经验的我，借此机会给大家说说如何正确的学习大数据

2015-10-18 20:29:12 2134 2

原创 hadoop、hbase、storm官方论坛交流群

很高兴大家能来到我们交流群的官方博客，本博客为主要目的是为了解决大家的各种问题，并分享各种经验和教训。我们的官方QQ群为：83425744，欢迎有志研究大数据的朋友加入群中，大家一起讨论，交流，学习!目标每天一篇文件更新！

2015-10-14 12:42:40 2556 2

原创记一次系统HBase过滤器升级的异常

在我们的系统中，Hbase的RowKey是用二进制写入的，所以基于RowKey的正则表达式没有用处，因此自定义了一个比较器，用于匹配指定位置行健的内容。开发、测试阶段都没问题，上生产环境，运行后总是提示类找不到的错误。仔细确认了打的jar包的确放在Hbase的lib目录下的，为什么报这个错误呢？重启集群、无效把jar包删除了无效，重新加入无效难道真的见鬼了？忽然发现一个问题，生...

2015-09-16 16:12:29 167

原创 hbase故障分析之-regionserver突然宕机启动后也是宕机

近日发现测试环境中的RegionServer总是突然宕机，重新启动节点依然无效，无耐看了半天日志发现如下信息：[code="java"]2015-02-13 05:40:04,325 WARN [regionserver60020] zookeeper.RecoverableZooKeeper: Node /hbase/rs/slave2,60020,1423777199540 alread...

2015-02-13 14:46:30 604

原创 HBase工程师线上工作经验总结----HBase常见问题及分析

阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可能的原因是什么？7. regionserver发生abort,遇到最...

2014-12-29 09:49:20 193

原创创建HBASE数据库时候不得不注意的几处设置

[b]系统相关属性设置：[/b] HTableDescriptor tableDesc = new HTableDescriptor("test"); //日志flush的时候是同步写，还是异步写 tableDesc.setDurability(Durability.SYNC_WAL); //MemStore大小 tableDesc.setMemStoreFlu...

2014-12-29 09:47:50 245

原创 Hbase Client API 介绍

Hbase API 常用类应用网上Hbase的介绍有很多，案例也不少。自己写了个Demo，进行一些简单的总结。HBase 常用类介绍。JAVA API 和 HBase数据库模型之间的关系JAVA 类Hbase 数据模型HBaseAdmin数据库(database)HBaseConfigurationHTable表(table)HTableDescri...

2014-12-24 16:06:18 607

原创 Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加...

2014-12-24 15:48:13 130

专注大数据技术以及行业解决方案