- 博客(113)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 HBase系列文章汇总
本文整理汇总了本博客自去年学习HBase以来写的所有关于HBase的相关内容。持续更新中，更多内容，敬请关注！相关知识：1、《布隆过滤器（Bloom Filter）》2、《7-bit整数(Integer)压缩算法》3、《Java NIO（上）》《Java NIO（下）》HBase安装：1、《CentOS分布式环境安装HBase-0.96.0》2、《centos集群上
2014-07-29 11:26:34
3513
原创 Servlet&JSP的那些事儿
Servlet&JSP的那些事儿系列博文的目录如下所示：Servlet&JSP的那些事儿（一）：web技术，servlet，servlet容器，tomcat（安装与配置，目录结构，启动分析，体系结构）Servlet&JSP的那些事儿（二）：servlet主要类和接口，servlet容器请求处理过程，映射机制Servlet&JSP的那些事儿（三）：ServletRequest，Ser
2012-12-23 23:07:01
2380
原创 PredictionIO安装使用
PredictionIO 是一个开源的机器学习服务器框架，用Scala语言开发。它提供了简单的方式使用REST API来创建推荐引擎，也提供客户端SDK,包含REST API. 客户端SDK对Java, Python, PHP都适用。不过它的官方文档感觉不太友好，配置的时候走了些弯路，本文简单分享一下配置过程。
2016-08-30 21:07:15
5263
7
原创 hive和presto一些好用的自定义udf函数
自己编写了一些hive和presto的udf函数，最近在github上开源了（可以查看hive-third-functions和presto-third-functions）。有需要的人可以直接下来用，项目README中有详细的用法说明。如果有好的建议或发现了bug，可以在issue提问题。也欢迎加入自己的udf，完善这个第三方函数库。
2016-07-28 15:44:18
14066
6
原创 git安装配置及基本使用
安装git1）windows安装msysgit，下载地址：http://msysgit.github.io/安装的时候，基本选择默认设置，但是：在Adjusting your PATH environment页，勾选Run Git from the Windows Command Prompt2）ubuntu用命令“git --version”查看是否已安装，且版本为1
2015-04-13 11:46:10
9304
原创 linux系统中保证不删除重要的文件
safe-rm重新封装了/bin/rm,它可以用来保护重要文件。安装方法：sudo apt-get install safe-rm此时重要的目录或文件就不会被删除，例如：$ sudo rm -rf /usrSkipping /usr可以通过配置/etc/safe-rm.conf 或 ~/.safe-rm 添加你的需要保护的路径或文件。
2015-03-11 14:17:28
1029
原创 Scala学习笔记（1）
为什么选择Scala？表达能力函数是一等公民闭包简洁类型推断函数创建的文法支持Java可重用java库可重用java工具没有性能惩罚Scala如何工作？编译成Java字节码可在任何标准JVM上运行甚至是在一些不规范的JVM上，如DalvikScala编译器是Java编译器的作者写的
2014-12-26 17:38:50
1607
原创 Hive编程指南学习笔记（2）
我们可以使用describe extended financial.employee命令来查看这个表的详细表结构信息（如果当前所处的工作数据库就是financial，那可以不佳finanacial）。如果使用formatted替代关键字extended的话，那可以得到更多的输出信息。如果用户只想查看某一列的信息，那么只要在表名后增加这个字段的名称即可。这种情况下，使用extended关键字
2014-11-24 11:46:07
2017
原创 菜鸟学python-基础（3）
模块模块就是把一组相关的函数或代码组织到一个文件中，即一个文件就是一个模块。模块是由代码、类和函数组成的，其中类和函数可以有0个或多个。新建一个firstModule.py，即定义了一个名为firstModule的模块。在该模块定义两个函数和一个类，并在该类中定义一个方法，代码如下：# _*_ coding:utf-8 _*_# 自定义模块def function_one():
2014-11-18 15:07:38
1520
原创 菜鸟学python-基础（2）
变量命名：1）必须以字符或下划线开头2）以单下划线开头(_fo)表示不能直接访问的类属性，需要类提供的接口进行访问3）以双下划线开头(__foo)的代表类的私有成员4）以双下划线开头(__foo__)和结尾的代表python中特殊方法专用的标识，例如__init__()代表类的构造函数全局变量关键字 global_num = 12def myfunction ()
2014-11-18 10:36:03
1338
原创 Hive编程指南学习笔记（1）
hive一次使用命令：$ hive -e "select * from mytable limit 1;"OKname1 1name2 2Time taken: 3.935 seconds$ hive -e "select * from mytable limit 1;" > /tmp/myfile$ cat /tmp/myfileOKname1 1name
2014-11-07 19:15:01
2324
1
原创 自己动手在Linux下编译JDK
因为决定学习Java虚拟机，所以打算从自己编译JDK开始入手。本文是学习Java虚拟机的第一篇文章，后续会有更多相关文章。获取源码本文选择的源码版本为1.7。可以使用如下命令来获取源码：1）安装Mercurial的最新版本Mercurial是与Git相似的一个分布式版本控制系统，但使用方法上与Subversion相似。如果你使用过Subversion，很容易迁移到Mercu
2014-10-29 13:53:18
5008
2
原创 HBase文件格式演变之路
Apache HBase是Hadoop的分布式开源的存储管理工具，非常适合随机实时的io操作。我们知道，Hadoop的Sequence File是一个顺序读写，批量处理的系统。但是为什么HBase能做到随机的，实时的io操作呢？Hadoop底层使用Sequence File文件格式存储，Sequence File允许以追加的方式增加k-v（Key-Value）数据，根据hdfs的appen
2014-10-24 18:53:13
3734
原创 hbase 官方文档翻译
hbase官方文档相较于之前的又有了很多变化，但是中文版的翻译一直没来得及更新，之前和同事一起开始着手翻译新的官方文档。不过因为工作关系，这段时间翻译慢了下来。翻译的github地址：https://github.com/aaronshan/hbase-user-guide-cn。欢迎感兴趣的人一起参与～目前已经翻译的章节为1-7、16-17、19-20。
2014-09-29 17:58:04
1602
原创 HBase创建快照(snapshot)出现异常的处理方法
今天在hbase中创建快照的时候遇到了如下错误：hbase(main):004:0> snapshot 'booking', 'booking-snapshot-20140912'ERROR: org.apache.hadoop.hbase.snapshot.HBaseSnapshotException: Snapshot { ss=booking-snapshot-20140912 ta
2014-09-12 15:14:27
5441
2
原创 Linux命令之大文件切分与合并
当面临将一个大文件进行切分时，linux的split命令是很好的选择。它包含多种参数，支持按行、大小进行切分。split命令的语法如下：split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][输出文件名前缀]对应的参数描述如下：-a, --suffix-length=N 使用的后缀长度 (默认为 2)-b, --bytes=S
2014-08-18 16:41:45
12480
原创 Ubuntu下使用VirtualBox安装Mac OS X Mavericks(10.9)下篇
本文介绍如何在Ubuntu下安装Mac OS X Mavericks系统。
2014-08-14 17:00:50
4130
3
原创 Ubuntu下使用VirtualBox安装Mac OS X Mavericks(10.9)上篇
本文介绍如何在Ubuntu下安装Mac OS X Mavericks系统。具体如下：1）安装前准备工作下载Mac OS X Mavericks系统，地址：http://pan.baidu.com/s/1hqebqYw。需要下载的文件有：HackBoot_Mav.iso、OSXMavericks2.part1.rar 、OSXMavericks2.part2.rar 、OSXMaveri
2014-08-14 13:28:32
11075
1
原创 Ubuntu安装qBittorrent
qBitTorrent是Ubuntu Linux中最受欢迎的P2P软件之一。出自一名法国大学生之手的qBitTorrent功能强大，界面精美，操作直观。qBitTorrent是Linux中最受欢迎的P2P软件之一。不止如此，qBitTorrent还支持windows、mac、linux三大操作系统。它的主要特性包括：使用Qt4工具包编写出优美的图形用户界面;支持UPnP/NAT-PMP端口
2014-08-14 10:13:50
5501
原创 HBase备份之ExportSnapshot或CopyTable
文章《HBase备份之导入导出》介绍了使用HBase的自带工具Export和Import来实现在主集群和从集群之间拷贝表的目的。本篇介绍一种相比导入导出而言，更快速的一种备份办法。即ExportSnapshot。1、ExportSnapshot和Export类似，ExportSnapshot也是使用MapReduce方式来进行表的拷贝。不过和Export不同，ExportSnapsho
2014-08-13 16:41:52
5466
原创 HBase备份之导入导出
我们在上一篇文章《HBase复制》中讲述了如何建立主/从集群，实现数据的实时备份。但是，HBase复制只对设置好复制以后的数据生效，也即，配置好复制之后插入HBase主集群的数据才能同步复制到HBase从集群中，而对之前的历史数据，采用HBase复制这种办法是无能为力的。本文介绍如何使用HBase的导入导出功能来实现历史数据的备份。1）将HBase表数据导出到hdfs的一个指定目录中，具体命令
2014-08-11 17:43:49
4256
原创 Linux下Java、Maven、Tomcat的安装
1、安装Java（此处假定安装目录位/usr/local）1）下载jdk（jdk-7），下载地址如下：32位：http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-i586.tar.gz64位：http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk
2014-08-07 13:49:24
2485
原创 ubuntu 64位下安装wps
首先，去官网下载wps。地址：http://community.wps.cn/download/然后切换到下载目录，执行如下命令：$ sudo apt-get install ia32-libs* 然后执行安装命令：$ sudo dpkg -i --force-architecture wps-office_8.1.0.3724~b1p2_i386.deb会报如下错误：Selec
2014-08-04 17:35:25
2688
原创 Ubuntu64位安装Adobe Reader 9.5.5
Aodbe Reader在Linux下的效果比Foxit Reader（福昕阅读器）要好一些，尤其对于中文文档而言。本文介绍Adobe Reader在Ubuntu下的安装，文章《Ubuntu12.04 64位安装Foxit Reader》则介绍Foxit Reader的安装。Aodbe Reader的安装步骤如下：1）下载安装包。因为官网已经没有linux的下载选项了，所以我们可以选择
2014-08-04 13:56:58
2331
原创 Ubuntu开机自动挂载分区
首先，查看系统的磁盘代号：fdisk -lDisk /dev/sda: 120.0 GB, 120034123776 bytes255 heads, 63 sectors/track, 14593 cylinders, total 234441648 sectorsUnits = 扇区 of 1 * 512 = 512 bytesSector size (logical/physic
2014-08-03 19:38:19
1999
原创 Hadoop 2.2.0 HA配置
在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。说明：下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby na
2014-08-01 17:26:55
1336
原创 初学HBase的几个问题
本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题：什么是HBase？何时用HBase？与Hive、Pig的区别？HBase的结构为何HBase速度很快？HBase常用的操作有哪些？HBase的一些配置和监控什么是HBase？HBase，是Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉
2014-07-31 16:29:22
5766
原创 HBase复制
HBase复制是一种在不同HBase部署中复制数据的方法。它可以作为一种故障恢复的方法，并提供HBase层次的高可用性。在实际应用中，例如，可以将数据从一个面向页面的集群复制到一个MapReduce集群，后者可以同时处理新数据和历史数据。然后再自动将数据传回面向页面请求的集群。HBase复制中最基本的架构模式是“主推送”（master-push），因为每个region server都有自己的W
2014-07-31 10:43:03
3367
翻译 HBase中的备份和故障恢复方法
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级
2014-07-28 18:30:39
8393
1
原创 Ubuntu12.04安装深度音乐
在以下地址下载最新的deb包http://packages.linuxdeepin.com/deepin/pool/main/d/deepin-utils/下载python-deepin-utilshttp://packages.linuxdeepin.com/deepin/pool/main/d/deepin-ui/下载deepin-uihttp://packages.linuxde
2014-07-25 18:46:13
1161
转载 正确理解ThreadLocal
原文地址：http://www.iteye.com/topic/103804首先，ThreadLocal 不是用来解决共享对象的多线程访问问题的，一般情况下，通过ThreadLocal.set() 到线程中的对象是该线程自己使用的对象，其他线程是不需要访问的，也访问不到的。各个线程中访问的是不同的对象。 另外，说ThreadLocal使得各线程能够保持各自独立的一个对象，并不是通过Thre
2014-07-25 10:33:54
689
原创 7-bit整数(Integer)压缩算法
7-bit 压缩法，针对Integer数据的一种压缩算法，可以将4个字节的Int型数据压缩为1~5个字节，数值越小，压缩后的字节数越少，所以对值小的Int型数据会有比较好的压缩效果，其具体压缩原理，简单介绍如下: 1.将一个Int型数据转换成32位； 2.0~7位，按原值写入 3.如果原值的第8位及以后存在1，则写入1，否则写入0，结束写入（即压缩为了1个字节） 4.如果没结束，则
2014-07-22 14:40:44
6789
原创 Java NIO（下）
只读缓冲区只读缓冲区只能读取，不能写入。可以通过调用缓冲区的asReadOnlyBuffer()方法，将任何普通缓冲区转成只读缓冲区。这个方法返回一个与原缓冲区完全相同的缓冲区（并与其共享数据），只不过它是只读的。注：不能将只读缓冲区转换成可写缓冲区。直接和间接缓冲区另一种有用的ByteBuffer是直接缓冲区。直接缓冲区是为了加快IO速度，而用一种特殊的方式分配其内存的缓冲区。S
2014-07-21 15:48:37
1143
HBase管理指南
2014-07-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人