- 博客(27)
- 收藏
- 关注
RSS订阅原创 搭建hbase HA集群
前言：下载hbase的版本为1.0.0-cdh5.5.1，安装好hadoop和zookeeperhbase集群架构主节点：172.16.12.85从节点：172.16.12.88数据节点：172.16.12.91，172.16.12.94，172.16.12.97zookeeper集群架构172.16.12.85，172.16.12.88，172.16.12.9
2015-12-29 10:39:13
1130
原创 hadoop 2.6 HA搭建
准备条件zookeeper集群已配置好（172.16.12.85,172.16.12.88,172.16.12.91），并且zookeeper集群已启动，zookeeper版本为zookeeper-3.4.5-cdh5.4.2ssh都已配置好hadoop版本为2.6.0-cdh5.5.1集群规划第一步，配置core-site.xml文件。
2015-12-23 16:42:58
691
转载 log4j日志配置详解
一、Log4j简介Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制日志输出的样式和位置。1、LoggersLoggers组件在此系统中被分为五个级别：DEBUG、
2015-12-04 14:29:54
464
转载 redis.conf配置文件说明
# redis 配置文件示例 # 当你需要为某个配置项指定内存大小的时候，必须要带上单位，# 通常的格式就是 1k 5gb 4m 等酱紫：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes#
2015-12-03 15:34:52
506
原创 vi编辑器的各种命令总结
光标控制命令命令 光标移动h或^h 向左移一个字符j或^j或^n 向下移一行k或^p 向上移一行l或空格 向右移一个字符G 移到文件的最后一行nG 移到文件的第n行w 移到下一个字的开头W 移到下一个字的开头，忽略标点符号b 移到前一个字的开头B 移到前一个字的开头，忽略标点符号L 移到屏幕的最后
2014-07-29 20:26:02
733
原创 JMeter对Vertica数据库的测试
利用jmeter对mysql数据库进行压力测试 前期准备工作： Jmeter的安装包可以在公司W:\engineering\software\linux\jmeter下可以找到。Jmeter的运行需要java环境的支持的，要运行jmeter首先要安装JDK java运行环境，此安装包可以在公司的W:\engineering\software\linux\java 下找到。此外要使用jmet
2014-07-01 11:21:10
818
转载 mysql免安装文件怎么使用
1.准备工作下载mysql的最新免安装版本mysql-noinstall-5.1.53-win32.zip，解压缩到相关目录，如：d:\ mysql-noinstall-5.1.53-win32。这个就是mysql的根目录了。2.配置在根目录下有几个文件如下：my-small.ini （这是针对一个小内存（〈= 64MB）的系统，MySQL 只会被时不时地用一下，很重要的是
2014-06-29 09:31:26
668
转载 linux系统挂载分区
Linux的云服务器数据盘未做分区和格式化，可以根据以下步骤进行分区以及格式化操作。一：登陆用Linux 的SSH 登陆软件（xshell 或者putty） 登陆阿里云主机服务器。 二：查看主机数据盘在没有分区和格式化数据盘之前，使用 “df –h”（回车）命令，是无法看到数据盘的，可以使用“fdisk -l”（回车）命令查看。如下图：
2014-06-25 23:17:36
676
原创 MapReduce程序打jar要注意的事项
package cmd;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import or
2014-04-13 23:11:49
978
转载 Eclipse中常用快捷键总结
今天看了一段用MyEclipse开发一个小程序的视频，作者不知道使用了什么快捷键，一下子代码都自动排版好了，很是爽，于是到处找，在eclipse.org.cn没找到，于是Google，终于让我逮到，原来是Ctrl+Shift+F，程序代码自动排版。在找的过程中，有一大堆的其他快捷键，网上的版本也是层出不穷，什么常用版，什么实用版，很是让人眼花缭乱，收藏一下吧，以后用的着，以下有好多版本的，都贴在一
2014-04-04 15:12:48
1167
转载 Linux中10个有用的命令行补齐命令
本文由 极客范 -踏雁寻花 翻译自Balakrishnan Mariyappan。欢迎加入极客翻译小组，同我们一道翻译与分享。转载请参见文章末尾处的要求。在Linux系统中，输入一个命令，再按两次TAB键，就会列出所有以输入字符开头的可用命令。这并不新鲜，很可能你已经知道了这个。这个功能被称作命令补全。默认情况下，bash命令行可以自动补全文件或目录名称。不过，我们可以
2014-04-04 09:46:21
1344
原创 无法读取tomcat输出流的问题
javax.imageio.IIOException: Can't create output stream! at javax.imageio.ImageIO.write(ImageIO.java:1560)如果你的java程序跑出这种异常,则是你的tomcat的根目录下的temp目录不存在导致的,只要在bin的同级目录下创建一个temp目录即可!
2014-03-21 16:10:13
966
转载 java的单点登录
摘要：单点登录（SSO）的技术被越来越广泛地运用到各个领域的软件系统当中。本文从业务的角度分析了单点登录的需求和应用领域；从技术本身的角度分析了单点登录技术的内部机制和实现手段，并且给出Web-SSO和桌面SSO的实现、源代码和详细讲解；还从安全和性能的角度对现有的实现技术进行进一步分析，指出相应的风险和需要改进的方面。本文除了从多个方面和角度给出了对单点登录（SSO）的全面分析，还并且讨论了如何
2014-03-18 11:18:52
711
转载 Hbase理论知识详解
表在行方向上，按照行key范围划分成若干的Region每个表最初只有一个region，当记录数增加到超过某个阀值时，开始分裂成两个region物理上所有数据存放在HDFS，由Region服务器提供region的管理一台物理节点只能跑一个HRegionServer一个Hregionserver可以管理多个Region实例一个Region实例包括Hlog日志和存放数据的Stor
2014-03-17 17:10:09
682
转载 Hbase的架构和原理
一、架构思路 Hbase是基于Hadoop的项目，所以一般情况下我们使用的直接就是HDFS文件系统，这里我们不深谈HDFS如何构造其分布式的文件系统，只需要知道虽然Hbase中有多个RegionServer的概念，并不意味着数据是持久化在RegionServer上的，事实上，RegionServer是调度者，管理Regions，但是数据是持久化在HDFS上的。明确这一点，在后面的讨论中，
2014-03-17 17:05:09
823
转载 Zookeeper的常用方法举例
表 1 org.apache.zookeeper. ZooKeeper 方法列表方法名方法功能描述Stringcreate(String path, byte[] data, ListACL> acl,CreateMode createMode)创建一个给定的目录节点 path, 并给它设置数据，CreateMode 标识有四种形式的目录节点，分别是
2014-03-17 15:27:57
841
原创 Zookeeper简介
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，后面将会详细介绍 Zookeeper 能够解决的一些典型问题，这里先介绍一下，Zookee
2014-03-17 15:24:46
733
转载 Zookeeper,Hbase,hadoop之间的联系
这里有几个主要关系：1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了，但是其实HBase中HLog和StoreFile中的文件在进行flushto disk操作时，这两个文件存储到了HDFS的DataNode中，HDFS才是永久存储。2.ZooKeeper跟HadoopCore、HBase有什么关系呢？ZooKeeper都提供了哪些服务呢？主要有：管理Had
2014-03-17 14:59:30
1408
转载 Hbase的简介
一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache
2014-03-17 14:49:07
666
原创 Hadoop如何搭建集群
1.hadoop集群搭建方式1.1 确定部署三个节点，分别是hadoop0、hadoop1、hadoop2。 其中hadoop0是主节点(NameNode、JobTracker、SecondaryNameNode)，hadoop1、hadoop2是从节点(DataNode、TaskTracker)。1.2 解压的linux镜像文件，自己配置linux的初始化环境，
2014-03-09 22:21:09
987
原创 hadoop程序在MyEclipse中打jar时要注意的事项
首先你的类得extends Configured implements Tool，并且实现tool的run方法。下面我把代码贴出来，如图package cmd;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoo
2014-03-04 23:42:00
1336
原创 java程序在eclipse中打jar包
选中你要打jar包的项目,然后右键选择Export.如图选择java中的jar选项.如图选中你要打jar包的项目,并填写你要输出的jar包名称,如图4,选择你打jar包项目的main函数所在的类,并确定.如图至此,一个项目打jar包完成,希望对你有帮助!
2014-03-04 10:43:58
962
转载 Hadoop 1与Hadoop 2的区别
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 1.Hadoop 原 MapReduce 架构从上图中可以清楚的看出原
2014-03-03 09:44:29
4605
原创 hadoop常用命令
-help //显示命令的帮助信息 -ls(r) //显示当前目录下所有文件 -du(s) //显示目录中所有文件大小 -count[-q] //显示目录中文件数量 -mv //移动多个文件到目标目录 -cp //复制多个文件到目标目录 -rm(r) //删除文件（夹）-put //本地文件复制到hdfs-copyFromLocal //同put-moveFro
2014-02-27 00:06:00
785
原创 Linux的操作命令
1，相对路径 ... ~2，目录跳转 cdxxx(就是你想进入的目录)3，创建文件 touch4，查看文件 more,cat5，查看目录 ls -alr6，创建目录 mkdir -p7，复制文件 cp8，删除文件 rm -r xxx9，修改文件权限 chmod -R 70010，修改文件夹的所有者 chown -R root:root xxx11
2014-02-26 23:50:06
739
转载 oauth 2.0
I:OAuth 2.0 开发前期准备天上不会自然掉馅饼让你轻松地去访问到人家资源服务器里面的用户数据资源，所以你需要做的前期开发准备工作就是把AppKey, AppSecret取到手 新浪获取传送门，腾讯获取传送门这里说一下，在申请AppKey和AppSecret的过程中，新浪和腾讯的申请做法是有区别的。在新浪微博的AppKey,AppSecret申请时会验证你是否拥有域名的所
2013-12-04 11:20:51
642
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人