龙行天下Hadoop的专栏

原创 Hbase的完全分布模式安装

1.下载hbase，解压hbase-0.96.1.1-hadoop1-bin.tar.gz（tar -zxvf hbase-0.96.1.1-hadoop1-bin.tar.gz） 2.在hbase的conf文件下面配置/conf/hbase-env.shexportJAVA_HOME=/usr/soft/jdkexportHBASE_CLASSPATH=/usr/soft/had

原创 SSH安全通讯原理

原创 SSH免密码登录原理

1.需要依靠密匙，也就是先为自己创建一对密匙，并把公用密匙放在需要访问的服务器上。 2.如果你要连接到SSH服务器上，客户端软件就会向服务器发出请求，请求用你的密匙进行安全验证。3.服务器收到请求之后， 先在该服务器上你的主目录下寻找你的公用密匙，然后把它和你发送过来的公用密匙进行比较。如果两个密匙一致,服务器就用公用密匙加密“质询”（challenge）并把它发送给客户端软件。4

原创 Hadoop动态删除节点

在hadoop1上修改conf/hdfs-site.xml文件  　　dfs.hosts.exclude　　/usr/local/hadoop/conf/excludes l      确定要下架的机器dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。l      强制重新加载配置hadoopdfsadmin  -refreshNod

原创 Hadoop2.0完全分布式安装(无HA 联邦)

1.设置静态ip      在CentOS桌面右上角的图标，右键修改      重启网卡，执行servicenetwork restart（/etc/rc.d/init.d/network restart）    验证:执行命令ifconfig2.修改主机名      1.修改会话中的主机名，执行命令 hostname hadoop      2.修改配置文件中主机名，vi

原创 安装Zookeeper

1.将zookeeper-3.4.5.tar.gz传到Linux系统上，解压文件     tar -zxvf zookeeper-3.4.5.tar.gz2.重命名文件zookeeper-3.4.5.tar.gz  mv zookeeper-3.4.5.tar.gz zookeeper3.配置环境变量  /home/hadoop/.bash_profile    添加  exp

原创 Hadoop1.0存在的问题和Hadoop2.0的介绍

Hadoop1.0在HDFS和MapReduce在高可用方面、扩展性方面存在问题HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景 2.NameNode压力过大，且内存受限，影响系统扩展性。 MapReduce存在的问题 1.JobTracker单点故障 2.JobTracker访问压力大，影响系统扩展性 3.难以支持除MapReduce之外的框架

原创 hadoop动态添加节点

1.修改新节点的/etc/hosts，增加NameNode的主机名与ip2.设置节点与新节点ssh免密码的登录3.在新节点安装好Hadoop(NameNode有关配置文件复制到该节点)4.修改NameNode的配置文件conf/slaves，添加新增节点5.在新节点的机器上，单独启动该节点上的DataNode和TaskTrackerhadoop-daemon.shstart d

原创 Hadoop1完全分布式安装

服务器配置：hadoop1 hadoop2 haddop3 hadoop4四台服务器，1.设置静态ip      在CentOS桌面右上角的图标，右键修改      重启网卡，执行servicenetwork restart（/etc/rc.d/init.d/network restart）    验证:执行命令ifconfig2.修改主机名      1.修改会话中的主机