2 田晓彬

尚未进行身份认证

暂无相关简介

等级
TA的排名 49w+

HBase 完全分布式集群搭建

准备工作启动之前搭建的Hadoop完全分布式集群ZooKeeper集群服务运行正常HDFS集群服务运行正常环境搭建时钟同步注意: HBase集群节点和节点之间的时间误差最大允许为30s,如果大于30s需要对集群内的节点进行时间同步[root@nodex ~]# date2019年 08月 20日 星期二 17:13:53 CST[root@nodex ~]# date...

2019-10-14 20:28:17

HBase入门学习

一、概述Apache HBase 是Hadoop数据库,一个分布式、可伸缩的大数据存储。当需要对大数据进行随机、实时的读写访问时,请使用Apache HBase™。该项目的目标是在普通硬件集群上托管非常大的表(数十亿行X数百万列)。Apache HBase是一个开源的、分布式的、版本化的、非关系型数据库,它模仿了谷歌的Bigtable:一个用于结构化数据的分布式存储系统。正如Bigta...

2019-10-11 08:36:15

SparkSQL入门学习

Spark SQLSpark SQL是构建在Spark RDD之上一款ETL(Extract Transformation Load)工具(类似Hive-1.x-构建在MapReduce之上)。同Spark RDD 不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息(计算数据结构、转换算子),Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前...

2019-10-09 08:38:34

Apache Flume基础学习

Apache Flumeflume官网>>>一、Flume 概述Flume是一个分布式、可靠的、高可用的高效的日志数据收集、聚合以及传输系统。它简单灵活的架构是基于数据流的、Flume是具备强大的容错保障机制、有多种容错和恢复保障。Flume使用简单可扩展的数据模型允许开发在线分析处理应用。二、Flume架构1、Flume Event事件对象,被定义为数据流中...

2019-10-01 19:18:40

MapReduce程序的运行流程

MapReduce程序运行流程图MppReduce运行大致分为12步1.Runjar 启动Job(MapReduce程序)2.Job向ResouceManager 获取id3.拷贝resource(任务的Jar包/任务的配置/分片等信息)到HDFS中4.真正的提交任务(该步骤之后的操作全部在YANG集群中进行)5.在空闲的NodeManager Node中启动一个容器Node Man...

2019-08-16 19:42:03

HDFS在Linux上的配置

全部基于伪分布式(Pseudo-Distributed)进行学习 Linux环境搭建1.环境搭建(1)安装CentOS 7版本(2)安装完成 配置网卡信息vi /etc/sysconfig/network-scripts/ifcfg-ens33–最后一行的ONBOOT改为yes(3)重启网络服务systemctl restart(4)关闭防火墙systemctl stop f...

2019-08-12 21:49:29
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。