5 zz657114506

尚未进行身份认证

暂无相关简介

等级
TA的排名 5w+

Kafka 集群启动脚本

启动脚本在$Kafka_home/bin下touchkafka-start-cluster.sh,并chmoda+xkafka-start-cluster.sh#!/bin/bashbrokers="mini05mini06mini07"kafka_home="/home/apps/kafka"foriin$brokersdoecho"Startingkafka

2017-01-23 23:42:59

Kafka 集群搭建

Kafka集群搭建zookepper集群搭建(详细)http://blog.csdn.net/zz657114506/article/details/53966944kafka集群规划mini05mini06mini07(3台服务器都运行zookeeper、kafka)1、下载kafka安装http://archive.apache.org/dist/kafka/2

2017-01-23 23:37:59

Storm Worker 进程间通信

流程图流程说明1、Worker接受线程通过网络接受数据,并根据Tuple中包含的taskId,匹配到对应的executor;然后根据executor找到对应的incoming-queue,将数据存发送到incoming-queue队列中。2、业务逻辑执行现成消费incoming-queue的数据,通过调用Bolt的execute(xxxx)方法,将Tuple作为参数传输给用户自定义

2017-01-19 00:58:46

-ROOT-表和.META.表详解

HBase中有两个特殊的表:-ROOT-和.META.。由于HBase中的表可能非常大,故HBase会将表按行分成多个region,然后分配到多台RegionServer上。数据访问的整个流程如下图所示:注意两点:      Client端在访问数据的过程中并没有涉及到Master节点,也就是说HBase日常的数据操作并不需要Master,不会造成Master的负担。      并不是每次数

2017-01-17 11:39:18

Storm 流程分析

流程说明client提交topology到nimbusnimbus针对该topology建立本地的目录,nimbus中的调度器根据topology的配置计算task,并把task分配到不同的worker上,调度的结果写入zk。在zk上创建assignments节点,存储task和supervisor中work的对应关系。在zk上创建workerbeats节点来监控worker的心跳。su

2017-01-17 01:57:40

Storm 架构

Storm编程模型Topology:Storm中运行的一个实时应用程序的名称(拓扑)。类似于Hadoop的MapReduceJobSpout      :在一个topology中获取源数据流的组件。将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给BoltBolt         :接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个B

2017-01-16 22:30:10

storm集群启动/停止脚本

storm集群启动脚本    在$STORM_HOME/bin下touchstart-storm-cluster.sh并chmoda+xstart-storm-cluster.sh#!/bin/bash#nimbus节点nimbusServers='mini01mini02'#supervisor节点supervisorServers='mini01mini02mini03'#启动

2017-01-14 23:08:34

Storm1.0 集群部署(HA)

storm1.0.2下载地址      http://archive.apache.org/dist/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gzzookeeper集群部署      http://blog.csdn.net/zz657114506/article/details/53966944stormha集群规划Nimbus

2017-01-14 18:19:23

HBase 原理

概述hbase是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase中的表一般有这样的特点1、大:一个表可以有上亿行,上百万列2、面向列:面向列(族)的存储和权限控制,列(族)独立检索。3、稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。物理存储1.Table中的所有行都按照rowkey的字典序排列。

2017-01-08 19:08:19

HBase shell 操作

进入hbasecommand[root@mini01bin]#./hbaseshell退出hbasecommand[root@mini01bin]#quit命令名称表达式查看所有表list创建表create‘表名’,‘列族名1’,’列族名2’,’列族名N’描述表describe‘表名’判断表存在exists

2017-01-08 00:23:07

HBase 数据模型

RowKeyrowkey是用来检索记录的主键。访问HBASEtable中的行,只有三种方式通过单个rowkey访问通过rowkey的range(正则)全表扫描Rowkey行键(Rowkey)可以是任意字符串(最大长度是64KB,实际应用中长度一般为10-100bytes),在HBASE内部,rowkey保存为字节数组。存储时,数据按照Rowkey的字典序(byt

2017-01-08 00:04:03

HBase 高可靠集群搭建

hbase下载链接http://archive.apache.org/dist/hbase/stable/hbase-1.2.4-bin.tar.gz集群规划Hmaster:  mini01mini02HRegionServe:  mini05mini06mini071确保集群环境可运行hadoop-ha集群搭建可参考这里2解压并修改文件名

2017-01-07 21:31:53

Hadoop2.7.3-HA 集群搭建(传智播客)

前期准备1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系/etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK,配置环境变量等集群规划主机名IP安装的软件运行的进程mini01192.168.175.141jdk、hadoopNameNod

2017-01-07 18:43:25

Zookeeper 启动脚本 & 命令行操作

启动脚本     当zookeeper服务器部署比较多的时候,我们一个一个的去启动时相当麻烦的,当使用脚本进行全部一起启动或停止时相当高效的。startzk.sh#!/bin/shecho"startzookeeperserver..."hosts="mini05mini06mini07"forhostin$hostsdossh$host"source/etc/

2017-01-01 22:28:24

Zookeeper概念 & 数据结构

概念Zookeeper是一个分布式协调服务,为用户的分布式应用程序提供协调服务1、zookeeper是为别的分布式程序服务的2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务)3、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统>一名称服务等4、虽然说可以提供

2017-01-01 17:26:39

Zookeeper 配置文件解释

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下:tickTime:CS通信心跳时间Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=2000initLimit:

2017-01-01 17:08:40

Zookeeper 集群搭建

下载ZooKeeperhttp://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/解压tar-zxfzookeeper-3.4.9.tar.gz配置环境变量vi/etc/profileexportZOOKEEPER_HOME=/home/apps/zookeeper-3.4.9expor

2017-01-01 16:57:16

Hive 性能调优

避免执行MRselect*orselectfield1,field2limit10where语句中只有分区字段或该表的本地字段使用本地sethive.exec.mode.local.auto=true;EXPLAIN的使用hive对sql的查询计划信息解析EXPLAINSELECTCOUNT(1)FROMT_TABLE;EXPLAINEXTENDE

2016-12-29 21:51:55

Hive Lateral View

lateralview       类似列转行,用于和split,explode等UDTF一起使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。lateralview首先为原始表的每行调用UDTF,UTDF会把一行拆分成一或者多行,lateralview再把结果组合,产生一个支持别名表的虚拟表。使用查看表结果以及数据列转行

2016-12-28 00:06:10

CentOS7 ping: unknown host www.baidu.com

CentoOS7minimal出现ping:unknownhostwww.baidu.com解决办法:修改(vi/etc/sysconfig/network-scripts/ifcfg-eth0)重启网络(systemctlrestartnetwork.service(或servicenetworkrestart))查看(cat/etc/resolv.conf)

2016-12-25 18:55:48

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!