zz657114506-CSDN博客

原创 Kafka 集群启动脚本

启动脚本在$Kafka_home/bin下 touch kafka-start-cluster.sh，并chmod a+x kafka-start-cluster.sh#!/bin/bashbrokers="mini05 mini06 mini07"kafka_home="/home/apps/kafka"for i in $brokersdo echo "Starting kafka

2017-01-23 23:42:59 2544

原创 Kafka 集群搭建

Kafka 集群搭建zookepper集群搭建（详细） http://blog.csdn.net/zz657114506/article/details/53966944kafka 集群规划 mini05 mini06 mini07 （3台服务器都运行zookeeper、kafka）1、下载kafka安装 http://archive.apache.org/dist/kafka/2

2017-01-23 23:37:59 709 1

原创 Storm Worker 进程间通信

流程图流程说明 1、Worker接受线程通过网络接受数据，并根据Tuple中包含的taskId，匹配到对应的executor；然后根据executor找到对应的incoming-queue，将数据存发送到incoming-queue队列中。 2、业务逻辑执行现成消费incoming-queue的数据，通过调用Bolt的execute(xxxx)方法，将Tuple作为参数传输给用户自定义

2017-01-19 00:58:46 1635

原创 -ROOT-表和.META.表详解

HBase中有两个特殊的表：-ROOT-和.META.。由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示：注意两点： Client端在访问数据的过程中并没有涉及到Master节点，也就是说HBase日常的数据操作并不需要Master，不会造成Master的负担。并不是每次数

2017-01-17 11:39:18 1248

原创 Storm 流程分析

流程说明client提交topology到nimbusnimbus针对该topology建立本地的目录，nimbus中的调度器根据topology的配置计算task，并把task分配到不同的worker上，调度的结果写入zk。在zk上创建assignments节点，存储task和supervisor中work的对应关系。在zk上创建workerbeats节点来监控worker的心跳。su

2017-01-17 01:57:40 628

原创 Storm 架构

Storm编程模型Topology：Storm中运行的一个实时应用程序的名称（拓扑）。类似于Hadoop的MapReduce JobSpout ：在一个topology中获取源数据流的组件。将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给BoltBolt ：接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个B

2017-01-16 22:30:10 438

原创 storm集群启动/停止脚本

storm集群启动脚本在$STORM_HOME/bin下touch start-storm-cluster.sh并chmod a+x start-storm-cluster.sh#!/bin/bash#nimbus节点nimbusServers='mini01 mini02'#supervisor节点supervisorServers='mini01 mini02 mini03'#启动

2017-01-14 23:08:34 8824 3

原创 Storm1.0 集群部署（HA）

storm1.0.2下载地址 http://archive.apache.org/dist/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gzzookeeper集群部署 http://blog.csdn.net/zz657114506/article/details/53966944storm ha集群规划Nimbus

2017-01-14 18:19:23 660

原创 HBase 原理

概述hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase中的表一般有这样的特点 1、大：一个表可以有上亿行，上百万列 2、面向列:面向列(族)的存储和权限控制，列(族)独立检索。 3、稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。物理存储1. Table中的所有行都按照row key的字典序排列。

2017-01-08 19:08:19 691

原创 HBase shell 操作

进入 hbase command [root@mini01 bin]# ./hbase shell退出hbase command [root@mini01 bin]# quit命令名称表达式查看所有表 list 创建表 create ‘表名’, ‘列族名1’,’列族名2’,’列族名N’ 描述表 describe ‘表名’ 判断表存在 exists

2017-01-08 00:23:07 539

原创 HBase 数据模型

Row Key row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式通过单个row key访问通过row key的range（正则）全表扫描Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byt

2017-01-08 00:04:03 428

原创 HBase 高可靠集群搭建

hbase下载链接 http://archive.apache.org/dist/hbase/stable/hbase-1.2.4-bin.tar.gz集群规划 Hmaster : mini01 mini02 HRegionServe : mini05 mini06 mini07 1 确保集群环境可运行 hadoop-ha 集群搭建可参考这里2 解压并修改文件名

2017-01-07 21:31:53 652

原创 Hadoop2.7.3-HA 集群搭建（传智播客）

前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等集群规划主机名 IP 安装的软件运行的进程mini01 192.168.175.141 jdk、hadoop NameNod

2017-01-07 18:43:25 2450 1

原创 Zookeeper 启动脚本 & 命令行操作

启动脚本当zookeeper服务器部署比较多的时候，我们一个一个的去启动时相当麻烦的，当使用脚本进行全部一起启动或停止时相当高效的。startzk.sh#!/bin/shecho "start zookeeper server..."hosts="mini05 mini06 mini07"for host in $hostsdo ssh $host "source /etc/

2017-01-01 22:28:24 7555

原创 Zookeeper概念 & 数据结构

概念 Zookeeper是一个分布式协调服务，为用户的分布式应用程序提供协调服务 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供

2017-01-01 17:26:39 2184

原创 Zookeeper 配置文件解释

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：tickTime：CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。 tickTime=2000 initLimit：

2017-01-01 17:08:40 368

原创 Zookeeper 集群搭建

下载ZooKeeper http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/解压 tar -zxf zookeeper-3.4.9.tar.gz配置环境变量 vi /etc/profile export ZOOKEEPER_HOME=/home/apps/zookeeper-3.4.9 expor

2017-01-01 16:57:16 620

原创 Hive 性能调优

避免执行MR select * or select field1,field2 limit 10where语句中只有分区字段或该表的本地字段使用本地set hive.exec.mode.local.auto=true;EXPLAIN的使用 hive对sql的查询计划信息解析 EXPLAIN SELECT COUNT(1) FROM T_TABLE; EXPLAIN EXTENDE

2016-12-29 21:51:55 1568

原创 Hive Lateral View

lateral view 类似列转行，用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。使用查看表结果以及数据列转行

2016-12-28 00:06:10 726

原创 CentOS7 ping: unknown host www.baidu.com

CentoOS7 minimal 出现ping: unknown host www.baidu.com解决办法：修改（vi /etc/sysconfig/network-scripts/ifcfg-eth0）重启网络（systemctl restart network.service（或 service network restart））查看（cat /etc/resolv.conf ）

2016-12-25 18:55:48 21093

原创 Hive 视图索引动态分区装载数据

视图创建视图 create view v_emp AS select t.name, t.age, t.addr from t_emp; 删除视图 drop view if exists v_emp;索引创建索引 create index t_emp_index on table t_emp (name) as ‘org

2016-12-21 00:36:52 2070

原创 Hive 之内/外表与分区表/桶表区别

内表创建表时没加external，默认是内表所有的 Table 数据（不包括 External Table）都保存在warehouse这个目录中。删除表时，元数据与数据都会被删除创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除外表包含

2016-12-13 01:40:38 2775

原创 Hive DDL（Data Definition Language）之修改表

修改表具体用法请查看官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 继续沿用DDL之创建表中的t_worker表进行操作。Rename Table ALTER TABLE table_name RENAME TO new_table_name; Alter Table Properties

2016-12-12 02:09:00 592

原创 Hive 脚本执行

继上篇DDL中load的数据继续进行脚本操作。hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，不会显示OK和抓取的数据条数 hive -f sqlfile 执行

2016-12-11 23:30:09 16823 3

原创 Hive DDL（Data Definition Language）之创建表

具体还需要看官网文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL创建表CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comm

2016-12-11 02:49:20 805

原创 HIVE 基本概念

Hive架构 hive架构图 hive组件用户接口 CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。元数据存储 Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

2016-12-11 00:53:14 920

原创 CentOS-7 没ifconfig命令的解决方法

执行 ifconfig[root@slave ~]# ifconfig-bash: ifconfig: command not found[root@slave ~]# which ifconfig/usr/bin/which: no ifconfig in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)yum 安装

2016-12-10 02:13:08 1661

原创 CentOS7 离线安装mysql-5.7.16

mysql官方网站：http://www.mysql.com安装新版mysql前，需将系统自带的mariadb-lib卸载[root@slave mytmp]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64[root@slave mytmp]# rpm -e --nodeps mariadb-libs-5.5.44-2

2016-12-10 02:01:41 12116 1

原创 Hive 本地环境搭建（mysql）

解压 apache-hive-2.1.0-bin.tar.gz 添加环境变量（vi /etc/profile） #hive_env export HIVE_HOME=/usr/hive-2.1.0 export PATH=${HIVE_HOME}/bin:$PATH source /etc/profile (生效)将 hive-default.xml.templa

2016-12-05 01:04:04 878

原创 ubuntu sudo出现sudo:must be setuid root

原因：执行 sudo chown -R 用户名 /usr 之后会造成：sudo: /usr/bin/sudo must be owned by uid 0 and have the setuid开机按shift或esc先进行recovery模式选择root命令行模式依次执行一下命令 mount -o remount,rw / chown root:root /usr/bin/sudo

2016-12-04 23:30:46 470

原创 Ubuntu 安装mysql

下载mysql http://cdn.mysql.com//Downloads/MySQL-5.7/mysql-server_5.7.16-1ubuntu16.04_i386.deb-bundle.tar解压文件 tar -xf mysql-server_5.7.16-1ubuntu16.04_i386.deb-bundle.tar解压开来后，一共有11个deb包，用sudo dpkg

2016-11-10 00:21:01 224

原创 NIO（5） Selector

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为读、写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接。SelectableChannel（可选择通道）这个抽象类提供了通道的可选择性所需要的公共方法。FileChannel对象不是可选择的，因为没继承SelectableChannel。所有SocketCh

2016-10-27 14:10:32 204

原创 NIO（4） SocketChannel

Java NIO中的SocketChannel是一个连接到TCP网络套接字的通道。可以通过以下2种方式创建SocketChannel： 1、打开一个SocketChannel并连接到互联网上的某台服务器。 2、一个新连接到达ServerSocketChannel时，会创建一个SocketChannel。

2016-10-26 22:17:57 315

原创 NIO（3） FileChannel

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为读、写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接。Selector实现IO多路复用serverpackage com.zz;import java.io.IOException;import java.net.InetSocketAddress;impo

2016-10-26 21:20:38 247

原创 NIO（2） Channel之间数据传输

Java NIO中，如果两个通道中有一个是FileChannel，可以直接将数据从一个channel传输到另外一个channel。transferFrom FileChannel的transferFrom()方法可以将数据从源通道传输到FileChannel中 public void testTransferFrom() throws Exception { Random

2016-10-26 13:26:05 298

原创 NIO（1） Channel和Buffer

Channel Java NIO的通道类似流，但又有些不同：既可以从通道中读取数据，又可以写数据到通道。但流的读写通常是单向的。通道可以异步地读写。通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入Channel的实现FileChannel ：从文件中读写数据。DatagramChannel：能通过UDP读写网络中的数据。SocketCha

2016-10-25 21:36:27 290

原创 windows下解决端口被占用

win键 + r，输入cmd进入DOS命令窗口根据端口号查程序的进程号根据程序的进程号查看具体的程序名称 tasklist | findstr 进程号(9500)强制、递归删除本程序及其子进程 taskkill -f -t -im 进程名(javaw.exe)

2016-10-25 20:24:24 3086

转载 Netty初探-基本概念和相关类介绍

基本概念概念Netty是由JBOSS提供的一个Java NIO开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。可实现的功能见下图： Netty vs Mina vs GrizzlyMina的设计理念最为优雅，Netty和Mina的主导作者是同一人。Mina出自于Apache，Netty出身于商业开源大亨Jboss，而Griz

2016-10-23 23:52:23 520

原创 Netty server-client 实现

Serverpackage com.zz.hello5;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.Channel;import io.netty.channel.ChannelFuture;import io.netty.channel.ChannelHandlerContext;import io.n

2016-10-23 21:33:14 315

原创 03 Timer

package com.zz.timer;import java.util.Date;import java.util.Timer;import java.util.TimerTask;public class MyTimer { // 用于交替执行爆炸（0：2s、 1：4s） private static int var = 0; public static void m

2016-10-03 23:57:27 171

空空如也

空空如也