2 鑫火

尚未进行身份认证

永不言弃

等级
TA的排名 16w+

二、storm 深入学习及案例讲解

storm的容错保障机制storm发送完整性数据的容错机制当storm在传递数据,如在spout传递tuple时会随机生成一个16位的二进制数,在传递数据的时候,下一个bolt不仅会收到一个tuple,而且还会收到这个16位的二进制数,为了保证传递数据的完整性,会将这两个二进制数进行异或运算,如果异或的结果是16个0的二进制数,那么说明传递的数据是完整的,反之,说明传递的数据是不完整的。...

2019-08-21 09:44:58

一、storm 介绍及部署

storm介绍概念:storm是一种实时的分布式的流式计算框架。可以用来实时的处理流式数据,因为它是基于内存进行计算的,因此它的计算速度比较快,它与map/reduce相比具有实时性高,计算速度较快的特点,但是它相比于map/reduce而言,它处理的数据较小。map/reduce适合处理数据量较大的离线数据。...

2019-08-16 16:27:22

一、CDH_clouderaManager使用_impala_oozie

impala大数据的核心思想是:分而治之,计算向数据移动。hive是如何进行大数据计算的?hive本身不会不会进行计算的,hive会将sql转化为map/reducer来进行大数据计算的。使用map/reducer的shuffle的特点:采用的是基于序列化的环形字节数组来进行存储。...

2019-08-16 10:46:54

2、网站日志分析系统_flume、数据存储及ETL

flume的架构图(flume是用来监控本地日志的某一文件)安装配置flume

2019-08-06 20:16:52

1、【项目】网站日志分析系统_数据源讲解及数据收集

Hbase补充:微博案例讲解

2019-08-01 21:03:02

2、hbase 基本操作及性能优化

Hbase的API介绍准备操作Hbase的DDL操作Hbase的DML操作:hbase的查询操作:查询hbase数据库中某一列族下的某一列的值,查询是要指定具体的rowKeyHBase之六:HBase的RowKey设计https://www.cnblogs.com/duanxz/p/4660784.htmlhbaseprotobuf讲解安装 Google Proto...

2019-07-31 19:22:08

1、hbase 架构设计及hbase 部署

Hbase 简介及数据模型Hbase 架构分析Hbase 完全分布式搭建安装时间同步软件免秘钥登陆

2019-07-28 08:37:38

3、hive 权限管理及优化

Hive权限管理服务器端客户端的配置文件进行相应的修改后,客户端的配置文件也要做相应的同步修改。创建角色:发现当前角色不能创建角色,只有当前管理员才可以创建角色查看当前角色,发现是public,将用户的角色设置(切换为)为admin创建新的角色Hive的优化如果加extended可以看到更加详细的输出采用本地模式来分析数据是执行小林明显提高。...

2019-07-25 22:21:05

2、hive 基本操作

Hive SQL通过分析需求来查看文档来完成指定的需求:查看表中插入的数据如果想查看更加详细的表的结构可以使用下面的sql语句查看表中的信息内部表与外部表在使用时的区别:内部表在删除表时会将数据和元数据都会删除;外部表在删除表时只会将元数据删除,但是数据还保存在hdfs的文件系统中上述原因分析:内部表创建后的数据还由hive进行对数据进行管理;外部表创建的只是一个...

2019-07-23 22:32:58

1、hive 架构设计及集群搭建

hive单用户模式的搭建挂载本地yum通过yum来安装mysql-server注意mysql安装时要注意安装的mysql-server,而不是mysql,安装mysql只是一个客户端启动mysql服务设置mysql的开机启动进行授权操作直到下面这步mysql正式安装成功启动node01、node02、node03、node04等节点,并查看启...

2019-07-23 18:00:31

3、MapReduce 分布式计算框架架构设计及项目案例

hadoop-mapreduce-架构概念01_1

2019-07-18 22:31:47

2、Hadoop 高可用集群及java API

单机伪分布式hadoop的搭建参照:https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.htmlnode01ssh远程登录node02来远程操作node02节点的内容,此过程是不会加载/etc/profile文件的。1、 进行免密钥操作2、安装jdk配置环境变...

2019-07-17 17:34:14

1、hadoop简单介绍及架构介绍

hadoop-hdfs-角色介绍hadoop-hdfs-fsimage与edits合并hadoop-hdfs-读写流程读流程:1、读的时候namenode会对datanode排好序,根据距离优先,会先读取距离近的datanode.2、hdfs分布式读取系统可以根据排好的序选择最近的datanode进行读取,很好的解决了本地化读取文件的流程...

2019-07-16 10:00:04

9、高并发与负载均衡-nginx-session一致性

注意session时间的一致性,就是session的时间的失效问题。

2019-07-15 16:11:36

8、高并发与负载均衡-nginx配置虚拟服务器

可以做广告计费,通过分析日志文件**查看nginx的官方中文文档定义反向代理定义负载均衡

2019-07-15 14:47:44

7、高并发与负载均衡-nginx安装配置

做配置产生makefile文件nginx支持模块化热部署,可以在不停服务的时候,修改配置文件,master重新加载配置文件,产生新的worker,加载完毕后销毁旧的worker。...

2019-07-14 22:31:22

6、高并发与负载均衡-nginx反向代理

2019-07-14 22:15:52

5、高并发与负载均衡-keepalived-概念介绍与实验

keepalived-概念介绍LVS存在的问题:1、LVS存在单点故障,导致服务不能访问;2、真实机存在单点故障,导致部分用户能访问。keepalived实验清除node1的lvs的内核部分keepalived的配置文件目录node1配为master,node4配为backup,当node1宕机后,node4会变为master当node1恢复后,node1又变成m...

2019-07-14 21:39:39

4、高并发与负载均衡-lvs-DR模型试验

目前所用的配置都是临时配置**简写对all目录中的两个文件也做这两个操作对node3节点重复操作上述操作启动两台 real server,并且访问刷新地址栏后会轮询切换到102与103两台真实机上查看lvs偷窥...

2019-07-14 15:55:39

3、高并发与负载均衡-lvs-功能配置介绍

2019-07-14 10:54:02

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。