- 博客(7)
- 收藏
- 关注
RSS订阅原创 Redis 总结
一、redis中的数据结构：1、redis中的key：（1）、redis中key必须是唯一的（2）、key的操作：https://www.runoob.com/redis/redis-keys.html2、字符串类型（strings）：（1）、注意：key不要太长，也不要太短，最好不要超过1024字节。（2）、示例：set是设置key/value，get是获取key...
2019-07-06 10:10:28
883
原创 Kafka 总结
Kafka 总结石锐穷且益坚，不坠青云之志。一、kafka概述：1、消息队列：1）、原理及其有点：客户端消费Queue种的数据有两种方式：1、发布/订阅模式，也就是一对多，数据生产之后，推给所有的订阅者，打个比方：就像是手机上面的QQ消息，你没有打开手机看消息，但是如果有消息就会一直有消息推送过来。2、点对点模式，也就是一对一，这个是主动模式，第一种模式更像是被动模...
2019-07-05 12:30:25
165
原创 Flume 总结
一、Flume使用场景：线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输。二、Flume的体系架构：1、source：用于采集数据，souce是产生数据流的地方，同时将source会将数据流传输到channel，这点类似于jav...
2019-07-02 17:48:39
159
原创 Hive 总结
HIve 总结石锐穷且益坚，不坠青云之志。一、Hive的特点以及和RDBMS的异同：1、hive是一个数据仓库的工具，可以将结构化的数据完全映射成一张表，优点是学习成本低，底层是转化为MR的程序，它是不支持事务，不支持实时查询，具体和RDBMS区别如下：（转载）二、Hive中的数据倾斜：1、数据倾斜的原因：（1）、key分布不均匀。（2）、业务数据本身的原因。（...
2019-07-01 17:04:25
296
原创 HBase总结
一、HBase的特点：（1）、表大：一个表可以有数亿行，上百万列。（2）、无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态增加，同一个表中的不同行的可以有截然不同的列。（3）、HBase是面向列的的存储和权限控制，列族独立索引。（4）、稀疏：空（null）列并不占用空间，表可以设计的非常稀疏。（5）、数据类型单一：HBase中的数据都是字符串，没有类型。二、...
2019-06-28 17:10:58
545
原创 Zookeeper 总结
一、Zookeeper的作用：1、ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。 分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协 调/通知、集群管理、Master 选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列 等功能。2、个人对于zk的理解：我个人觉得zk就像一个很大的...
2019-06-27 14:27:06
341
原创 Hadoop知识总结
一、Hadoop组成：1、Hadoop的核心是HDSF和MapReduce，Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。2、HDFS的启动过程：（1）、加载文件的元信息。（2）、加载日志文件。（3）、设置检查点。（4）、进入安全模式。作用是：检...
2019-06-26 15:36:56
326
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人