- 博客(6)
- 收藏
- 关注
RSS订阅原创 IR ISR SOR
分区中的所有副本统称为AR(Assigned Replicas)。所有与leader副本保持一定程度同步的副本(包括leader副本在内)组成ISR(In-Sync Replicas)。消息会先发送到leader副本，之后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于leader副本而言会有一定程度的滞后。与leader副本同步滞后过多的副本(不包括leader副本)组成OSR(Out-of-Sync Replicas)，由此可见，AR=ISR+OSR
2021-11-07 15:18:09
171
原创 kafka中zookeeper具体是做什么的
1.broker状态zookeeper 记录了所有 broker 的存活状态，broker 会向 zookeeper 发送心跳请求来上报自己的状态。zookeeper 维护了一个正在运行并且属于集群的 broker 列表。控制器选举kafka 集群中有多个 broker，其中有一个会被选举为控制器。控制器负责管理整个集群所有分区和副本的状态，例如某个分区的 leader 故障了，控制器会选举新的 leader。从多个 broker 中选出控制器，这个工作就是 zookeeper 负责的
2021-10-30 20:01:23
139
原创 Nginx负载均衡的三种方式
1、轮询模式（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。适合服务器配置相当，无状态且短平快的服务使用。也适用于图片服务器集群和纯静态页面服务器集群。2、weight权重模式这种方式比较灵活，当后端服务器性能存在差异的时候，通过配置权重，可以让服务器的性能得到充分发挥，有效利用资源。weight和访问比率成正比，用于后端服务器性能不均的情况。权重越高，在被访问的概率越大3、ip_hash上述weight权重模式方式存在一个问题，在负载均衡系统中，假.
2021-10-23 21:22:21
7418
原创 微博数据分析
数仓分层将原数据放入ods层。清洗后的数据放在dwd层。逻辑数据放在dws层。应用数据放在ads层。表命名规则数仓层级_数据源_一级处理_二级处理例如：原始用户登录数据：ods_login_user原始未改的微博数据：ods_weibo_original清洗之后的微博数据：dwd_weibo_clean微博用户总数量数据：dws_weibo_user_num数据说明用户的历史微博数据，数据有1206个小文件，所有数据的格式均是json格式。总共140多
2021-10-16 19:46:32
1293
原创 数据仓库分层
一般分为操作数据层（ODS）、公共维度模型层（CDM）和应用数据层（ADS）,其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）。公共维度模型层（CDM）：存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据ODS层数据加工生成：公共指标汇总数据一般根据维表数据和明细事实数据加工生成。CDM层又细分为DWD层和DWS层,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减...
2021-09-26 10:44:25
767
原创 对称加密和非对称加密的原理
对称加密：加密和解密使用的是同一把密钥。加密：原文+密钥=密文 解密：密文-密钥=原文非对称加密：非对称加密有两把密钥即公钥和私钥，公钥和私钥是成对存在的，如果使用公钥加密，使用对应的私钥才能解密。非对称加密是通过算法获取到的一系列随机数，随机数长度越长加密信息越安全。...
2021-09-17 10:53:40
883
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人