9 快乐的霖霖

尚未进行身份认证

我要认证

一个人默默的奋斗者

等级
TA的排名 429

开源许可证

2019-03-13 23:28:58

分布式系统核心—日志

    分布式系统的核心组件:日志。有时也叫write-ahead logs 、commit logs 或者事物 logs, 通常指在应用所有的修改之前先写入日志,一般会将重放日志、撤销日志都写进去。    NoSQL数据库、KV存储、Hadoop、raft、paxos 以及版本控制等等,这些中间件或者协议本质上都或多或少依赖于日志,可以发现日志一直都在分布式系统中扮演者非常重要的角色。 ...

2019-02-17 17:56:54

Lamport 逻辑时钟

    分布式系统中按是否存在节点交互可分为三类事件,一类发生于节点内部,二是发送事件,三是接收事件。注意: 以下文章中提及的时间戳如无特别说明,都指的是Lamport 逻辑时钟的时间戳,不是物理时钟的时间戳。     如果a在进程Pi中,b在进程Pj中,Ci(a) = Cj(b)且i < j,那么a在b之前。形式化一点,我们可以把系统事件E上的全序关系“=>”定义为:  ...

2019-02-11 23:07:45

TCP连接阻塞的监控和处理

                                                                    TCP连接阻塞的监控和处理那么,什么样的TCP连接属于上述发生阻塞的异常连接呢?结合线上运维经验,我们整理出符合该类异常的特征如下:该连接的Recv_Q的值特别大(超过3M) 该连接的Recv_Q的值持续上涨,造成堆积(在一定滑动时间窗口内) 服务...

2019-01-16 22:14:35

C++ 如何避免内存泄露

转载于:https://zhuanlan.zhihu.com/p/51898119前言近年来,讨论 C++ 的人越来越少了,一方面是由于像 Python,Go 等优秀的语言的流行,另一方面,大家也越来越明白一个道理,并不是所有的场景都必须使用 C++ 进行开发。Python 可以应付大部分对性能要求不高的场景,Go 可以应付大部分对并发要求较高的场景,而由于 C++ 的复杂性,只有在对性能...

2019-01-12 20:24:40

一致性模型

                                                                                        一致性模型

2018-11-08 16:41:40

基于分布式一致性系统实现的分布式锁的生命期问题探究

                                                    基于分布式一致性系统实现的分布式锁的生命期问题探究分布式锁的生命期,即占有分布式锁所有权的Client与Quorum Server之间建立连接上耦合的Session的生命期,依赖着Client与Quorum Server之间定期心跳来更新。Client与Quorum Server,如果在本端...

2018-11-08 15:25:53

filebeat工作原理

                                                                                         Filebeat工作原理Filebeat是本地文件的日志数据采集器。 作为服务器上的代理安装,Filebeat监视日志目录或特定日志文件,tail file,并将它们转发给Elasticsearch或Logstash进...

2018-10-30 00:15:22

leveldb之log文件

                                                                                        leveldb之log文件1.    log文件在LevelDb中的主要作用是系统故障恢复时,能够保证不会丢失数据。因为在将记录写入内存的Memtable之前,会先写入Log文件,这样即使系统发生故障,Memtable中...

2018-09-23 18:10:32

LevelDB系统的整体架构

                                                                                 LevelDB系统的整体架构            上图简单展示了 LevelDB 的整体架构。LevelDB 的静态结构主要由六个部分组成:MemTable:内存数据结构,具体实现是 SkipList。 接受用户的读写请求,...

2018-09-23 17:48:36

微信后端架构摘录

                                                                                              微信后端架构摘录

2018-09-20 22:02:57

Raft的PreVote实现机制

                                                                                       Raft的PreVote实现机制1. 背景在Basic Raft算法中,当一个Follower与其他节点网络隔离,如下图所示:Follower_2在electionTimeout没收到心跳之后,会发起选举,并转...

2018-09-19 23:54:43

分布式系统之数据分片

                                                                                 分布式系统之数据分片详细参考:http://www.cnblogs.com/xybaby/p/7076731.html...

2018-09-18 18:07:21

分布式存储的读修复和周期性静默修复的原理

                                                             分布式存储的读修复和周期性静默修复的原理    什么是静默错误?简单来说,就是磁盘写入数据返回成功,或者当时写入是正确的,放置一段时间后,由于硬件错误、固件 BUG 或者软件 BUG、供电问题、介质损坏等等各种原因,数据被改变了。正常来讲,分布式存储内部都会在读取数据时,或...

2018-09-04 23:26:17

HDD/SSD/NVM存储介质

                                                                                    HDD/SSD/NVM存储介质NonVolatile Memory,非易失存储器,具有非易失、按字节存取、存储密度高、低能耗、读写性能接近DRAM,但读写速度不对称,读远快于写,寿命有限(需要像ssd一样考虑磨损均衡)。当电流关...

2018-09-04 22:48:53

数据库为什么使用B+树而不是B树

                                              数据库为什么使用B+树而不是B树B树和B+树的区别B树和B+树的区别主要有两点:在B树中,你可以将键和值存放在内部节点和叶子节点,但在B+树中,内部节点都是键,没有值。叶子节点同时存放键和值 B+树的叶子节点有一条链相连,而B+树的叶子节点各自独立。B树与B+树的对比示意图使用B+树...

2018-08-30 23:14:48

基于容器构建具备一致性系统环境

2018-08-24 16:43:16

能耗相关名词介绍

                                                                                        能耗相关名词介绍1. ACPI: 高级配置和电源管理接口2. IPMI: 智能平台管理接口 (IPMI) 是一种开放标准的硬件管理接口规格IPMI协议被广泛用于服务器监控中,包括采集CPU温度、风扇转速、主板温度...

2018-07-24 09:12:02

获取机器当前CPU频率

                                         获取机器当前CPU频率struct perf_cpu_info{    int tsc;    int index;    int mhz;};struct perf_cpu_info *cpu_list;static unsigned long long native_read_tsc(void...

2018-07-17 23:41:25

超线程简介

超线程简介超线程的技术原理超线程技术在一个物理核上模拟两个逻辑核,两个逻辑核具有各自独立的寄存器(eax、ebx、ecx、msr等等)和APIC,但会共享使用物理核的执行资源,包括执行引擎、L1/L2缓存、TLB和系统总线等等。超线程对性能的影响分析可以看出,超线程技术仅仅是在一个物理核心上使用了两个物理任务描述符,物理计算能力并没有增加。现在很多程序如web application, 都采用多w...

2018-07-04 22:36:14

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!