mlsoftware的博客

原创 分布式场景下的CAP

CAP：一致性（Consistency）：读取数据一致，读取到的是最近写入的数据或者返回错误，不会读取到国旗数据可用性（Availibility）：系统可以正常使用，请求会得到响应，不会返回错误，也不会失去响应，但不保证数据是最新的分区耐受性（Patition Tolerance）：因为网络导致的整体系统服务之间的小题通信延迟或者丢失所导致的系统分区，系统依然是可以操作的对于一个分布式系统...

原创 流式计算

Stormnimbus ：Master，负责集群管理、任务分配supervisor ： Slave，完成计算，每个 supervisor 启动多个 worker 进程，每个 worker 上运行多个 task，而 task 就是 spout 或者 bolt。zookeepr：supervisor 和 nimbus 通过 ZooKeeper 完成任务分配、心跳检测等操作。FlinkFl...

原创 hbase

hbase伸缩架构HRegion：数据以 HRegion 为单位进行管理，应用程序通过和 HRegion 通信完成数据通信HRegionServer：启动、管理HRegionHRegion如果大小超过阈值与之会分裂为多个HRegion，通过负载均衡策略，在整个集群进行迁移。HRegion存储一段key范围内的数据。HMaster：存储HRegion信息，如key区间范围、所在HRegi...

原创 spark的执行过程

1、spark应用程序启动（driver）2、调用spark context初始化配置和输入数据3、spark context启动DAGSchedule构造DAG图，切分任务4、Driver向Cluster Manager请求计算资源5、Cluster Manger根据Driver的主机地址等信息同志集群的所有计算节点Worker6、Worker收到信息，根据Driver的主机地址，向...

原创 hive

hive架构Hive 内部预置了很多函数，Hive 的执行计划就是根据 SQL 语句生成这些函数的 DAG（有向无环图），然后封装进 MapReduce 的 map 和 reduce 函数中。其中MetaStore一般对应的是关系型数据库，其中存入hive表的元信息，Compiler负责对提交的hive查询语句进行语法的解析。...

原创 yarn框架

原创 Hadoop 1的MapReduce执行流程&shuffle

流程shuffle

原创 大数据存储

曾经负责过一款底层存储系统的测试工作，最近看hdfs的文章发现，从架构上真心没啥特别大的区别。组成如下：zookeeper：节点注册、选主name node：元数据存储data node：block数据存储备份：3？区别：hdsf更多的与其他的计算框架如Mapreduce进行配合使用，也就是大数据存储+大数据计算。而我送负责的底层存储系统更多的是面上中、小文件，如视频、图片、文件等，显...

原创 RAID

RAID 0：N个磁盘，写入数据分N份存入；读写速度都有提升，但是一块磁盘坏了，文件就读不了了。RAID 1：写一个文件，分别存入两个磁盘；读写速度没啥提升，但是任意一个磁盘坏了，还可以进行读写，数据也可以恢复。RAID 10：RAID 0+RAID1，N个磁盘，分两组，组内相当于RAID 0，组间相当于RAID 1。RAID 3：N个磁盘，1个校验盘，N-1个数据盘；任意一个磁盘坏了，数...

原创 大数据框图

google三篇论文：分布式文件系统 GFS大数据分布式计算框架 MapReduceNoSQL 数据库系统 BigTable一句话概括即使分布式！通过大量廉价的机器构建集群，完成海量数据、存储计算的那些事儿后来有了Hadoop：HDFS+Mapreduce，Yahoo很早就开始实用Hadoop（搜索主要干两个事，爬网页存起来，建索引，Hadoop可以说完美的解决了早起的搜索引擎的那些...

原创 x86架构

基础概念cpu：命令的执行内存：中间结果保存、进一步计算，cpu无法保存太多的中间结果总线：连接cpu、内存、显卡、磁盘空盒子器、usb控制器进程：可以理解为实例化的程序，程序是存在硬盘的，而进程是要讲程序加载到内存，不同进程的内存空间是隔离的。进程空间粗略的分有代码段和数据段。cpu包含两个寄存器，分别存放当前处理进程的代码段的起始地址和数据段的起始地址，进程切换会切换这两个寄存器存储的...

原创 转：张小龙:信息互联的七个影响

近日，2020 年微信公开课在广州开课，这一次，最受期待的张小龙并没有出现在微信公开课现场，而是通过视频演讲的方式隔空发表了演讲，并分享了他关于信息互联的 7 个思考，包括隐私的出让、信息获取的被动、社会关系的扩大和复杂、信息传播的快速，信息选择的困难、信息的多样性、搜索的困难。具体内容如下。隐私的出让从历史看，科技越发达，个人隐私就会越少。人们在获取便利性的同时，其实也在不知不觉地一点一点...

原创 如何衡量测试人员的价值

引子相信大多数的测试人员都是从做业务或者技术产品的测试工作开始的，那么你们知道如何提升自己的价值吗？衡量业务测试人员的指标一般有下面几个：提交bug数测试周期漏测业务case自动化程度CI自动化case的代码覆盖率、分支覆盖率加分项：跨部门沟通、协作平台化测试环境相关on call以上仅限于我写文章打字的时候，临时想到的一些点，如果后续我有其他的思考，我再补充进来...

原创 css selector

选择器例子Type selectorh1 { }Universal selector* { }Class selector.box { }id selector#unique { }Attribute selectora[title] { }Pseudo-class selectorsp:first-child { }Ps...

原创 AtomicLong与LongAdder如何选择，用于生成request id

最近想实现一个能够生成全局唯一id的工具方法，最先想到的AtomicLong类的getAndIncrement方法，对于调用者来说，底层细节都不用关心，调用getAndIncrement或incrementAndGet就行了，很简单。但是本着程序员好奇心，特地看了下该方法的实现： public final long getAndIncrement() { return unsaf...