- 博客(14)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Leaf的源码阅读
LeafLeaf是美团开源的一款的唯一ID生成器，具体可以参考https://github.com/Meituan-Dianping/Leaf的介绍，文档写的很好，大家一定能够明白软件背后想要解决的问题。我们还是来简单总结下唯一ID系统的目标，帮助大家更好的了解接下来的内容介绍。系统方面高可用。系统能保障99.999%的可用时长 高性能。支持高并发、低延迟 可伸缩。可以通过水平扩容...
2019-04-18 17:28:58
579
原创 分布式事务框架Seata--TC源码解析
TC是什么Transcation Coordinate(TC)，分布式事务中协调者的角色，管理全局事务的状态信息，包括全部事务的开启、提交、回滚管理，分支事务的注册、提交、回滚、状态上报。Seata的TC启动方式：sh fescar-server.sh $LISTEN_PORT $PATH_FOR_PERSISTENT_DATAe.g.sh fescar-serve...
2019-04-17 17:37:27
2919
原创 分布式事务框架Seata---demo搭建指南
分布式事务框架(Seata)介绍Seata:Simple Extensible Autonomous Transaction Architecture，简易可扩展的自治式分布式事务管理框架，其前身是fescar。阿里巴巴GTS的开源版实现，是一种分布式事务的解决方案，详情请参看seata官方文档。seata主要由三个重要组件组成：Transaction Coordinator(TC)：管理...
2019-04-15 21:50:48
57262
9
原创 TasksetManager冲突导致SparkContext异常关闭
背景介绍当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的spark streaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因。本文代码基于spark 1.6.1。问题定位登陆到线上机器，查看错误日志，发现系统一直报Cannot call methods on a stopped Spark
2017-03-16 10:24:24
2479
原创 微服务的单体应用的优缺点对照
单体应用的不足逻辑复杂、模块耦合、代码臃肿，修改难度大，版本迭代效率低下系统启动慢，一个进程包含了所有的业务逻辑，涉及到的启动模块过多，导致系统的启动、重启时间周期过长系统错误隔离性差、可用性差，任何一个模块的错误均可能造成整个系统的宕机可伸缩性差；系统的扩容只能只对这个应用进行扩容，不能做到对某个功能点进行扩容线上问题修复周期长；任何一个线上问题修复需要对整个应用系统进行全面升级微服务
2016-09-30 14:19:13
6807
原创 stream的job的产生
Stream中Job的生成 大家可以通过参考spark的官网快速的开发一个属于自己的spark stream程序，然后提交job到指定的spark集群完成流任务的运行；或者直接通过local模式在本地环境中运行，但却很少有人能够清楚的叙述其运行的原理，本文将着重介绍streaming的程序是如何生成job的，对于job的调度、stage的拆分、task的运行将会在后续的章节中一一为大家介绍。
2016-09-06 19:38:12
565
原创 Spark Streaming源码简介
Spark Streaming简介 spark streaming是构建在spark core之上，提供的可扩展、高吞吐、容错的实时流处理模块，它能接受来自kafka、flume、tcp各种渠道的数据，进行用户定义的各种Map、Reduce计算，最终将数据继承到文件系统、HDFS、Hbase这样的存储平台或者将参数的数据供后端系统消费；今天我们着重介绍下Streaming模块中的类依赖关系以及自
2016-08-29 22:07:11
560
原创 spark streaming流量控制
随着计算机机硬件的快速发展，机器的内存大小也从原来的以兆为单位到现在的上百G，这也推动了分布式计算从原来的基于硬盘存储发展到现在的基于内存存储，spark作为实时计算的佼佼者也逐渐的走上了大规模商业应用的道路，spark streaming常常用在实时流计算的各个领域，在这一章节我们主要讲解一下streaming处理过程中的流量控制，在我们平时的streaming程序开发过程中应该注意哪些方面以提高
2016-08-26 21:21:35
1870
原创 Spark集群容错场景介绍
容错指的是一个系统在部分模块出现故障时还能否持续的对外提供服务，一个高可用的系统应该具有很高的容错性；对于一个大的集群系统来说，机器故障、网络异常等都是很常见的，spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性，在接下来的部分中我们会讨论spark如应对各种模块异常 master异常退出 worker异常退出 executor
2016-08-26 16:53:25
2670
原创 zookeeper简介
zookeeper是一款分布式的、开源的协调系统，用于为分布式系统中提供配置、同步、命名、分组、协调服务，将应用从复杂的协调场景下解脱出来。zookeeper是由多个分布式节点组成的一个统一服务，整体架构如下图， 客户端只需要和一个zk节点建立连接，通过这个连接的节点读取已有的数据或者写入新的数据，zk服务端内部维护了类型于文件系统的目录树结构，不同于文件系统的是，zk中的节点既可以作为目录，
2016-04-21 21:02:26
365
原创 hdfs脚本介绍
HDFS相关脚本介绍简介本篇主要介绍hdfs整个系统的脚本部分，通过脚本来介绍hdfs文件系统的启动、停止等操作；该篇是基于hadoop-2.6.2的版本进行说明。hdfs的脚本主要位于三个地方，其中$HADOOP_HOME/sbin放置了一些应用层面相关的脚本，如start-dfs.sh等系统的启动、停止脚本，$HADOOP_HOME/bin下面的脚本主要为上层的应用脚本抽象出来的一层命
2016-03-05 22:17:08
603
原创 spark本地java开发环境的搭建
基于Java开发Spark HelloWorld绪论 对于学习任何一门新的开发语言或者新的技术，常常都是从HelloWorld开发写起，文章主要介绍在本地环境下如何构建Spark的开发环境，进而开发一个HelloWorld程序，提交运行HelloWorld。环境的搭建 首先在本地创建一个maven工程(本地未安装maven的请先安装)，生成一个mav
2015-12-11 15:18:06
2558
原创 RMI原理详解
RMI原理详解绪论RMI(Remote Method Invoke),远程方法调用框架，JDK自带的一个远程过程调用框架。用户可以基于RMI框架构建自己的分布式应用，RMI为客户端和服务器之间提供底层的通信服务。主要组成部分 RMI主要包括注册中心、跨JVM实例的内存对象管理、应用服务。Ø 注册中心提供服务的绑定、解绑、重绑、查找、列举，服务提供者需要将服务...
2015-08-14 21:36:47
625
原创 Spring中利用AOP对领域对象（非依赖注入的对象，如new操作符、反射的方式生存的对象）下面是spring配置文件的一部分 <context:load-time-weaver /> <be
Spring中利用AOP对领域对象（非依赖注入的对象，如new操作符、反射的方式生存的对象）下面是spring配置文件的一部分 context:load-time-weaver/> springDomainDo类声明如下@Configurable("springDomainDoTemplate")public class Sprin
2014-07-10 23:10:55
1334
基于MFC的Mandelbrot集和julia集的画法
2011-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人