10 菜鸟大明

尚未进行身份认证

一只勤奋的老鸟,本着笨鸟先飞的宗旨,坚定的向未来翱翔。

等级
TA的排名 3w+

LTS 轻量级分布式任务调度框架(Light Task Scheduler)

框架概况:LTS是一个轻量级分布式任务调度框架。有三种角色,JobClient,JobTracker,TaskTracker。各个节点都是无状态的,可以部署多个,来实现负载均衡,实现更大的负载量,并且框架具有很好的容错能力。采用多种注册中心(Zookeeper,redis等)进行节点信息暴露,master选举。(MongoorMysql)存储任务队列和任务执行日志,netty做底层通

2017-03-08 18:06:57

Bloom Filter概念和原理

BloomFilter概念和原理焦萌 2007年1月27日 BloomFilter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(falsepositive)。因此,BloomFilter

2017-02-28 20:35:38

轻量级中间件MySQL Router介绍与性能测试

话说去年11月去参加OOW大会,听了一场关于MySQLRouter的分享。因为我以为这货没这么快会GA,但是没想到的是在OOW大会前MySQLRouter就同MySQL5.7一起GA了。回来之后一直想去测试,但是一直因为各种原因耽搁了。好在过年时抽出点时间研究了下,今天在服务器上完成了性能测试。官方对于MySQLRouter的定义是:MySQLRouterisli

2017-02-28 17:56:44

Drizzle、MariaDB和Percona Server_超越MySQL:三个流行MySQL分支的对比

导读:尽管MySQL是最受欢迎的程序之一,但是许多开发人员认为有必要将其拆分成其他项目,并且每个分支项目都有自己的专长。该需求以及Oracle对核心产品增长缓慢的担忧,导致出现了许多开发人员感兴趣的子项目和分支。本文将讨论受人们关注的三个流行MySQL分支:Drizzle、MariaDB和PerconaServer(包括XtraDB引擎)。文中简要介绍每个分支出现的原因及其目标,以及是否

2017-02-16 17:33:51

MySQL Group Replication正式发布

MySQLGroupReplicationGA很多同学表示昨天的从你的全世界路过画风不对,好在今天MySQL界终于有大事情发生可作为聊资。话说,当昨天小伙伴们沉浸于双12的买买买节奏中,孰料远在美国西海岸的Oracle官方放出了最新的MySQL5.7.17版本。更为重要的是,MySQLGroupReplication(下简称MGR)终于来了。

2017-02-16 17:31:05

数据库 分库分表中间件 Cobar 介绍

最近好不容易抽空研究了下Cobar,感觉这个产品确实很不错(在文档方面比Amoeba强多了),特此推荐给大家。Cobar是阿里巴巴研发的关系型数据的分布式处理系统,该产品成功替代了原先基于Oracle的数据存储方案,目前已经接管了3000+个MySQL数据库的schema,平均每天处理近50亿次的SQL执行请求。首先,使用Cobar的核心功能如下:分布式:Cobar的分布式主要

2016-11-25 14:56:08

Nginx/LVS/HAProxy负载均衡软件的优缺点详解

PS:Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件,本人都在多个项目中实施过,参考了一些资料,结合自己的一些使用经验,总结一下。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析,如果是中小型的Web应用,比如日PV小于1000万,用Nginx就完全可以了;如果机器不少,可以用DNS轮询,LVS所耗费的机器还是比较多的

2016-11-21 11:14:20

关于抢购,秒杀的一些细节

以下均为出现在抢购、秒杀的常经理1、token的作用token的用法为,用户渲染商品抢购页面时,服务端做一个加密处理,可以考虑为用MD5(户ID+商品ID+任意数字(例如用户生日)).这个做法的关键是,防批量刷新商品。例如:A、一个用户在登录态下,刷所有抢购商品接口。B、一个用户不同的切换账号,来刷所有抢购商品接口。(如果登录有验证码,此步可以忽略)

2016-08-29 10:37:05

秒杀系统架构分析与实战

秒杀系统架构分析与实战目录1秒杀业务分析2秒杀技术挑战3秒杀架构原则4秒杀架构设计5大并发带来的挑战6作弊的手段:进攻与防守7高并发下的数据安全8总结转载: 秒杀系统架构分析与实战1秒杀业务分析正常电子商务流程(1)查询商品;(2)创建订单;(3)扣减库存;(4)更新订单;(5

2016-08-22 14:17:48

心跳检测的思路及代码

外网服务端保存内网服务端会话的有效性以及平台上监控所有内网服务端的网络状况,模仿心跳机制实现,这里在做一点叙诉,关于思路和具体实现。在很多的平台应用中,都有这样的需求,平台内包括多个子系统或者属于其管控范围内的其他平台,需要对这些系统进行统一的监控,来查看当前的运行状态或者其他运行信息,我们的应用也有这样的一个情况,需要再外网服务端(平台)上监控,其下运行的多个内网服务端的网络状况,查阅了

2016-08-22 11:20:56

设计模式-命令模式

本文继续介绍23种设计模式系列之命令模式。定义将来自客户端的请求传入一个对象,从而使你可用不同的请求对客户进行参数化。用于“行为请求者”与“行为实现者”解耦,可实现二者之间的松耦合,以便适应变化。分离变化与不变的因素。角色Command定义命令的接口,声明执行的方法。ConcreteCommand命令接口实现对象,是“虚”

2016-08-18 16:03:29

熔断器设计模式

熔断器设计模式如果大家有印象的话,尤其是夏天,如果家里用电负载过大,比如开了很多家用电器,就会”自动跳闸”,此时电路就会断开。在以前更古老的一种方式是”保险丝”,当负载过大,或者电路发生故障或异常时,电流会不断升高,为防止升高的电流有可能损坏电路中的某些重要器件或贵重器件,烧毁电路甚至造成火灾。保险丝会在电流异常升高到一定的高度和热度的时候,自身熔断切断电流,从而起到保护电路安

2016-08-18 15:32:06

分布式服务弹性框架“Hystrix”实践与源码研究(一)

文章初衷为了应对将来在线(特别是无线端)业务量的成倍增长,后端服务的分布式化程度需要不断提高,对于服务的延迟和容错管理将面临更大挑战,公司框架和开源团队选择内部推广Netflix的Hystrix,一是为了推进各部门的服务使用覆盖率,二是为了增加CSharp语言版本的参与度(目前公司至少三成服务由.NET编写)。该博文属于个人对Hystrix研究和实践经验。什么是Hystrix?Hys

2016-08-18 15:21:46

RAFT分布式一致性算法

WhyNotPaxosPaxos算法是莱斯利·兰伯特(LeslieLamport,就是 LaTeX 中的”La”,此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。由于算法难以理解起初并没有引起人们的重视,使Lamport在八年后1998年重新发表到ACMTransactionsonComputerSystems上(ThePart-TimeParlia

2015-06-15 00:46:16

jstack排查定位线程

现实企业级Java开发中,有时候我们会碰到下面这些问题:OutOfMemoryError,内存不足内存泄露线程死锁锁争用(LockContention)Java进程消耗CPU过高......  这些问题在日常开发中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源),

2015-05-31 15:54:47

python的编译

pyc是一种二进制文件,是由py文件经过编译后,生成的文件,是一种bytecode,py文件变成pyc文件后,加载的速度有所提高,而且pyc是一种跨平台的字节码,是由python的虚拟机来执行的,这个是类似于JAVA或者.NET的虚拟机的概念。pyc的内容,是跟python的版本相关的,不同版本编译后的pyc文件是不同的,2.5编译的pyc文件,2.4版本的python是无法执行的。1.

2015-05-24 14:29:18

python学习笔记(一)

学习一门语言之前,要先搞清楚为什么要学习它,不能因为它火,就去学习,要明白火在哪里,优势在哪,在哪方面是其他语言无法取代的。那么我学习python的初衷就是因为它有一个出色的轻量级爬虫框架scrapy,其实想应用框架是不需要学习python的,因为python的语法真的是很简单易懂,但既然接触了,就要系统的学习一下吧。

2015-05-24 13:38:44

在蘑菇街的阶段性技术总结

来到蘑菇街一晃有半年时间了,这半年时间真正体会到了一个告诉发展的互联网公司的告诉迭代开发产品的整个过程。

2015-05-19 22:43:40

canal概述

背景  早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。ps.目前内部使用的同步,已经支持mysql5.x和oracle部分版本的日志解析

2015-01-19 21:33:28

KAFKA分布式消息系统

Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。 当前很多的消息队列服务提供可靠交付保证,并默认是即时消费(不适合离线)。高可靠交付对linkedin的日志不是必须的,故可通过降低可靠性来提高性能,同时

2015-01-18 15:19:34

查看更多

勋章 我的勋章
    暂无奖章