8 冰 河

尚未进行身份认证

高级软件架构师,Java编程专家,开源分布式消息引擎Mysum发起者、首席架构师,开源消息中间件Android-MQ独立作者,国内知名开源分布式数据库中间件Mycat核心架构师,精通Java, C, C++, Python, Hadoop大数据生态体系,熟悉MySQL内核,Android底层架构。多年来致力于分布式系统架构、微服务、分布式数据库、大数据技术的研究,曾主导过众多分布式系统、微服务及大数据项目的架构设计、研发和实施落地。在高并发、高可用、高可扩展性、高可维护性和大数据等领域拥有丰富的经验。对Hadoop、Spark、Storm等大数据框架源码进行过深度分析并具有丰富的实战经验。

等级
TA的排名 99

高可用之——节流

在特定时间窗口内对重复的相同事件最多只处理一次,或者需要限制多个连续相同事件的最小执行时间间隔,可以使用节流(Throttle)实现,可以防止多个相同事件连续重复执行。节流主要的用法有:throttleFirst、throttleLast、throttleWithTimeout。一、throttleFirst/throttleLastthrottleFirst/throttleLast指的...

2019-09-12 16:28:50

高可用之——接入层限流

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100774098接入层的主要目的有:负载均衡、非法请求过滤、请求聚合、缓存、降级、限流、A/B测试、服务质量监控等。对于Nginx接入层限流可以使用Nginx自带的两个模块:连接数限流模块ngx_http_limit_conn_module和漏桶算法实现的请求限流模块ngx_...

2019-09-12 15:57:58

CentOS之——ab压力测试安装与使用

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100762839安装yum-yinstallhttpd-tools参数解释[root@binghe100~]#abab:wrongnumberofargumentsUsage:ab[options][http[s]://]hostna...

2019-09-12 09:58:34

高可用之——分布式限流

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100744369分布式限流最关键的是要将限流服务做成原子化,而解决方案可以使用Redis+Lua或者Nginx+Lua技术进行实现,通过这两种技术可以实现高并发和高性能。一、Redis+Lua实现编写limit.lua脚本,如下:localkey=KEYS[...

2019-09-11 18:13:09

高可用之——应用级限流

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/1007435651.限流总并发/连接/请求数对于一个应用系统来说,一定会有极限并发/请求数,即总有一个TPS/QPS阈值,如果超过了阈值,则系统就会不响应用户请求或响应的非常慢,所以,需要进行过载保护,防止大量请求涌入击垮系统。例如Tomcat,Connector其中一种...

2019-09-11 17:55:00

高可用之——限流算法

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100715694常见的限流算法有:令牌桶、漏桶,计数器也可以用来进行粗暴限流实现。一、令牌桶算法令牌桶算法,是一个存放固定容量令牌的桶,按照固定速率网桶里添加令牌。令牌桶算法描述如下: 假设限制2r/s,则按照500毫秒的固定速率往桶中添加令牌。 桶中最多存放b个令...

2019-09-10 22:48:29

高可用之——限流概述

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100713831在开发高并发系统时,有很多手段可以保护系统,如:缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统处理能力。降级是当服务出问题或影响到核心流程的性能,需要暂时屏蔽掉,待高峰过去或者问题解决后再打开。有些场景不适合用缓存或降级,比如稀缺资源(秒杀、抢购)、写...

2019-09-10 21:46:54

高可用之——隔离术

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100637953一、总览隔离主要有:线程池隔离 进程隔离 集群隔离 机房隔离 读写隔离 动静隔离 爬虫隔离 热点隔离 资源隔离 环境隔离 压测隔离 AB测试 缓存隔离 查询隔离爬虫隔离可以在Nginx中进行如下配置。set$flag...

2019-09-08 20:50:38

高可用之——Nginx四层负载均衡

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100627169有关Consul的安装可以参见博文《高可用之——Consul+Consul-template实现HTTP动态负载均衡》一、静态负载均衡Nginx的四层静态负载均衡需要启用ngx_stream_core_module模块,默认情况下,ngx_stream_...

2019-09-08 14:29:27

高可用之——Consul+OpenResty实现无reload动态负载均衡

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100596026一、安装Nginx1.安装依赖环境yum-yinstallwgetgcc-c++ncursesncurses-develcmakemakeperlbisonopensslopenssl-develgcc*libxml2li...

2019-09-07 13:31:53

高可用之——Consul+Consul-template实现HTTP动态负载均衡

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100568343一、安装NginxNginx的安装和配置可参考博文《Nginx+Tomcat+Memcached负载均衡集群服务搭建》二、安装Consul1.下载Consulwgethttps://releases.hashicorp.com/consul/...

2019-09-05 22:24:12

高可用之——consul 文档

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100555533记录下,以待查阅。英文:https://www.consul.io/intro/getting-started/install.html中文:http://www.liangxiansen.cn/2017/04/06/consul/中文:https://...

2019-09-05 12:07:07

Java之——日志输出

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100074850最近,有很多读者问使用slf4j输出日志文件,要么没有生成日志文件,要么生成了日志文件没有输出log信息,要么启动项目的时候会报出警告信息。这里,笔者统一回复大家。首先,创建Maven项目,在pom.xml文件中添加如下依赖。<propertie...

2019-08-26 12:07:45

Nginx之——格式化日志并将日志推送到远程服务器

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100041022不废话,直接上配置吧,在Nginx需要新增的配置如下。log_formatcommon"$remote_addr,$http_ip,$http_mac,$time_local,$status,$request_length,$bytes_sent,$b...

2019-08-23 16:15:59

Ruby之——CentOS安装Ruby2.5.5 报错 make[2]: *** [openssl_missing.o] Error 1

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/100010819一、问题在CentOS6.8系统中编译安装Ruby2.5.5(下载链接为:http://ftp.ruby-lang.org/pub/ruby/ruby-2.5.5.tar.gz),报错,关键报错信息为:make[2]:***[openssl_...

2019-08-22 11:14:25

Redis之——最全面的Redis命令行查阅手册(收藏查看)

Redis是用C语言实现的,一般来说C语言实现的程序“距离”操作系统更近,执行速度相对会更快。Redis使用了单线程架构,预防了多线程可能产生的竞争问题。作者对于Redis源代码可以说是精打细磨,曾经有人评价Redis是少有的集性能和优雅于一身的开源代码。本文比较详细且全面的梳理了Redis使用过程中涉及的全部增删改查!1.字符串1.设置键setkeyvalue[e...

2019-08-22 09:48:47

Storm之——Storm集群开启HA高可用

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/999726241.修改storm.yaml文件配置可以启动nimbus的节点:nimbus.seeds:["binghe101","binghe102","binghe103"]2.启动Nimubs和UI高可用在集群中配置的三个节点启动nimbus和UI...

2019-08-21 16:24:26

Linux之—— Unable to connect to system bus: Failed to connect to socket /var/run/dbus/system_bus_sock

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/99694223报错信息如下:status:Unabletoconnecttosystembus:Failedtoconnecttosocket/var/run/dbus/system_bus_socket:Nosuchfileordire...

2019-08-17 16:07:41

Storm之——Storm2.0.0配置详解

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/99126674Storm2.0.0中defaults.yaml文件的配置如下(链接为:https://github.com/apache/storm/blob/v2.0.0/conf/defaults.yaml):#LicensedtotheApacheSoft...

2019-08-10 23:23:09

Storm之——启动Storm报错(ImportError: No module named argparse)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98970056问题:启动Storm的nimbus和supervisor时,会报错,比如在命令行输入如下两个命令中的任何一个。stormnimbusstormsupervisor均会报如下错误信息。Traceback(mostrecentcall...

2019-08-09 17:33:24

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。