11 array020

尚未进行身份认证

暂无相关描述

等级
TA的排名 6k+

记一次MySQL 5.7.10的binlog文件轮转(rotate)引起卡顿(block)出现慢日志的处理过程

描述:程序反映当一个游戏服开服一段时间后,其使用的MySQL每隔一段时间都会出现几十条慢日志,慢日志集中在1到2秒内连续刷出,卡顿平均在60秒左右。一天当中每个时间段都有概率出现,即使是半夜3,4点没什么玩家的时候。定位(troubletroubleshooting):根据描述,基本排除是程序代码的问题,因为游戏高峰期打世界BOSS的时候(每天中午12点玩家最活跃的时候)都不会...

2019-05-05 15:53:42

君临天下服务端架构调研

前面的话:本文只是本人单纯的臆测,如有雷同,纯属巧合。1、游戏说明玩法跟COC基本没区别,只不过除了普通的兵,多了一些武将,并且社交系统比COC加强了不少,但总体来说交互性和实时性还是比较弱的。阅读以下文档之前最好对此款游戏有一些基本了解。此文档目的在于理清使用云平台架构全球大服的思路,若以后有类似的需求,可以进行一些参考。 2、机房架构及说明首先看看全局的架构图:

2015-09-06 16:26:06

RocketMQ与Kafka对比(18项差异)

转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,

2015-01-18 22:42:30

使用Thrift API监控Storm集群和Topology

如要监控Storm集群和运行在其上的Topology,该如何做呢?Storm已经为你考虑到了,Storm支持Thrift的C/S架构,在部署Nimbus组件的机器上启动一个ThriftServer进程来提供服务,我们可以通过编写一个ThriftClient来请求ThriftServer,来获取你想得到的集群和Topology的相关数据,来接入监控平台,如Zabbix等,我目前使用的就

2015-01-14 11:54:21

Storm的一些通用的Topology的模式

原文地址:http://storm.apache.org/documentation/Common-patterns.html此文档有许明明的翻译:http://xumingming.sinaapp.com/189/twitter-storm-storm%E7%9A%84%E4%B8%80%E4%BA%9B%E5%B8%B8%E8%A7%81%E6%A8%A1%E5%BC%8F/但

2015-01-13 16:22:20

Ubuntu连接android手机

在ubuntu下连接android设备,虽然不用像windows那样安装驱动,然而却会遇见一个错误:输入adbshell,会提示insufficientpermissionsfordevice,输入adbdevices,设备名称会显示????????等一大堆问号。这是因为ubuntu默认是以非root用户运行的。如果要使用adb进行usb调试,使用root账号去执行相关命令固

2015-01-09 10:30:04

推荐一个查询Java类用法的网站

有时候我们需要知道一些类的用法,但又不知道去哪儿找到使用的例子,又或者这个例子比较难找,我们懒得去找,那么现在推荐一个网站来帮助我们。网站URL如下:http://www.programcreek.com/java-api-examples/我们可以输入一个类的全限定名,或者这个类部分的名字。例如搜索"java.nio.channels.FileChannel"或者"FileC

2015-01-08 11:15:08

iOS推送功能需求要点

经过对百度&友盟&极光&AVOS这几家的iOS推送的文档研读,demo试用,综合上述四者整理出一份简洁的功能需求要点。 添加应用页面页面上应有上传p12证书和设置密码的功能。(分别为开发环境和正式环境)AVOS和百度要求证书必须不设密码,但因为使用到的开源库的要求,还是应该要求设置密码。其中友盟支持的证书格式为pem和p12两种,其他都只支持p12,为简单起见我们只支持p12。

2015-01-04 16:21:13

Storm学习资料汇总

电子书 《GettingStartedWithStorm》介绍了Storm基础API,并发编程网有整本书的翻译 ,此书使用的storm的版本为0.6,虽然从版本上看有些过时,但基础的思想还是没有变的。其中并没有Trident的介绍。有英文电子版。 《StormReal-TimeProcessingCookbook》cookbook的形式,介绍得比较泛,补充着看看就好

2015-01-04 16:21:07

Storm官网上的各公司的使用介绍

其实这些介绍就是第三方使用者写的,比如我是一个使用者,在公司大规模运用Storm后,把使用情况邮件到官方,官方觉得OK了,就搬运过来。原创翻译,如有错误请指出,谢谢。原文链接下面选择一些国内的公司的情况进行介绍(原创翻译,持续更新ing..)淘宝网我们使用Storm来做一些实时的日志统计,从日志中抽取有用的信息。日志是存在一个类似Kafka的持久化消息队列中(MetaQ,

2015-01-04 16:21:01

【转】基于Trident构建大规模实时流数据处理系统

刊载于程序员杂志2013年2月号大数据处理:批量数据处理和流数据处理Hadoop家族在大数据处理方面的能力已经得到业界认可,但它更适用于对集群上的大数据进行批量处理,并不使用于实时处理大规模流数据。包括雅虎在内的互联网公司都在尝试建立适用于大规模流数据处理的系统,Twitter的Storm就是其中之一。本文将主要介绍StormTrident以及雅虎如何基于StormTrident构

2015-01-04 16:20:55

Flume架构设计

我们的架构设计的思路跟美团大同小异,也是分为agent层,collector层和store层。具体可参考美团架构1,美团架构2,下面只是一些补充:下面是我们自己的架构图:总体架构数据流图下面的图描述一条日志消息从客户端产生,经过了怎样的过程最终被消费的。架构说明美团的文档中已对这个架构的优越性进行了说明,比如可用性,可靠性和可扩展性,这里就不赘述了。美

2015-01-04 16:20:49

智能心跳调研和初步设计

这是近期参与的一个云推送项目调研的一点东西,贴上来做个备份:)如需转载,请注明出处:)综述所谓的心跳机制,就是周期性的给服务器发送一个数据包,避免该连接上长期没有数据传送,被传输网络中的防火墙或者NAT等设备中断,就是当一个TCP会话的两个连续报文到达防火墙的时间间隔大于该会话的保持时间时,为了保证网络的安全性,防火墙会从会话表中删除相应的会话信息,后续报文到达防火墙后,防火墙根据自身

2015-01-04 16:20:43

手把手教你用jpcap抓包

本文原创,转载请注明出处~ 在工作中经常需要抓包进行分析,我们可以使用各种工具来抓包,比如常用的tcpdump和wireshark。但有时候我们想用程序来进行控制,比如把抓到的包存储到数据库中,以后可以进行查询等等。我在工作中用的是Java,那么就用它来做示范吧。 本教程在centos和ubuntu上测试通过。 1)安装libpcap库先安装底层使用的库吧,我们用到了l

2015-01-04 16:20:36

ssdb管理后台ssdbAdmin部署指南

github地址:https://github.com/jiorry/ssdbAdmin,感谢作者的贡献:)最近在用ssdb,用来替换一部分redis的需求,从而节省服务器成本,效果不错,非常推荐。如果有一个后台来给开发人员管理ssdb上的数据是再好不过了,所以就找到了ssdbAdmin,下面是部署的步骤: 1,安装Go语言环境此项目用Go语言实现的,所以先得安装Go语言的环境

2015-01-04 16:20:31

Kafka学习之监控

参考文档:https://kafka.apache.org/documentation.html#monitoring Kafka使用YammerMetrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来,比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中

2015-01-04 16:20:25

Kafka学习之源代码环境搭建(eclipse)

主要参考:https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤: 1,安装Eclipse,略过,我的版本是: 2,安装scale插件,注意要跟你的eclipse版本对应,访问http://scala-ide.org/downl

2015-01-04 16:20:19

Kafka学习之Replication tools之StateChangeLogMerger Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool此工具能做啥? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看statechanges,查明问题。集群中的每

2015-01-04 16:20:13

Kafka学习之Replication tools之Reassign Partitions Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool此工具能做啥?此工具的作用跟ReferredReplicaLeaderElection工具类似,都是为了平衡集群的负载。但工具不仅为某一个partitio

2015-01-04 16:20:07

Kafka学习之Replication tools之Add Partition Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool此工具能做啥?Kafka的partition表示并发度的单元:一个topic的消息可以分布到多个partition上,并存储在多个server上。一旦创建了一个topic,就要

2015-01-04 16:20:01

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。