- 博客(116)
- 收藏
- 关注
RSS订阅转载 Scaling Memcache at Facebook论文阅读笔记
Memcache简介分布式的内存对象缓存系统，被称为a demand-filled look-aside cache.通常作为数据库的前端使用，减小数据库的负载，提高性能 在Facebook中，read request约占99.8%，而write request只占了约0.2%，使用Memcache正是为了解决这一问题。Memcache的基本操作分为两种： Query
2017-12-14 13:06:59
675
1
转载 阿里云数据库全新功能Redis读写分离，全维度技术解析
背景目前的阿里云redis不管主从版还是集群规格，slave作为备库不对外提供服务，只有在发生HA，slave提升为master后才承担读写。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。为满足读多写少的业务场景，最大化节约用户成本，阿里云redi
2017-12-12 15:51:59
1644
转载 Redis数据“丢失”问题
from: https://zhuoroger.github.io/2016/08/14/redis-data-loss/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io?ref=myreadRedis数据“丢失”问题Redis大部分应用场景是纯缓存服务，请求后端有Primary Storage的组件,如MyS
2017-12-09 21:52:04
618
转载 Consul和ZooKeeper的区别
Consul和ZooKeeper的区别【编者的话】Consul是一个在国外流行的服务发现和配置共享的服务软件。本文翻译自Consul的官方文档，文中重点讲述：在与主流同类软件ZooKeeper、Doozerd以及Etcd比较时，Consul的优势所在。ZooKeeper、Doozerd、Etcd在架构上都非常相似，它们都有服务节点（server node），而这些服务节点的
2017-12-08 20:16:03
4038
转载 测算Redis处理实际生产请求的QPS/TPS
测算Redis处理实际生产请求的QPS/TPSBenchmark工具redis发布版本中自带了redis-benchmark性能测试工具;示例： 使用50个并发连接，发出100000个请求，每个请求的数据为2kb， 测试host为127.0.0.1 端口为6379的redis服务器性能：./redis-benchmark -h 127.0.0.1 -p 6379 -
2017-12-08 11:40:44
5286
转载 FastDFS常见问题
1. FastDFS适用的场景以及不适用的场景？FastDFS是为互联网应用量身定做的一套分布式文件存储系统，非常适合用来存储用户图片、视频、文档等文件。对于互联网应用，和其他分布式文件系统相比，优势非常明显。具体情况大家可以看相关的介绍文档，包括FastDFS介绍PPT等等。出于简洁考虑，FastDFS没有对文件做分块存储，因此不太适合分布式计算场景。 2
2017-11-18 16:54:59
1423
转载 FastDFS
分布式文件存储FastDFS（一）初识FastDFSFastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。作为一个分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题，特别适合中小文件（建议范围：4KB 二
2017-11-01 18:28:28
259
转载 热升级
热升级是什么？热升级是什么呢？了解 nginx 的同学都知道，nginx 是支持热升级的，可以用老进程服务先前链接的链接，使用新进程服务新的链接，即在不停止服务的情况下完成系统的升级与运行参数修改。那么热升级和热编译是不同的概念，热编译是通过监控文件的变化重新编译，然后重启进程。共享库的动态替换为了实现 Linux 系统进程热升级，本文提供了一种底层
2017-08-07 20:14:52
768
原创 面试经历7
深信服 获取文件大小 fopen fseek ftell 或者 stat(path, &statbuff) ，statbuff.st_size 参考：http://blog.csdn.net/gdujian0119/article/details/6363574send recv函数 参考：http://blog.csdn.net/gogor/article/details/
2017-07-24 19:33:03
400
原创 inotify问题定位
rename操作无法检测到。。。。touch之后就可以检测到了。。。。查看rename操作修改了哪些信息？是不是和文件系统有关？ext4？？？ mount 新建了一个文件系统。测试rename是否可以。。file state查看mv后的文件状态 查看inotify怎么检测信息？man inotifywait是不是加一个属性就可以、、、
2017-07-21 18:40:07
309
转载 蚂蚁金服漆远首谈刚完成的AI重大突破及紧缺人才，呼吁国内多点技术性强的大会，少点网红
7 月22 - 23 日，由中国人工智能学会、阿里巴巴集团& 蚂蚁金服主办，CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会（CCAI 2017）将在杭州国际会议中心盛大开幕。 大会开幕前，CSDN独家采访到本届大会程序委员会主席、蚂蚁金服副总裁兼首席数据科学家漆远博士。本次采访中，漆远博士首次对外批露了日前刚刚完成的一项重大创新——把深度学
2017-07-18 14:39:39
1413
转载 hash算法冲突
a）开放定址法 用开放定址法解决冲突的做法是：当冲突发生时，使用某种探查(亦称探测)技术在散列表中形成一个探查(测)序列。沿此序列逐个单元地查找，直到找到给定 的关键字，或者碰到一个开放的地址(即该地址单元为空)为止（若要插入，在探查到开放的地址，则可将待插入的新结点存人该地址单元）。查找时探查到开放的 地址则表明表中无待查的关键字，即查找失败。注意：①用开放定址法建立散列表时，建
2017-07-17 19:58:36
312
原创 面试经历6
百度运维部象棋 A a B，a都可以横着和竖着走，但是B只能写着走，A和a不能见面pc机联网：路由器都有DHCP的功能，pc机与路由器交互，通过DHCP协议（ICMP）得到IP地址，进行访问。（pc机的ARP协议会检测IP地址是否已经被占用）。ping是网络层的协议，icmp，如果ping可以通，则查看请求的服务器的负载，然后根据代码逻辑查看各层的负载情况，例如缓存，数据库等。如果服务
2017-07-14 21:06:17
331
转载 SQL 连接 JOIN 例解
SQL 连接 JOIN 例解。（左连接，右连接，全连接，内连接，交叉连接，自连接）最近公司在招人，同事问了几个自认为数据库可以的应聘者关于库连接的问题，回答不尽理想～现在在这写写关于它们的作用假设有如下表：一个为投票主表，一个为投票者信息表～记录投票人IP及对应投票类型，左右连接实际说是我们联合查询的结果以哪个表为准～1：如右接连 right join 或 ri
2017-07-14 10:51:42
247
转载 MySQL存储引擎MyISAM与InnoDB的优劣
MySQL存储引擎MyISAM与InnoDB的优劣杨帆 - 4 条评论使用MySQL当然会接触到MySQL的存储引擎，在新建数据库和新建数据表的时候都会看到。MySQL默认的存储引擎是MyISAM，其他常用的就是InnoDB了。至于到底用哪种存储引擎比较好？这个问题是没有定论的，需要根据你的需求和环境来衡量。所以对这两种引擎的概念、原理、异同和各自的优劣点有了详细的
2017-07-13 22:00:32
276
转载 数据库分片与分区
Sharding的主要目的是为突破单节点数据库服务器的 I/O 能力限制，解决数据库扩展性问题。 MySQL5.1提供的分区(Partition)功能确实可以实现表的分区，但是这种分区是局限在单个数据库范围里的，它不能跨越服务器的限制。 如果能够保证数据量很难超过现有数据库服务器的物理承载量，那么只需利用MySQL5.1提供的分区(Partition)功能来改
2017-07-13 17:35:38
6801
1
转载 面经3
作者：王阿清链接：https://www.nowcoder.com/discuss/29266来源：牛客网c++研发百度三面热乎的面经，之前京东和完美的面经有空再补吧 http://www.nowcoder.com/discuss/12194?type=0&order=3&pos=442&page=1北京百度C++一面二面经验 http://www.nowc
2017-07-13 09:50:49
795
转载 面经2
阿里巴巴Java开发岗BAT面经，暑假前趁热来一发吧怒斩阿里、百度、微软、华为offer【百度、腾讯、阿里等】+【JAVA开发实习生】+春招面试经验阿里视频面试 研发工程师java【阿里】阿里 Java 研发岗位面经渣渣的CVTE、阿里、去哪儿、腾讯面经阿里+华为实习已拿offer【回馈分享】2017春招8家公司面试汇
2017-07-13 09:36:27
712
转载 面经1
Java开发岗1、【百度、腾讯、阿里等】+【JAVA开发实习生】+春招面试经验2、渣渣的CVTE、阿里、去哪儿、腾讯面经3、【回馈分享】2017春招8家公司面试汇总4、腾讯实习面经(offer)5、终于等到心心念念的offer6、学渣的春招路7、渣渣养成记（中兴+腾讯+CVTE+乐视+京东+七牛云）C++开发岗1、
2017-07-13 09:34:44
1392
原创 工作准备
static和全局变量属于全局/静态区，最后释放static属于类域，不属于对象的sizeof范围4字节对齐，为4的倍数即可神马成员都没有的类，或者只有成员函数 ，sizeof（对象）为1int【10】（） 初始化为0指针类型为int，加1，为4个字节正确：方法重写的返回值类型必须相同或相容。（或是其子类）第三个对象是这样构造的MyClass obj3 = obj1;这里会调用
2017-07-12 16:50:24
286
原创 多线程调试
ps -axf |grep minos_t 查看pid信息gdb -p pidbtinfo threads 查看线程信息t 2 跳转到2号线程bt 查看2号线程的堆栈信息fin 结束2号线程t 8btfinq
2017-07-12 10:53:49
238
转载 LevelDB：一个快速轻量级的key-value存储库(译)
作者：Jeff Dean, Sanjay Ghemawat原文：http://leveldb.googlecode.com/svn/trunk/doc/index.html译者：phylips@bmy 2011-8-16译文：http://duanple.blog.163.com/blog/static/70971767201171705113636/LevelDB库提供了一种永久
2017-06-08 15:04:29
528
原创 第5次面试
select，poll，epoll的区别？tcp如何在可靠的基础上保证性能？一个100G的文件求出最多的ip？awk？c++？kafka如何通知消费者，是属于有broker的吗？单导设备的性能怎么样？每秒传输？etcd，zookeeper，consul的区别？假设一个久居北京的用户，去了上海，如何保证低延迟？通过cache，DB的分层架构，第一次的延迟不能少，如果是更新的话
2017-06-07 18:03:23
235
转载 进程的创建与可执行程序的加载
进程的创建与可执行程序的加载 实验环境：ubuntu 12.04 LTS 当在Linux下编写一个源程序，经过编译链接之后生成可执行程序，在终端shell命令行下输入./（可执行程序的名字）来执行的过程，实际上是shell创建一个子进程，在子进程中加载可执行程序进行执行的过程，具体的子进程加载可执行程序之前的准备工作过程以及fork、exec的工作原理分别在
2017-06-05 22:07:16
349
转载 select、poll、epoll之间的区别总结
select、poll、epoll之间的区别总结[整理] select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而
2017-06-05 22:05:01
221
转载 存储系统
存储系统从其与生俱来的使命来说，就难以摆脱复杂系统的魔咒。无论是从单机时代的文件系统，还是后来C/S或B/S结构下数据库这样的存储中间件兴起，还是如今炙手可热的云存储服务来说，存储都很复杂，而且是越来越复杂。存储为什么会复杂，要从什么是存储谈起。存储这个词非常平凡，存储 + 计算（操作）就构成了一个朴素的计算机模型。简单来说，存储就是负责维持计算系统的状态的单元。从维持状态的角度，我们会有最朴
2017-05-27 20:11:11
328
转载 解密阿里巴巴“异地多活”技术
原文链接：http://servers.pconline.com.cn/721/7215376.html编者按：11月16日，阿里“双十一”技术分享会上，阿里巴巴技术保障部研究员林昊详细解析了“异地多活”技术。相较于目前主流的“两地三中心”，该技术实现了质的飞跃。笔者对此的理解是，“提供‘丝般柔顺’的用户体验”，即用户在天猫、淘宝等阿里平台上的任何操作都流畅自如。而更为深入的技术剖析，请参阅以
2017-05-19 17:05:46
741
转载 几款消息中间的调研
消息队列调研消息系统简介本次主要调研业界使用广泛的两款消息队列——RabbitMQ, Kafka， 以及阿里云的提供的两个服务， MNS和ONS.RabbitMQRabbitMQ 是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这
2017-05-12 22:35:24
343
转载 kafka数据可靠性深度解读
Kafka起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。1 概述Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为
2017-05-12 22:33:05
662
转载 LinkedIn的高可用消息系统Kafka应用介绍
Apache Kafka 是一个高度可扩展的消息系统，它在 LinkedIn 的中央数据管道中扮演着十分重要的角色。Kafka 是 LinkedIn 于2010年开发的消息系统，目前每天通过1400个 broker （消息中间件处理结点）处理逾1.4万亿条消息。鉴于其高耐久与低延迟两项优点，我们在 LinkedIn 使用 Kafka 为大量新的关键用例提供支持，包括使用基于 Kafka 的 rep
2017-05-12 22:24:15
1193
转载 如何构建一套高可用的移动消息推送平台？
消息推送作为移动 APP 运营中的一项关键技术，已经被越来越广泛的运用。本文追溯了推送技术的发展历史，剖析了其核心原理，并对推送服务的关键技术进行深入剖析，围绕消息推送时产生的服务不稳定性，消息丢失、延迟，接入复杂性，统计缺失等问题，提供了一整套平台级的高可用消息推送解决方案。实践中，借助于该平台，不仅能提能显著提高消息到达率，还能提高研发效率，并道出了移动开发基础设施的平台化架构思路。推送基
2017-05-12 22:22:42
2248
转载 腾讯云分布式高可靠消息队列CMQ架构
在分布式大行其道的今天，我们在系统内部、平台之间广泛运用消息中间件进行数据交换及解耦。CMQ是腾讯云内部自研基于的高可靠、强一致、可扩展分布式消息队列，在腾讯内部包括微信手机QQ业务红包、腾讯话费充值、广告订单等都有广泛使用。目前已上线腾讯云对外开放，本文对腾讯云CMQ 核心技术原理进行分享介绍。CMQ消息队列主要适用于金融、交易、订单等对可靠性、可用性有较高要求的业务场景。以腾讯充值系统
2017-05-12 21:56:32
2083
转载 分布式高可靠消息中间件－Hippo
前言 随着大数据产品的日渐丰富以及数据应用场景需求的增加，TDBank作为腾讯大数据平台的数据接入环节的位置也越发显得重要（见下图）。截止目前为止TDBank日均接入数据已经超过2W亿条每天（约600TB/天），并且数据量还在持续不断上升。Tube 作为整个数据接入体系的存储层发挥着重要作用。Tube作为一个面向高吞吐高性能的分布式消息中间件，其性能及稳定性在万亿级数据体量下
2017-05-12 21:54:05
6493
转载 历经8年双11流量洗礼，淘宝开放平台如何攻克技术难关？
淘宝开放平台（open.taobao.com）是阿里系统与外部系统通讯的最重要平台，每天承载百亿级的API调用，百亿级的消息推送，十亿级的数据同步，经历了8年双11成倍流量增长的洗礼。本文将为您揭开淘宝开放平台的高性能API网关、高可靠消息服务、零漏单数据同步的技术内幕。高性能API网关阿里巴巴内部的数据分布在各个独立的业务系统中，如：商品中心、交易平台、用户中心，各个独立系统间通过HSF
2017-05-12 20:48:49
979
转载 高可用保证消息绝对顺序消费的BROKER设计方案
在要求严格顺序消息的场景下，消息的发送者，BROKER端（BROKER端和消息存储放在一起），消息的消费者都要求按照顺序进行，三者任何一个环节的乱序都会导致消息最终的消费顺序被打乱。如果为每一个消息维护一个有序的ID，发送和存储消息无序，消费逻辑会变得非常复杂，消费端要对消息进行重新编排，会影响消费的性能。 为了保证消息发送、保存、消费三个环节都有顺序，就要求在同一个时刻只能有一个同步
2017-05-12 14:35:30
379
转载 Zeus资源调度系统介绍
摘要： 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线：问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略，引出依赖的容器技术、实践方案，所有这些落实到工程实践，要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序列文章并不是突出架构上重大突破，毕竟这个领域已经发展了10多年了。而是，实践过程中的一些细节、一些特
2017-05-10 21:58:56
9410
转载 面向容器技术资源调度关键技术对比
1资源分配理念看已有调度器在资源调度器中，资源分配理念：拍卖、预算或抢占，往往是混合运用。资源分配理念，折射出了资源调度器所在的生态系统或者说周边配合系统的成熟度、运行习惯。例如，Google从最早的广告拍卖机制起，拍卖的理念在Google内部就形成了一种经验、选择的爱好或者内部的默契，那么资源竞拍被分配出来的结果，大家很容易达成一致、理解。而国内企业，往往是预算驱动，周边系统的运行习惯，更趋
2017-05-10 21:37:11
2186
转载 YARN资源调度策略
YARN资源调度策略发表于 2015-04-30 | 公司活动写的一篇文章。这里也发下吧。介绍下YARN中资源调度相关概念和算法。以hadoop 2.2.0为准。YARN虽然是从MapReduce发展而来，但其实更偏底层，它在硬件和计算框架之间提供了一个抽象层，用户可以方便的基于YARN编写自己的分布式计算框架，而不用关心硬件的细节。由此可以看出YARN的核心
2017-05-10 21:35:52
4952
转载 常用调度算法集锦
常用调度算法集锦The usual schedule algorithms18 Nov 2014 in Distributed Less than 1 minute read单资源调度算法单资源调度算法针对单一资源的调度，例如OS中CPU时间片的调度；网络中流量的调度等。在调度中，各个算法将有不同的侧重，例如公平性、吞吐量、优于小作业等。单资源调度算法一般
2017-05-10 21:34:58
4371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人