6 MasterT-J

尚未进行身份认证

我要认证

https://github.com/Tjcug

等级
TA的排名 8k+

一周一论文(翻译)——[SIGMOD 2015] TIMELY RTT-based Congestion Control for the Datacenter

本文主要解决的问题是在,基于优先级的拥塞控制PFC是一种粗粒度的机制,它主要是通过检测优先级队列的长度是否超过阈值,然后再发送PFC拥塞信号帧来进行流量控制。这种做法会带来不公平性以及行头阻塞等问题。作者表明,单的数据包延迟(以主机的往返时间来衡量)是一种有效的拥塞信号。因此作者通过对延迟梯度或排队随时间变化的微分做出反应,以在提供高带宽的同时保持较低的数据包延迟。Abstract...

2020-03-04 17:23:15

一周一论文(翻译)——[SIGMOD 2015] Congestion Control for Large-Scale RDMA

本文主要解决的问题是在RoCEv2体系中,基于优先级的拥塞控制PFC是一种粗粒度的机制。 它在端口(或端口加优先级)级别上运行,并且不区分流。PAUSE机制是基于每个端口(和优先级)的,而不是基于每个流的。 这将导致Unfairness和Victim flow等问题。为了解决这个问题,作者提出了DCQCN机制,DCQCN提供快速收敛以达到公平性,实现高链路利用率,确保低队列建立和低队列振荡。并且为...

2020-03-03 20:46:47

一周一论文(翻译)——[SIGMOD 2016] RDMA over Commodity Ethernet at Scale

本文主要解决的问题是在RoCEv2体系中,基于VLAN的PFC的拥塞控制是逐跳工作的,源和目的服务器之间可能有多跳,如果有持续的网络拥塞,PFC暂停帧会从阻塞点传播并返回到源,这就会导致诸如unfairness和victim flow的问题。因此作者提出了基于DSCP的优先级流量控制机制PFC,替换掉PCP和VID来确保大规模部署。Abstract 在过去一年半的时间,我...

2020-03-03 18:02:17

一周一论文(翻译)——[Acta 1996] The Log-Structured Merge-Tree (LSM-Tree)

Abstract高性能事务系统通常会通过向一个历史表中插入记录以追踪各项活动行为;与此同时事务系统也会因系统恢复的需要而生成日志记录。这两种类型的生成信息都可以从高效的索引方式中获益。众所周知的一个例子,TPC-A benchmark{TPC是Transaction Processing Performance Council的简称,是一个专门针对数据库系统性能benchmark的非盈利性组织...

2020-01-17 17:54:52

高阶数据结构:SSTable

1. 前言最近在组会上面通过小组讨论论文时,发现了SSTable这个数据结构。课后为了深入分析和学习这个数据结构,我做了一些资料查阅。在查询相关分布式的书籍后,找到了SSTable的数据结构,现将其作为笔记记录下来。之前整理的BigTable论文里面提及到了SStable,但是当时并没有引起我的注意。现在将深入理解这个数据结构——SSTable。2. SSTable的定义Google SST...

2020-01-09 20:34:18

Kafka:Zero-Copy零拷贝

1. 前言前一段时间研究了大规模日志流高吞吐并行存储,通过深入研究Kafka的底层存储机制。我们发现Kafka的Zero-Copy零拷贝技术采用的是Java底层FileTransferTo方法,后期我们尝试了对TransferTo性能及其并行性能进行测试。以及后面在Kafka上面实现了并行TransferTo方法,并应有到了Apache Kafka系统中。2. 消息存储机制Kafka是一个分...

2020-01-05 12:56:16

Kafka:Kafka核心概念

1 消息系统简介1.1 为什么要用消息系统 ?解耦 各位系统之间通过消息系统这个统一的接口交换数据,无须了解彼此的存在;冗余 部分消息系统具有消息持久化能力,可规避消息处理前丢失的风险;灵活性和消除峰值 在访问量剧增的情况下,应用仍然需要继续发挥作用,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃;(节省资源)可恢复性 系统中部分组件失效并不会影响整...

2020-01-05 12:51:46

Kafka:分布式消息队列的抽象模型

最基础的分布式队列编程抽象模型是点对点模型,其他抽象构架模型居于改基本模型上各角色的数量和交互变化所导致的不同拓扑图。具体而言,不同数量的发送者、分布式队列以及接收者组合形成了不同的分布式队列编程模型。消息中间件的主要功能是**消息的路由(Routing)和缓存(Buffering)**。Java Message Service,**JMS**,指的是面向消息中间件(MOM),用于在两个应用程...

2020-01-05 12:49:36

一周一论文(翻译)——[VLDB 19] Minimizing Cost by Reducing Scaling Operators in Distributed Stream Processing

Abstract弹性分布式流处理系统能够动态地适应工作负载的变化。通常,这些系统通过向上或向下扩展来对输入数据的速率或资源利用水平做出反应。目标是优化系统的资源使用,从而降低其运营成本。但是,这种扩展操作会自行消耗资源,从而为每个扩展操作引入一定的资源使用开销,从而降低成本。此外,由扩展操作引起的迁移不可避免地导致简短的处理差距。因此,应避免过多的扩展操作。 我们通过防止不必要...

2019-09-19 10:49:15

一周一论文(翻译)——[SIGMOD 19] Elasticutor:Rapid Elasticity for Realtime Stateful Stream Processing

Abstract弹性非常适用于流系统,以保证针对工作负载动态的低延迟,例如到达率的激增和数据分布的波动。现有系统使用以resource-centric的方法实现弹性,该方法在并行实例(即执行程序)之间重新分配Key,以平衡工作负载和扩展Operator。然而,这种Operator级别的重新分区需要全局同步并且禁止快速弹性。我们提出了一种以executor-centric的方法,它避免了Oper...

2019-09-18 22:06:53

一周一论文(翻译)——[IEEE 14] Elastic scaling for data stream processing

Abstract本文讨论与通用分布式数据流处理应用程序的自动并行化相关的盈利问题。自动并行化涉及在应用程序的数据流图中定位区域,这些区域可以在运行时复制以应用数据分区,以实现扩展。为了使自动并行化在实践中有效,需要回答盈利问题:有多少并行通道提供最佳吞吐量?此问题的答案根据运行时的工作负载动态和资源可用性而变化。在本文中,我们提出了一种弹性自动并行化解决方案,可以动态调整用于实现高吞吐量的通道...

2019-09-18 17:06:29

一周一论文(翻译)——[ICDCS 15] DRS: 在快速流下实时计算分析的动态资源调度系统

Abstract在数据流管理系统(DSMS)中,用户注册连续查询,并在数据到达和到期时接收结果更新。 我们专注于具有实时约束的应用程序,其中用户必须在更新发生后的给定时间段内接收每个结果更新。 为了处理快速数据,DSMS通常位于云基础架构之上。 由于实时流速到达等流属性可能无法预测地波动,因此必须动态配置和调度云资源以确保实时响应。 对于现有系统或未来发展而言,必须具备根据当前工作负载动态调度...

2019-09-17 17:43:04

一周一论文(翻译)——[PVLDB 17] Dhalion: 基于Heron自适应调整的流处理系统

Abstract近年来,大规模实时分析需求激增,并且已开发出大量流处理系统来支持此类应用。 即使遇到硬件和软件故障,这些系统也能够继续进行流处理。 然而,这些系统并未解决其Operator面临的一些关键挑战:手动,耗时且容易出错的调整各种配置旋钮以实现服务水平目标(SLO)以及SLO维护的任务。 面对突然的,不可预测的负载变化以及硬件或软件性能下降。在本文中,我们介绍了自适应调节流处理系统...

2019-09-17 11:03:53

一周一论文(翻译)——[VLDB 18] Chi:分布式流处理系统下可扩展的、可编程的控制计划模块

Abstract流处理工作负载和现代共享集群环境表现出高度的可变性和不可预测性。 结合大量参数空间和各种用户SLO,这使得现代流处理系统非常难以静态配置和调整。 为了解决这些问题,在本文中,我们研究了一种新颖的控制平面设计Chi,它支持连续监测和反馈,并支持动态重新配置。 Chi利用在数据平面通道中嵌入控制平面消息,为流处理系统实现低延迟和灵活的控制平面。Chi引入了新的反应式编程模型和设...

2019-09-16 15:48:53

云计算的三种服务模式:IaaS,PaaS,SaaS

1. 简介IaaS, PaaS和SaaS是云计算的三种服务模式。“云”其实是互联网的一个隐喻,“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用,数据,或者服务。任何一个在互联网上提供其服务的公司都可以叫做云计算公司。其实云计算分几层的,分别是Infrastructure(基础设施)-as-a-Service,Platform(平台)-as-a-Service,Software...

2019-07-02 15:27:33

Cloud Programming Simplifie : A Berkeley View on Serverless Computing

Abstract 无服务器云计算几乎处理所有系统管理操作,使程序员更容易使用云。 它提供了一个极大简化云编程的接口,代表了从汇编语言到高级编程语言的过渡。 本文简要介绍了云计算的历史,包括对2009年伯克利云计算视图的预测进行了说明,解释了无服务器计算的动机,描述了扩展无服务器当前限制的应用程序,然后列出了障碍和研究机会 无服务器计算需要充分发挥其潜力。 就像2009年的论文确定了云的挑...

2019-07-02 14:55:17

Spark详解(十四):Spark SQL的Join实现

1. 简介Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。Join连接是大数据处理的重要手段,它基于表之间的共同字段将来自两个或多个表的行结合起来。如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序开发的主流,作为开发者,我们有必要了解Join在...

2019-06-17 19:14:08

Linux基础:配置ntp时间服务器

1. 概述大数据产生与处理系统是各种计算设备集群的,计算设备将统一、同步的标准时间用于记录各种事件发生时序,如E-MAIL信息、文件创建和访问时间、数据库处理时间等。大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性,若计算机时间不同步,这些应用或操作或将无法正常进行。大数据系统是对时间敏感的计算处理系统,时间同步是大数据能够得到正确处理的基础保障,是大数据得以发挥作用的...

2019-05-27 12:21:17

计算机网络:WebSocket协议详解

1. 概述一直以来,网络在很大程度上都是围绕着HTTP的请求/响应模式而构建的。所有的HTTP通信都是由客户端控制的,这就需要用户进行互动或者定期轮询,以便从服务器加载数据。长期以来存在着各种技术让服务器得知有新数据可用时,立即将数据发送都客户端,这些技术种类繁多,例如推送或则“Comet”。但是这些解决方案都存在一个相同的问题:由于HTTP协议的开销,导致他们不适合做低延迟的应用。为了解决这...

2019-05-22 11:52:16

计算机网络:详解HTTP协议

1. 概述HTTP(超文本传输协议)是建立在TCP传输协议之上的应用层协议。HTTP是一个基于TCP/IP通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)。HTTP是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用于分布式超媒体信息系统。它于1990年提出,经过几年的使用与发展,得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版,HTTP/1.1的规范...

2019-05-22 11:08:08

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。