19 刘爱贵

尚未进行身份认证

我要认证

中科院博士,TaoCloud首席科学家,专注软件定义存储,聚焦智能存储、分布式全闪存、自主可控存储方向。GlusterFS技术专家,长期从事存储领域研发工作,分布式存储资深理论研究与实践者。

等级
TA的排名 1k+

突破硬件瓶颈(三):旧时代的遗珠——并行流水线架构

20年前,CPU的主流设计是流水线架构,增长流水线层级就可以提升性能。然而AMD的K8架构证明intel的发展方向是偏激的,它用更低的功耗和频率,战胜了使用31级流水线的Pentium 4 Intel被迫解散了NetBurst小组,承认了其失败,转而发展Core 2系列,借鉴了AMD将IMC加入CPU DIE的设计,大大加快内存的处理速度,解放了CPU性能。紧接着又转向了多核心处理器的研发,从单条流水线转向了并行流水线,打的AMD毫无还手之力。 十多年过去,截止目前的主流CP...

2020-10-07 13:38:48

浅谈分布式全闪存储自动化测试平台设计

摘要本文简单介绍了分布式全闪的基本架构,根据对存储架构的理解和软件自动化测试系统理论的研究,指出软件自动化系统需涉及的主要方面,为软件自动化测试系统实现奠定基础。根据软件测试需求(功能、可靠性、性能),列出自动化系统的各个模块,逐步细化、设计,实现能与测试流程融合的自动化测试框架。在此基础上,还提出了未来自动化测试系统后续的优化方向,让大家意识到软件自动化测试的合理应用是软件开发过程中降本增效的关键。引言·分布式存储是具有独特系统架构的数据存储技术,它可以聚合复数主流的服务器来完成单个节点无法完

2020-10-07 13:33:49

Gluster集群管理小分析

开源分布式文件系统GlusterFS的集群管理系统GlusterD设计复杂,然而剖析其内部原理的参考文献极少,如果不熟悉源码,遇到问题解决难度比较大。本文的小目标是对GlusterD进行架构设计及代码层面的简析,深入了解GlusterD机制,从而帮助技术人员提高定位和解决问题的效率。1 GlusterD架构设计GlusterD作为GlusterFS的集群管理系统,其主要负责GlusterFS的集群信息管理,弹性卷管理,保证集群配置一致性,命令行操作,服务进程管理等。GlusterD部署于每一个存

2020-09-06 09:25:16

xSAN高可用—Gluster与SAN融合技术方案

在存储领域中,存储系统的高可用性一直是关注的重点。随着用户对于存储系统的可用性需求不断变化,高可用技术在不断发展演变。高可用的方案与技术,可分为如下三种:磁盘级的高可用这是指部分磁盘的损坏不影响集群的可用性。常用的实现方法有:RAID、SAN磁盘阵列。服务器级的高可用这是指单台服务器的失效,不影响整个系统的可用性。常用的实现方法为:双机热备;软件层面实现的数据副本(比如SDS中的多副本冗余策略)。共享级的高可用集群存储,通常都是通过共享协议的方式将其存储提供给用户,例如SMB、N

2020-08-20 16:01:07

裸金属云FASS高性能弹性块存储解决方案

相对于公有云模式,裸金属服务器为用户提供物理服务器的租赁服务,延续了物理机无损性能这一得天独厚的优势,能够同时满足核心应用场景对高性能及稳定性的严格要求。使用裸金属服务器客户资源独占,不用和其他客户共享CPU、内存等,性能可以得到充分挖掘。因为采用物理机级别的完全隔离,可提供更安全、可靠计算资源。裸金属服务器可实现不差于物理服务器的性能,同时可以实现资源的弹性扩展与使用,全自动化的运维管理,越来越受到金融证券、HPC等对业务性能、数据安全要求较高用户的欢迎。需求痛点裸金属云可以实现弹性和自动化.

2020-07-26 14:51:08

突破硬件瓶颈(二):存储架构和协议瓶颈

The kernel isn’t the solution. The kernel is the problem. ——Robert Graham CEO of Errata SecurityLinux系统设计之初,采用了分级、分层设计方式,用户调用底层设备,需要切换到内核态,由系统进行调用,这种方式适合硬盘速度远低于CPU的场景。然而随着存储速度越来越快,以及网络存储的兴起,这种设计逐渐成为了存储的瓶颈。另外,本地硬盘协议,以及网络协议,也都成为了提高性能的绊脚石。本文是突破硬件瓶...

2020-06-21 10:45:37

突破硬件瓶颈(一):Intel体系架构的发展与瓶颈挖掘

软件定义存储SDS正在从容量型向性能型演进,千万级IOPS和微秒级低延迟,非常具有挑战性。3节点标准x86服务器,能否有可能实现1000万IOPS与200us低延迟?这个可以有。硬件性能并不是瓶颈所在,软件颠覆才是关键。想要取得如此强的性能,必须要有突破时下存储软件对于硬件利用的瓶颈。而要突破这些瓶颈,就需要对硬件有深入的了解,而后利用软件想方设法突破,或者绕过他们,实现性能的腾飞。本文是突破硬件瓶颈系列文章的第一篇,分析Intel体系架构带来的瓶颈。存储的性能越高,则对延迟越敏感,当.

2020-06-21 10:40:17

SDS发展小观察

1、SDS科普SDS(Software Defined Storage)即软件定义存储,简单地说就是将存储硬件和软件进行分离,采用标准化硬件作为载体(如X86架构),基于软件实现企业级存储功能和服务。相对于传统存储硬件盒子,SDS中存储软件成为了核心。SDS通常都是分布式存储,形式分为文件存储(POSIX/NFS/CIFS)、对象存储(S3)和块存储(iSCSI/iSER/NVMeoF)三种。SDS的兴起源于硬件的快速发展,CPU、网络、SSD等硬件成熟度、稳定性、性能不断提升,同时云计算对存储

2020-05-18 09:00:01

FASS全闪高性能文件网关解决方案

移动互联网、人工智能、5G、IoT等技术的发展,海量的终端催生了越来越高的业务性能需求,越来越多的文件业务场景要求被“加速”,以提供快速响应和高带宽访问。HDD存储设备已无法满足高IOPS、低延迟的业务需求,越来越多的企业数据中心开始选择全闪存的解决方案。据Gartner预计,到2020年数据中心50%的机械硬盘存储将被全闪存存储取代,应用于新数据时代的诸多业务场景。01 方案背景海...

2020-04-19 08:57:34

【译】利用uDepot获得快速NVM存储的性能

小Tao们在进行分布式全闪存文件系统的预研工作,从学术圈和工业界寻找灵感,发现这篇前沿文章,并翻译出来和大家学习分享。 “这是一篇KV存储技术方向中少见的讲述如何即高效又经济地使用快速闪存设备的文章,观点新颖,方法独特,参考和使用价值很高。” ——译者 摘要许多应用程序需要低延迟的KV存储,为了满足这一需求,通常使用基于DRAM后端的KV存储。然而,与传统的SSD相比,最...

2020-03-01 10:52:16

FASS分布式全闪存储技术白皮书

当前单块NVMe SSD性能可以达到100万IOPS,SSD硬盘与HDD机械硬盘有了天壤之别。传统存储的软硬件架构,都已经不再适合承载高速闪存介质,它们从根本上制约了新型存储介质的生产力。全闪存阵列已经逐步向全NVMe硬件转移,然而其扩展性与灵活性,在云计算时代始终是最大的瓶颈。分布式全闪存储系统在全闪存介质配置的基础上,采用了标准的硬件平台、高效的新兴存储协议、极致的软件优化,可提供更简单经济、...

2019-12-17 14:26:18

GlusterFS性能优化-让目录飞

根据IDC预测2020年全球数据量将达到44ZB,其中80%来自于非结构化数据的贡献。随着云计算、大数据、物联网、AI、5G等技术的发展应用,可快速扩展的基础架构成为必需,这些需求推动了软件定义存储(SDS)的增长。2018年中国软件定义存储市场需求场景中,文件存储仍然是主力,占比高达62.3%。在诸多分布式文件系统中,GlusterFS以其简约的架构设计,完善的协议支持,无中心节点、全局统...

2019-12-08 15:15:41

存储洞察:从技术到市场

​追溯到2003年,算起来踏入存储行业已经超过15年,从存储学习到工作,从存储学术到产品,从存储技术到市场,从存储职场到创业,估且算是一名存储老兵了。数据很重要,但存储在中国境遇却很尴尬,因为敬畏很多企业不敢涉足,而且国内还没有一家真正意义上成功的存储厂商。创业这么几年以来,经常会被提问各种尖锐深刻的问题,包括来自技术圈、学术圈、营销圈、投资圈等,在深度思考这些问题的同时,对存储的认知也在不断升级...

2019-10-23 20:00:49

开源对象存储MinIO技术白皮书

MinIO创始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO,Harshavardhana曾经是GlusterFS的开发人员,直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训,系统复杂度上作了大量简化。一、Min...

2019-09-27 13:38:36

GlusterFS元数据机制分析

​TaoCloud团队原创:微信公众号文章访问 GlusterFS作为一个免费开源的分布式文件系统,以其简约的架构设计,完善的协议支持,无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点,拥有着旺盛的生命力,在工业界受到极大的欢迎和使用。就像所有的事情一样,都不可能是尽善尽美的,所以GlusterFS也存在不足的地方:因为其无中心的架构设计,在支持无限扩展,无单点故障...

2019-08-25 10:19:49

GlusterFS场景优化之文件预分配

TaoCloud团队原创:http://www.taocloudx.com/index.php?a=shows&catid=4&id=113随着新技术的持续发展,全球数据量将继续高速增长,据分析机构预测,中国数据量增长最为迅速,预计到2025年将增加到48.6ZB。其中视频监控是数据增长的重要推动因素之一,为了支持大规模的视频监控与分析,对于存储系统来说,提出了新的要求和挑战。...

2019-06-21 15:10:48

深入理解GlusterFS之POSIX接口

剖析GlusterFS基于FUSE的POSIX文件系统接口的实现机制和工作原理,给出提升大I/O带宽性能的具体方法,并提出FUSE进一步的优化思路。

2017-09-01 19:34:31

GlusterFS企业级功能之EC纠删码

纠删码是GlusterFS提供的一种企业级数据高可用功能,它能够在提供高可用的同时保证很高的存储利用率,但也会消耗一定的CPU计算资源。

2017-09-01 19:23:44

SSAN之VAAI特性功能实现剖析

SSAN支持VAAI存储特性功能。VAAI是vSphere专门为存储提供的加速接口,可以降低主机资源压力和网络资源要求,提高I/O并发能力和性能。

2017-04-27 22:28:59

GlusterFS文件系统弹性哈希算法

GlusterFS采用独特的无中心对称式架构,无需专用的元数据服务集群,使用DHT算法进行文件分布和定位。本文深入剖析GlusterFS文件系统弹性哈希算法。

2017-04-18 00:45:00

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 签到王者
    签到王者
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 分享精英
    分享精英
    成功上传11个资源即可获取