- 博客(199)
- 资源 (20)
- 收藏
- 关注
RSS订阅
原创 GlusterFS原创资源
GlusterFS分布式文件系统原创资源合集，持续更新补充，方便自己和广大同学查阅。[1] GlusterFS集群文件系统研究[2] 基于开源软件构建高性能集群NAS系统[3]创建Glusterfs分布式RAID10卷[4] 设计新Xlator扩展GlusterFS [5] Glusterfs全局统一命名空间 [6] Glusterfs Rebalance简析 [7]...
2013-12-15 09:41:54
20186
35
原创 存储原创文章精选
一直坚持撰写存储相关的原创博文，蓦然发现已经小有规模，然而总体显得有点杂乱。回顾了一下这些文章，选择了如下这些花了点心思认真思考并能够经得起推敲的文章，组成一个所谓的存储博文精选专辑，后续会不断进行补充。这样，一来是为了自我勉励，二来是为有需要的朋友查阅方便。[36] FASS分布式全闪存储技术白皮书[35] 开源对象存储MinIO技术白皮书[34] MaxIO智能缓存加速技术...
2012-02-10 23:27:27
19018
14
原创 FAFS全闪文件存储系统
FAFS是大道云行自主研发的全新一代分布式并行文件系统，采用开放的分布式架构，利用自身高效的软件堆栈和高速RDMA网络，将各存储节点的本地闪存资源整合成全局命名空间，提供高性能、低延时、高可靠、高可扩展的文件级存储服务。
2023-12-20 14:14:57
1102
原创 全闪存引领SDS革新换代
SSD闪存正在全面替换HDD硬盘，SDS也将革新升级换代至全闪SDS。真正深入理解全闪存技术新架构，存储基础软件面向闪存设计原则，SDS才能释放全闪的降本增效。本次演讲深度从自研全闪SDS实践出发，粗浅探索一下全闪SDS未来发展新变革。
2023-09-12 18:35:34
266
转载 FOSS分布式全闪对象存储系统白皮书
新技术新应用不断产生急剧增长的海量数据，数据的价值越来越高，对存储系统的可靠性、安全性、可用性、性能、成本、运维的要求也越来越高，给存储系统提出了巨大的挑战。新一代存储系统不光要面向传统的数据可靠性、服务可用性、性能等维度，超大存储量、长期存储经济性、系统水平线性扩展性、可交付的运维等维度成为新的重点。这驱使新一代存储系统必然走向规模化、集成化、存算分离的分布式scale-out云存储架构，提供可交付的简洁易用的运维平台，让客户自己负责运维，安心使用。
2023-09-09 15:43:03
361
原创 全闪存储技术市场新洞察
2023年存储圈涌现了一些新的变化。Intel傲腾停产，SSD价格加速下降，ChatGPT/大模型/AIGC热度高涨，信创进入深水区。这些大事件对全闪存储产生了非常积极的影响。
2023-06-22 15:23:47
1122
原创 全闪SDS三节点EC(4+2:1)性能挑战测试
三节点集群，用EC（4+2:1），性能目标是：4KB随机读写7:3，达到100万IOPS，平均时延0.5ms，P99时延1ms。硬件配置：网络100G RoCE。每节点128GB DRAM，每节点6片nvme SSD。
2023-06-04 15:50:35
1727
转载 基于Log-Structured的FASS 2.0架构设计
FASS 2.0分布式全闪块存储系统的实现基于Log- Structured。它将类HDD的映射方式改为类SSD的映射方式，相当于在系统内实现了一个分布式的SSD控制器。
2023-03-28 16:58:31
815
2
转载 SMB2协议特性之oplock与lease(下）
SMB2协议涉及的内容还是比较多的，尤其是Windows系统本身是闭源的，想要去深入理解并实现SMB2协议，需要做的工作还很多很多，但尽管如此也要相信，“道阻且长，行则将至；行而不辍，未来可期”。
2023-02-04 23:28:08
383
转载 SMB2协议特性之oplock与lease（上）
本文简要介绍了SMB2协议中的oplock与lease特性，包括两者的定义、联系与区别、lease的工作原理。实际上关于oplock和lease还有很多细节值得进一步研究，本文简单的介绍只是抛砖引玉，期望能激发更多读者的思考与讨论。
2023-02-04 23:16:27
803
原创 大话大道SDS存储
2003从中科院读研时进入分布式存储这一行当，没想一干就是20年，大道云行都八周年了。二十年来一直在想着存储这一件事情，总会有一些收获和感悟的。崭新的2023新年伊始，特别大话一下大道的那些存储产品。
2023-01-17 16:00:23
1628
原创 解析全闪对象存储
事实标准的对象存储源自AWS S3，基于HTTP/RESTful设计，原本就不是面向高性能应用场景。开源SDS对象存储，Ceph之外还有minio。时至今日，新应用新业务日新月异，SSD呈现全面普及应用的态势，高性能对象存储的需求日益凸显，特别是AI/HPC/HDPA场景。全闪存的对象存储需要变革，intel DAOS将对象存储推向高性能市场，是一个很好的参考。
2022-11-30 23:11:23
1026
原创 全闪SDS 2.0小观察廿问
SDS软件定义存储已经成为市场主流，全闪SDS 2.0存储快速增长。一直在SDS一线战斗，经常会被客户、合作伙伴、同行、投资人问到种种问题，故整理出全闪SDS 2.0 廿问，希望能有些价值。
2022-06-12 15:27:07
1070
3
原创 iSCSI vs iSER vs NVMe-TCP vs NVMe-RDMA
iSCSIiSCSI（Internet Small Computer System Interface）是一种将流行的SCSI协议扩展到TCP/IP网络，从而创建了基于IP的存储局域网SAN的块存储协议，它也是大道云行FASS全闪软件定义存储内置支持的块存储协议之一。iSCSI具有非常坚实的基础：SCSI、TCP和IP，因此在过去20年内得到了极广泛的应用，现在很多操作系统以及Hypervisor都具有内置的支持。Linux Kernel 3.1版本在其内核态的Linux SCSI Target（一
2022-05-15 11:38:56
2104
原创 分布式存储市场和技术发展热点
SDS已经成为存储市场主流，全闪SDS 2.0正在加速发展即将成为存储市场主流。聚焦全闪SDS 2.0的高扩展、高性能、低成本/高效率，EB级超大规模、NVMeoF全闪存、DPU、AIOps等，将是分布式存储技术发展热点。
2022-02-22 18:28:28
973
原创 全闪SDS之数据库加速解决方案
方案背景背景概述随着互联网和电子商务的迅猛发展，传统的大型结构化数据库系统在企业应用中承载着越来越多的应用，重载情况越来越突出，担当着企业业务和信息系统核心的重任。但是，本来是为了传统业务的开展而设计出来的数据库系统，已经越来越多的受到超大规模数据量和高强度瞬时并发访问的折磨和考验。无论是企业的传统应用，还是新兴业务，随着数据量和业务量的不断高速增长，数据库系统的执行效率越来越低，数据库检索、读写时延等性能越来越低已经越来越成为制约整个系统性能和效率提升的瓶颈。提升核心数据库存储平
2021-10-27 22:43:28
1438
原创 全闪分布式，如何深度性能POC？
全闪存储已经成为当前存储的新贵，从存储架构的演变角度，软件定义的分布式存储系统替代传统控制器架构的磁盘阵列已是大势所趋。采用分布式架构的全闪存储系统能充分发挥闪存介质的性能，并构建具备云属性的弹性基础设施，是未来全闪存储系统的发展方向。FASS是TaoCloud自研的全闪分布式块存储系统，产品正式发布以来进行了大量多种场景的POC测试，这里将对典型场景的POC测试进行多角度对比分析，用数据验证FASS在不同硬件配置环境下的优异性能表现。POC性能测试拓扑模型典型场景POC实测对比..
2020-12-25 13:19:28
1309
2
原创 全闪分布式块存储性能实测1000万IOPS！
Ceph性能数据来源：Redhat对Ceph 使用三星PM1725A进行的性能测试报告（查看性能测试视频）性能测试说明测试数据（简表）测试方法本次测试采用四台服务器作为存储节点搭建FASS，创建16个100GB双副本存储卷进行测试8客户端压力读写，每个客户端读写2个存储卷，使用Intel SPDK自带的perf工具进行性能测试perf工具命令样例：网络环境前端和后端网采用100Gbps IB网交换机，管理网采用10Gbps以太网交换机。前...
2020-11-29 10:36:40
2775
10
原创 突破硬件瓶颈（三）：旧时代的遗珠——并行流水线架构
20年前，CPU的主流设计是流水线架构，增长流水线层级就可以提升性能。然而AMD的K8架构证明intel的发展方向是偏激的，它用更低的功耗和频率，战胜了使用31级流水线的Pentium 4 Intel被迫解散了NetBurst小组，承认了其失败，转而发展Core 2系列，借鉴了AMD将IMC加入CPU DIE的设计，大大加快内存的处理速度，解放了CPU性能。紧接着又转向了多核心处理器的研发，从单条流水线转向了并行流水线，打的AMD毫无还手之力。 十多年过去，截止目前的主流CP...
2020-10-07 13:38:48
1708
1
原创 浅谈分布式全闪存储自动化测试平台设计
摘要本文简单介绍了分布式全闪的基本架构，根据对存储架构的理解和软件自动化测试系统理论的研究，指出软件自动化系统需涉及的主要方面，为软件自动化测试系统实现奠定基础。根据软件测试需求（功能、可靠性、性能），列出自动化系统的各个模块，逐步细化、设计，实现能与测试流程融合的自动化测试框架。在此基础上，还提出了未来自动化测试系统后续的优化方向，让大家意识到软件自动化测试的合理应用是软件开发过程中降本增效的关键。引言·分布式存储是具有独特系统架构的数据存储技术，它可以聚合复数主流的服务器来完成单个节点无法完
2020-10-07 13:33:49
1376
原创 Gluster集群管理小分析
开源分布式文件系统GlusterFS的集群管理系统GlusterD设计复杂，然而剖析其内部原理的参考文献极少，如果不熟悉源码，遇到问题解决难度比较大。本文的小目标是对GlusterD进行架构设计及代码层面的简析，深入了解GlusterD机制，从而帮助技术人员提高定位和解决问题的效率。1 GlusterD架构设计GlusterD作为GlusterFS的集群管理系统，其主要负责GlusterFS的集群信息管理，弹性卷管理，保证集群配置一致性，命令行操作，服务进程管理等。GlusterD部署于每一个存
2020-09-06 09:25:16
1430
原创 xSAN高可用—Gluster与SAN融合技术方案
在存储领域中，存储系统的高可用性一直是关注的重点。随着用户对于存储系统的可用性需求不断变化，高可用技术在不断发展演变。高可用的方案与技术,可分为如下三种：磁盘级的高可用这是指部分磁盘的损坏不影响集群的可用性。常用的实现方法有：RAID、SAN磁盘阵列。服务器级的高可用这是指单台服务器的失效，不影响整个系统的可用性。常用的实现方法为：双机热备；软件层面实现的数据副本（比如SDS中的多副本冗余策略）。共享级的高可用集群存储，通常都是通过共享协议的方式将其存储提供给用户，例如SMB、N
2020-08-20 16:01:07
926
原创 裸金属云FASS高性能弹性块存储解决方案
相对于公有云模式，裸金属服务器为用户提供物理服务器的租赁服务，延续了物理机无损性能这一得天独厚的优势，能够同时满足核心应用场景对高性能及稳定性的严格要求。使用裸金属服务器客户资源独占，不用和其他客户共享CPU、内存等，性能可以得到充分挖掘。因为采用物理机级别的完全隔离，可提供更安全、可靠计算资源。裸金属服务器可实现不差于物理服务器的性能，同时可以实现资源的弹性扩展与使用，全自动化的运维管理，越来越受到金融证券、HPC等对业务性能、数据安全要求较高用户的欢迎。需求痛点裸金属云可以实现弹性和自动化.
2020-07-26 14:51:08
805
原创 突破硬件瓶颈（二）：存储架构和协议瓶颈
The kernel isn’t the solution. The kernel is the problem. ——Robert Graham CEO of Errata SecurityLinux系统设计之初，采用了分级、分层设计方式，用户调用底层设备，需要切换到内核态，由系统进行调用，这种方式适合硬盘速度远低于CPU的场景。然而随着存储速度越来越快，以及网络存储的兴起，这种设计逐渐成为了存储的瓶颈。另外，本地硬盘协议，以及网络协议，也都成为了提高性能的绊脚石。本文是突破硬件瓶...
2020-06-21 10:45:37
1008
原创 突破硬件瓶颈(一)：Intel体系架构的发展与瓶颈挖掘
软件定义存储SDS正在从容量型向性能型演进，千万级IOPS和微秒级低延迟，非常具有挑战性。3节点标准x86服务器，能否有可能实现1000万IOPS与200us低延迟？这个可以有。硬件性能并不是瓶颈所在，软件颠覆才是关键。想要取得如此强的性能，必须要有突破时下存储软件对于硬件利用的瓶颈。而要突破这些瓶颈，就需要对硬件有深入的了解，而后利用软件想方设法突破，或者绕过他们，实现性能的腾飞。本文是突破硬件瓶颈系列文章的第一篇，分析Intel体系架构带来的瓶颈。存储的性能越高，则对延迟越敏感，当.
2020-06-21 10:40:17
1296
原创 SDS发展小观察
1、SDS科普SDS（Software Defined Storage）即软件定义存储，简单地说就是将存储硬件和软件进行分离，采用标准化硬件作为载体（如X86架构），基于软件实现企业级存储功能和服务。相对于传统存储硬件盒子，SDS中存储软件成为了核心。SDS通常都是分布式存储，形式分为文件存储（POSIX/NFS/CIFS）、对象存储（S3）和块存储（iSCSI/iSER/NVMeoF）三种。SDS的兴起源于硬件的快速发展，CPU、网络、SSD等硬件成熟度、稳定性、性能不断提升，同时云计算对存储
2020-05-18 09:00:01
1881
1
原创 FASS全闪高性能文件网关解决方案
移动互联网、人工智能、5G、IoT等技术的发展，海量的终端催生了越来越高的业务性能需求，越来越多的文件业务场景要求被“加速”，以提供快速响应和高带宽访问。HDD存储设备已无法满足高IOPS、低延迟的业务需求，越来越多的企业数据中心开始选择全闪存的解决方案。据Gartner预计，到2020年数据中心50%的机械硬盘存储将被全闪存存储取代，应用于新数据时代的诸多业务场景。01 方案背景海...
2020-04-19 08:57:34
1471
原创 【译】利用uDepot获得快速NVM存储的性能
小Tao们在进行分布式全闪存文件系统的预研工作，从学术圈和工业界寻找灵感，发现这篇前沿文章，并翻译出来和大家学习分享。 “这是一篇KV存储技术方向中少见的讲述如何即高效又经济地使用快速闪存设备的文章，观点新颖，方法独特，参考和使用价值很高。” ——译者 摘要许多应用程序需要低延迟的KV存储，为了满足这一需求，通常使用基于DRAM后端的KV存储。然而，与传统的SSD相比，最...
2020-03-01 10:52:16
2068
3
原创 FASS分布式全闪存储技术白皮书
当前单块NVMe SSD性能可以达到100万IOPS，SSD硬盘与HDD机械硬盘有了天壤之别。传统存储的软硬件架构，都已经不再适合承载高速闪存介质，它们从根本上制约了新型存储介质的生产力。全闪存阵列已经逐步向全NVMe硬件转移，然而其扩展性与灵活性，在云计算时代始终是最大的瓶颈。分布式全闪存储系统在全闪存介质配置的基础上，采用了标准的硬件平台、高效的新兴存储协议、极致的软件优化，可提供更简单经济、...
2019-12-17 14:26:18
5268
4
原创 GlusterFS性能优化－让目录飞
根据IDC预测2020年全球数据量将达到44ZB，其中80%来自于非结构化数据的贡献。随着云计算、大数据、物联网、AI、5G等技术的发展应用，可快速扩展的基础架构成为必需，这些需求推动了软件定义存储(SDS)的增长。2018年中国软件定义存储市场需求场景中，文件存储仍然是主力，占比高达62.3%。在诸多分布式文件系统中，GlusterFS以其简约的架构设计，完善的协议支持，无中心节点、全局统...
2019-12-08 15:15:41
4353
原创 存储洞察：从技术到市场
追溯到2003年，算起来踏入存储行业已经超过15年，从存储学习到工作，从存储学术到产品，从存储技术到市场，从存储职场到创业，估且算是一名存储老兵了。数据很重要，但存储在中国境遇却很尴尬，因为敬畏很多企业不敢涉足，而且国内还没有一家真正意义上成功的存储厂商。创业这么几年以来，经常会被提问各种尖锐深刻的问题，包括来自技术圈、学术圈、营销圈、投资圈等，在深度思考这些问题的同时，对存储的认知也在不断升级...
2019-10-23 20:07:27
6007
原创 开源对象存储MinIO技术白皮书
MinIO创始者是Anand Babu Periasamy, Harshavardhana（戒日王）等人， Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO，Harshavardhana曾经是GlusterFS的开发人员，直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训，系统复杂度上作了大量简化。一、Min...
2019-09-27 13:49:38
26219
10
原创 GlusterFS元数据机制分析
TaoCloud团队原创：微信公众号文章访问 GlusterFS作为一个免费开源的分布式文件系统，以其简约的架构设计，完善的协议支持，无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点，拥有着旺盛的生命力，在工业界受到极大的欢迎和使用。就像所有的事情一样，都不可能是尽善尽美的，所以GlusterFS也存在不足的地方：因为其无中心的架构设计，在支持无限扩展，无单点故障...
2019-08-25 10:19:49
3694
1
原创 GlusterFS场景优化之文件预分配
TaoCloud团队原创：http://www.taocloudx.com/index.php?a=shows&catid=4&id=113随着新技术的持续发展，全球数据量将继续高速增长，据分析机构预测，中国数据量增长最为迅速，预计到2025年将增加到48.6ZB。其中视频监控是数据增长的重要推动因素之一，为了支持大规模的视频监控与分析，对于存储系统来说，提出了新的要求和挑战。...
2019-06-21 15:10:48
2141
3
原创 深入理解GlusterFS之POSIX接口
剖析GlusterFS基于FUSE的POSIX文件系统接口的实现机制和工作原理，给出提升大I/O带宽性能的具体方法，并提出FUSE进一步的优化思路。
2017-09-01 19:34:31
12750
原创 GlusterFS企业级功能之EC纠删码
纠删码是GlusterFS提供的一种企业级数据高可用功能，它能够在提供高可用的同时保证很高的存储利用率，但也会消耗一定的CPU计算资源。
2017-09-01 19:23:44
7799
原创 SSAN之VAAI特性功能实现剖析
SSAN支持VAAI存储特性功能。VAAI是vSphere专门为存储提供的加速接口，可以降低主机资源压力和网络资源要求，提高I/O并发能力和性能。
2017-04-27 22:28:59
10769
原创 GlusterFS文件系统弹性哈希算法
GlusterFS采用独特的无中心对称式架构，无需专用的元数据服务集群，使用DHT算法进行文件分布和定位。本文深入剖析GlusterFS文件系统弹性哈希算法。
2017-04-18 00:45:00
7675
5
原创 MaxIO智能缓存加速技术
MaxIO是一款SSD智能缓存加速软件，能够透明对传统存储进行性能加速。本文是MaxIO的技术白皮书，重点剖析其架构原理，并对MaxIO特性和局限性作了简要阐述。
2017-02-05 20:17:48
7240
4
新一代全闪SDS存储系统技术架构
2020-12-11
TaoCloud FASS 技术白皮书 v1.9.pdf
2020-04-19
闪存技术与应用方法-刘爱贵
2015-09-22
GlusterFS 101培训课程
2013-12-02
RAID 技术发展综述
2009-09-22
快照（Snapshot）技术发展综述
2009-08-28
Introduction to DHT
2008-03-28
数据挖掘教程
2008-03-27
Survey of Clustering Algorithms
2008-03-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人