- 博客(151)
- 收藏
- 关注
RSS订阅
原创 「首度揭秘」大规模HPC生产环境 IO 特征
在王坚博士的《在线》一书中提到，单纯谈数据的“大”，意义是不大的。欧洲核子研究中心（CERN）进行一次原子对撞产生的数据大到惊人，而如何通过计算的方式去挖掘出这些数据背后的价值，才是数据意义的本身。HPC高性能计算，就是完成这种价值转换的重要手段。近年来，HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据，并将其存储在PB级别的共享的高性能文件系统中。然而，无论是HPC应用的用户，还是高性能文件系统的开发人员，对这些文件的访问
2020-05-22 16:47:52
3071
原创 如何评估Kubernetes持久化存储方案
在2018年的Garnter技术成熟度曲线中，容器存储出现在了技术触发期，已经开始进入大众的视野。我相信，在未来的两年内，容器存储会随着Kubernetes的进一步成熟和商业化，其地位会越来越重要。如何在五花八门的存储产品中，选择适合自己的一款，将会是IT大佬们必须要面对的问题。本次分享将会从使用场景角度分析，如何评估容器存储方案。五花八门的存储概念从用户角度看，存储就是一块盘或者一个目录...
2019-01-21 15:16:36
1467
原创 媒体聚焦 | 全闪存储加速大模型训练，获业界共识
自2022年底ChatGPT发布，大模型一直是技术趋势热点。据爱分析调研，截至2023年9月，国产大模型数量已超百个，落地场景包含金融、能源、政务、医疗、教育等行业，大模型时代已经到来。大模型时代下，大模型训练效率将决定大模型进化速度，是大模型厂商比拼的核心。在大模型落地过程中，建设以GPU为核心的算力基础设施是讨论大模型训练效率的基本前提。
2023-11-14 19:15:22
141
原创 混合云场景下基于 Fluid 的焱融高效存储方案
Fluid 是一款开源的云原生基础架构。在计算和存储分离的大背景驱动下，Fluid的目标是为AI与大数据云原生应用提供一层高效便捷的数据抽象，将数据从存储抽象出来，以便实现：通过数据亲和性调度和分布式缓存引擎加速，实现数据和计算之间的融合，从而加速计算对数据的访问。将数据独立于存储进行管理，并且通过 Kubernetes 的命名空间进行资源隔离，实现数据的安全隔离。将来自不同存储的数据联合起来进行运算，从而有机会打破不同存储的差异性带来的数据孤岛效应。
2023-11-03 15:14:35
115
原创 生信领域｜焱融存储为极智基因打造高性能生物医学平台
基于 YRCloudFile 分布式存储架构，数据及元数据节点可按需扩展，达到容量与性能均线性增长的能力，满足基因测序等核心业务发展带来的数据扩展问题，有效解决基因测序应用中，对海量大文件存储场景高聚合带宽、小文件存储场景高 IOPS 的存储需求。基因分析是一个依托大规模 HPC 运算的模式，存储需适配大规模的 HPC 并发访问，同步读写数据的能力，分析过程会读写海量小文件，所以高并发压力下，存储需提供高 IOPS 能力，才能与 HPC 算力集群适配，避免计算资源的浪费。
2023-11-03 14:56:52
205
原创 焱融全闪 | 高算力时代下的国产存储之光
大模型的持续进步高度依赖于算力基础硬件的发展， GPU 在算力、闪存容量、带宽性能等方面飞速发展，然而单个 GPU 计算能力的发展速度，远慢于大模型对于算力需求增长的速度，因此，在存储产业蓬勃发展的大背景下，全闪技术开发壁垒较高，焱融科技作为全闪存储代表厂商，将加快全闪存储技术创新研发及应用落地，完善产业生态，提升国产存储全球技术竞争力。此外，基于主流国产生态的硬件平台、操作系统以及应用进行了深度的适配及优化，在稳定性、性能、可靠性、易用性等方面能够满足复杂的企业级应用需求。
2023-11-03 14:39:41
114
原创 浙大材料学院高性能存储实践，加速 AI 新材料科研创新
其中，焱融分布式存文件存储系统 YRCloudFile 作为基础应用系统参与到材料日常的设计中，为材料工程提供海量数据存储和高性能数据服务，帮助客户在多尺度建模计算中完成从材料到器件的系统研发，再将建模结果通过高通量计算完成材料全空间快速筛选，定向设计新材料。此外，深度学习和机器学习算法还可以自动化材料的优化过程，通过不断迭代和学习，使得材料的性能不断提升。在材料工程领域中，需要通过深度学习和机器学习算法，对大量的材料数据进行分析，预测材料的性能、结构和相互作用，从而指导材料设计的方向和参数选择。
2023-11-03 14:38:27
101
原创 YRCloudFile V7.0.0发布｜ 新增 EC 数据冗余保护功能
在该版本中，YRCloudFile 增加对 EC （Erasure Code）纠删码的支持，同时还进行了多项技术优化，大幅提升了存储系统的可靠性、稳定性和可用性，产品功能更具灵活性。把写入存储系统的数据切割成若干个固定长度的数据块（N），之后再根据数据块计算出若干个校验数据块（M），最后将数据块和校验块一并存储在系统中的不同节点或不同磁盘上。此外，在云原生场景，YRCloudFile 实现了客户端的动态挂载，支持从统一的 CSI 按需对接多个目标存储集群，满足在容器业务需要访问多套存储环境的需求场景。
2023-11-03 14:37:34
134
原创 焱融科技助力智谱AI，打造大模型训练加速之道
焱融科技作为国内领先的高性能存储方案技术提供商，专注于 AI、智能汽车、AI 大模型领域，通过产品自身的技术优势帮助客户完善数据基座的构建，并且依据通用 AI 特性，推出适用于 AI 场景的存储功能，将行业应用场景深化，成为垂直领域的存储专家，帮助客户更好地追求业务创新。大模型计算量庞大，计算复杂度高，参与计算的数据规模巨大，大模型越成熟所需数据越丰富，而海量数据需要更强悍的存储性能。同时，大模型的各环节业务流程的衔接，还对数据广泛、高效流动有着极高要求，对于海量数据的存储流动是刚需。
2023-09-08 13:50:04
112
原创 超算环境为什么不推荐使用 NFS
NFS 英文即 Network File System，网络文件系统，是由 SUN 公司研制的 UNIX 表示层协议( presentation layer protocol )，它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件，能使使用者访问网络上别处的文件就像在使用自己的计算机一样。NFS 作为最常用的网络文件系统能够提供简单易用、功能强大的存储解决方案。得益于其简单、成熟、易使用等特性，几乎在 Linux 每一发行版本中都是标准组件。
2023-07-06 11:57:58
177
原创 实现 AI 大语言模型的关键在于超高性能存储能力
训练巨量模型需要巨大的算力，随着数据集和模型规模不断增加，应用程序载入数据所花费的时间变得越长，进而影响了应用程序的性能，缓慢的 I/O 严重拖累 GPU 的强大算力。，实现以直接内存的存取方式，将数据传输至 GPU 内存上，能够更好地管理数据路径，使数据在应用程序和存储之间通过更短、更有效的路径传输，显著降低 I/O 延迟，提升数据带宽，使支持 GDS 的应用程序能够充分释放 GPU 计算能力，为人工智能和机器学习（AI/ML）以及数据分析等业务加速。供应商需要支持大语言模型所需的向量嵌入。
2023-06-27 11:47:41
214
原创 基于 LRU-K 模型如何实现高效的元数据缓存？
LRU 的基本思想是如果数据最近被访问过，那么将来被访问的几率更高。我们实现 LRU 时，要维护一个队列，第一次访问的数据直接入队，重复访问的缓存，将该数据移至队尾，需要删除时删除队头的数据，这样就能保持队列越往后，数据再次被访问的可能性就越大。焱融分布式文件存储 YRCloudFile 提供元数据服务的组件是 MDS，在海量目录百亿级文件规模场景下实现了高效的存储层的元数据缓存，能够提供卓越的性能和可靠性，满足用户对文件存储的各种需求，实测性能成倍提升，为用户提供了高性能、高可靠、高扩展的存储服务。
2023-06-26 11:45:07
425
原创 国内首发｜性能飙升100% 焱融全闪存储成功适配 InfiniBand 400Gbps 网络
随着数据中心分布式计算集群的规模越来越大，数据量指数级膨胀，而大规模集群间大量数据传输的开销也越来越大，这需要高性能、低延时的网络来实现对算⼒、存储等分布资源的整合。作为焱融科技的深度合作伙伴，英伟达表示：“焱融科技是国内最早采用 Quantum 平台 InfiniBand 的并行文件存储系统的合作伙伴，基于 InfiniBand 原生 RDMA，无损网络及超低时延的特性，焱融的并行文件系统 YRCloudFile 具备业界一流的存储性能和接近线性的扩展能力，非常适合大规模高性能集群的存储场景应用。
2023-06-25 16:28:35
207
原创 YRCloudFile 分布式存储加速基因测序 解锁生命密码
生物学分析往往会通过对比源生物信息产生大量的结果数据，存储需要对海量的数据妥善保存，且提供高性能的并行文件存储保持上层生物数据分析计算，底层的存储系统在数据的管理上需要更加便捷。通过焱融高性能分布式文件存储系统的高灵活和高可扩展性满足了基因测序行业客户不断增长的业务需求，实现了计算资源和数据资源的完全透明无缝扩展，提供高效的存储效率和并行能力，为基因测序平台提供了高效、稳定、可靠的支撑，让客户更多地关注业务能力，发挥数据的价值，让其更好地通过基因测序服务社会，以技术驱动“精准医疗”的发展。
2023-06-13 17:30:15
157
原创 北邮基于焱融存储构建高性能智能医学研究平台
北邮 AI 医学图形图像研究平台采用 YRCloudFile 提供的解决方案，打造了一套高性能、高可用、高扩展性的 IT 存储基础设施，在提升海量文件数据存储能力的同时，智能医学平台也实现了全生命周期的数据管理能力，在保证百亿级文件操作性能提升的基础上，全面提升了数据管理效能，满足了研究平台高并发访问数据、数据共享安全及数据可扩展能力的需求，为研究平台技术快速落地提供了关键的存储支撑。在可扩展性方面，现有的存储方式不能很好的支撑海量的数据存储需求，也难以跟上数据激增的步伐，平台的可扩展性也受限；
2023-06-13 15:56:19
146
原创 「焱融科技」获中关村国际前沿科技创新大赛·大数据与云计算领域 TOP10
5 月 28 日，第六届中关村国际前沿科技创新大赛总决赛颁奖典礼在中关村示范区展示中心会议中心隆重举办，焱融科技实力入选大数据与云计算领域 TOP10 榜单。
2023-06-02 16:51:46
108
原创 焱融科技入选赛迪 2022 中国分布式存储报告挑战者象限
焱融科技凭借领先的分布式存储技术实力和产品性能、丰富的行业和场景落地实践、便捷高效的产品服务居于赛迪顾问评选的“2022 年中国分布式存储厂商竞争力象限图”挑战者位置，实力进一步得到行业认可。
2023-05-29 17:24:49
113
原创 加速信创生态建设 焱融科技与优炫软件完成兼容性互认证
近日，北京焱融科技有限公司（简称“焱融科技”）自主研发的焱融分布式文件存储产品 YRCloudFile 与北京优炫软件股份有限公司（简称“优炫软件”）的优炫数据库管理系统 V2.1，经双方协同测试，已完成兼容性认证，双方产品完全兼容，运行稳定，安全可靠，可为各类信息化应用提供保障。
2023-05-22 15:31:20
145
原创 重塑数据活力 | 焱融科技与DaoCloud 道客完成云原生兼容性认证
近日，焱融科技自主研发的 YRCloudFile 高性能分布式文件存储产品与DaoCloud 道客的 DaoCloud Enterprise 云原生应用云平台V 5.0，经双方联合测评，已完成兼容性认证。
2023-05-04 16:02:00
129
原创 实力担当！焱融文件存储再次中标中国移动项目
近日，焱融科技中标中国移动研究院网络设备及分布式软件采购项目。本项目将通过业界领先的焱融高性能分布式文件存储系统 YRCloudFile 为中国移动智算及相关项目提供高性能存储方案，推动 AI 及大规模算力的技术成熟和应用发展。
2023-04-11 16:40:14
131
原创 焱融全闪存储轻松构建百亿私募量化投研平台
在量化行业数据存储痛点中，焱融高性能文件存储打造高质量的可靠存储底座，解决量化数据处理流程中不同环节带来的存储难题，实现完整的数据统一管理、场景多样化等一站式存储管理平台。
2023-04-11 11:14:42
203
原创 YRCloudFile V6.10.0 功能新增对 NVIDIA GPUDirect 与回收站的支持
焱融分布式文件存储 YRCloudFile 通过一系列技术操作优化小文件的元数据性能，包括基于内存缓存的元数据管理、轻量级 open、lazy close 以及 batch commit 等技术的应用，使得 YRCloudFile 在处理海量小文件时表现出优异的性能，功能方面更加持续丰富和完善企业级特性，适配更复杂的业务场景，从而更好地满足用户的需求。
2023-03-30 15:14:37
152
原创 焱融 YRCloudFile 在海量小文件场景训练加速优化策略
今天，我们将探讨在 AI 训练场景中如何进行海量小文件的性能优化，由于训练场景中的文件访问都是以只读方式打开的，所以本文将着重介绍只读小文件的优化部分。
2023-03-28 11:21:03
150
原创 焱融科技助力海尔集团上云 加速“智能制造”进程
焱融科技作为国内唯一能够在各种云环境下提供高性能存储的解决方案的厂商、高效的 POC 测试和紧密的合作使海尔创新中心在 2 周的时间内完成了用户业务的数据迁移。
2023-03-27 11:44:16
118
原创 赋能数字经济新动能 焱融科技获评「人工智能高质量发展-行业责任担当」企业
近日，以“礼赞新时代 智创新未来”为主题的全球人工智能生态大会暨深圳市人工智能行业协会第二届第二次会员大会在深圳圆满举办。焱融科技受邀参加了此次会议，并获评“人工智能高质量发展——行业责任担当”企业。
2023-03-22 11:21:46
107
原创 焱融科技荣登《2022中国企业数智化创新TOP50》榜单
由中国信通院 EDCC 企业数字化发展共建共享平台指导，笔记侠 & InfoQ 联合发布的“2022中国企业数智化创新TOP50”榜单于近日揭晓。凭借在数智化科技创新方面的突出能力和优秀实践，焱融科技成功入选其细分赛道之——数智化科技创新 TOP20。
2023-03-17 19:05:03
118
原创 焱融为国家电网打造存算一体的融合基础架构 助推能源行业新基建
电力能源行业经过多年转型已经从传统模式向智能化、数字化方向落地，并且业务中大量运用了 3D 技术、人工智能技术，这些业务都要依托海量数据的支撑，数据即资产已经深入到行业，成为生产力不可或缺的一部分，有效利用业务数据创造价值才是 IT 基础建设重点发力方向。
2023-03-17 16:00:20
152
原创 最佳实践｜焱融全闪存储实现与美的集团破千万 IOPS 性能
焱融全闪文件存储完成国内制造业首个双 200Gb 网络聚合分布式文件存储集群部署，实现 AI 计算平台破千万 IOPS 性能。
2023-03-16 17:49:56
187
原创 分布式存储中建立高效回收站的设计思考
我们希望分布式文件系统下的回收站是一个高效的回收站系统。在实现的时候需要考虑性能问题，不能去影响正常的io请求，在恢复的时候是一个比较轻的操作，并且需要有一定的扩展性。
2023-03-16 15:10:56
100
原创 国内首发｜焱融科技 YRCloudFile 支持 NVIDIA GPUDirect Storage（GDS）
为更加完美地满足大规模计算集群对于存储系统的数据访问需求，进一步发挥强大的 GPU 计算能力，将性能发挥到极致，焱融技术团队历时 6 个月的时间完成对 NVIDIA GPUDirect Storage（GDS）的适配开发，实现以直接内存的存取方式，将数据传输至 GPU 内存上，显著降低 I/O 延迟，提升数据带宽。
2023-03-16 13:30:49
189
原创 焱融科技发布国内首个NVIDIA DGX A100 + 全闪存储参考架构白皮书
焱融科技作为业界领先的分布式文件存储厂商于近日发布国内首个NVIDIA DGX A100 + 全闪存储参考架构白皮书。
2023-03-14 18:44:22
275
原创 焱融全闪系列科普| 为什么 SSD 需要 NVMe？
随着 SSD 硬盘技术的不断演进，目前大多数机械硬盘使用的 SATA 已不再满足 SSD 高性能和低延迟的需求，NVMe 应运而生。欢迎阅读本文，了解 NVMe SSD 如何充分释放全闪超强性能！
2022-12-02 18:33:39
550
原创 焱融科技为国家重点实验室打造海量高性能存储
地球系统模式是模拟气候系统行为和变化的重要工具，在气候研究中扮演着重要的角色，对高性能计算有着极高的要求。LASG 作为蜚声国内外的大气科学和地球流体力学研究机构，为何选择焱融科技 YRCloudFile 文件存储系统？
2022-11-30 15:42:55
391
原创 分布式存储之 etcd 的集群管理
在分布式文件存储中，我们通常会面临集群选主，配置共享和节点状态监控的问题。通过 etcd（基于 Raft 协议)）可以实现超大规模集群的管理，以及多节点的服务可靠性。今天，我们就聊聊 etcd 在分布式存储中的具体应用。
2022-11-24 16:58:06
598
原创 YRCloudFile V6.9.0 加速企业在大数据应用技术创新
焱融科技分布式文件存储产品 YRCloudFile 6.9.0 版本重磅发布，该版本在功能和性能方面有多项技术性突破。
2022-11-18 20:22:57
1000
原创 焱融全闪系列科普｜固态存储核心技术 SSD
如今，全闪存储成为未来存储的主流趋势，焱融追光 F8000X 全闪文件存储作为国内全闪分布式文件存储性能旗舰产品，在高性能文件存储赛道上，一直跑在最前面。为了更清晰地理解全闪的前沿应用，我们将不定期分享全闪系列科普，本期我们先聊聊固态存储核心技术 SSD。
2022-11-11 13:07:01
1147
原创 深入浅出文件系统新形态
本文通过分享几款国外比较有特点的 Global File System 产品，通俗易懂地剖析其解决方案的侧重及功能的异同。希望能给大家带来文件系统开发的一些设计思路与方法。
2022-11-07 14:30:41
250
原创 你用对了么？对象文件网关 VS 分布式文件存储
对象文件网关 VS 分布式文件存储：产品架构在设计思路上到底有何不同？优劣势体现在哪里？各自适合怎样的应用场景和业务？
2022-09-26 17:16:54
682
原创 混合云存储点燃万亿自动驾驶市场，加速产品落地
目前，国内 AI 行业存在 IT 经验不足，导致在建设上出现水平层次不同的情况。今天，我们结合当前在 AI 行业自动驾驶场景，分享如何利用跨云异构数据整合能力推动业务发展。
2022-08-05 18:06:25
702
原创 打破文件锁限制，以存储力量助力企业增长新动力
在多进程共享的应用程序中，通过“锁”来对同一个计算资源进行协同是非常常见的做法。当我们触发到文件锁的限制导致报错时，该怎么办呢？
2022-08-01 14:17:52
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人