- 博客(1612)
- 收藏
- 关注
RSS订阅原创 AIGC 训练场景下的存储特征研究
引言：在传统块存储大行其道的时代，需要针对很多行业的工作负载（Workload）进行调研，包含块大小、随机读、读写比例等等。知道行业的 Workload 对于预估业务的 I/OPS、时延、吞吐等性能有很好的指导意义，其次，也便于制定针对行业的存储配置最佳实践。在今天这样以 AIGC 为代表的 AI 时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读 WEKA 的一个相关报告，来看看 AIGC 对于存储有哪些具体的性能要求。
2024-03-22 15:40:21
784
原创 分享那些在云发生的奇妙故事 ~~ 征文挑战赛来啦！
本栏目旨在通过全面挖掘并生动展现“客户如何用好云”的实战历程，深入剖析行业痛点解决之道，以鲜活的案例故事呈现云计算带来的价值。，是时候挥毫泼墨，描绘出你们与云的传奇交锋了！阿里云基础设施事业部荣幸推出【云故事探索】征文活动，无论你是 C 端的技术探索者，还是 B 端的解决方案大师，我们都邀请你来分享那些与阿里云跌宕起伏、荡气回肠的故事。或者在数字化转型的征途上，阿里云成为你的坚强盾牌，使你事半功倍？2、文章内容需围绕“云上故事”主题，可以是用云故事、成功案例、行业见解等，公共云、新型代表性的客户案例优先。
2024-03-12 11:04:23
356
原创 需求并行开发场景，如何高效发布
至此，本方案完成了从应用配置、到需求开发、多变更（需求）集成测试、发布上线的完整流程，满足了变更分支自动创建、变更分支自动合并集成测试、发布准入卡点控制等诉求，避免因为“漏测”带来的生产故障，也避免因为其中一个需求未达到发布条件延期所有需求。
2024-03-06 14:47:50
948
原创 面向智算服务，构建可观测体系最佳实践
可观测助力阿里云AI生态、大数据服务、容器服务构建无处不在的端到端可观测能力，同时可观测也借助生成式 AI、大模型等能力实现自身数据的深入洞察，实现互利双赢。
2024-02-29 17:55:12
627
原创 青团社：亿级灵活用工平台的云原生架构实践
展望未来，可能会更多的考虑这以下三个方向，这些也是我们未来要做的事情。我们现在比较关心的服务网格，因为以后也会有更多语言，像一些应用比如说 Java、Python、Go 这些，MSE 目前可能对 Java 的支持非常好，后面我们也会探索基于服务网格的通用的流量治理能力。因为 Java 占我们整个应用的体量大概是 80%，后续会考虑用一些新的技术，比如用 GraaLVM native 来实现原生镜像部署，这样可以进一步降低应用的资源占用情况，提高应用的响应峰值性能。
2024-02-27 15:42:25
733
原创 软硬协同设计下的飞天盘古，是如何降低存储系统开销的？
经过十几年的技术演进，阿里巴巴已经实现了统一存储的目标——即以“飞天盘古”系统作为统一底座，通过标准化、服务化和开放化的方式建立了完整的存储产品和服务体系，服务广大内部和外部客户。“万古乾坤心上辟，于令日月掌中悬。”飞天盘古分布式存储系统是飞天云操作系统的核心组件，是阿里云数据存储底座。块存储 EBS、对象存储 OSS、文件存储 NAS、表格存储 Tablestore 等核心存储产品，都生长在飞天盘古之上。飞天盘古作为业界少有的统一存储平台，具有稳定、规模、普适、性能、安全的特点。
2024-02-26 16:47:33
774
原创 万字干货教你如何保证业务数据全流程安全
前面从信息安全的三要素完整性、可用性、机密性展开，介绍了很多数据安全的产品、安全能力以及建议。数据完整性上，介绍了云平台自身如何保证数据的完整性，包括了数据安全擦除机制。数据安全擦除机制中，分布式快速组系统中已删除的数据一定会被完全擦除，保证数据擦除的完整性，数据全链路的 CRC 完整性校验，且会定期对存储介质中的数据进行完整性的扫描，以保证数据全链路的完整性，通过云盘三副本技术实现在部分物理硬件故障时，ECS 实例依旧保持九个九的数据可靠性。
2024-01-26 16:34:30
540
原创 干货长文快收藏！阿里云专家教你如何安全访问和管理 ECS 资源
接下来为大家介绍如何避免显示 AK 配置的最佳实践。前面提到了 RAM 角色是一种虚拟的角色，ECS 里面的 RAM 角色，它其实就是RAM 角色的一种，他是使 ECS 的实例可以扮演某一种特定权限的角色，可以通过临时访问凭证 STS 去访问指定的云服务，比如 ECS 可以临时访问 OSS 的对象存储、访问数据库，这样最大的好处是您不需要在 ECS 内去保存用于访问云服务的明文 AK 信息，而且是由 ECS 的云服务通过角色扮演的方式来实现了与 ECS 实例和其他阿里云服务间的一安全通信。
2024-01-26 16:17:11
843
原创 Hologres V2.1 版本发布，新增计算组实例构建高可用实时数仓
Hologres 是阿里云自研一站式实时数仓，统一数据平台架构，将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上，实现一份数据，多种计算场景。
2024-01-26 15:59:44
1030
原创 一文掌握！九大提升 ECS 实例操作系统安全性技巧
在介绍操作系统安全概念前，我们先来看一下国际上曾经发生过的几个真实的安全事件。第一个安全事件：国外某政务官员，他是一非常喜欢发推特的人，可能不知道的是，他在就任期间，他的推特账号曾经被人盗用过。像这类知名的公众人物，他们的一言一行都会对社会产生重大的影响，可想而知，他们的账号被盗用的影响会有多大。整个安全事件的过程比较简单，简单梳理一下。
2024-01-25 15:32:06
841
原创 从 13 个企业关心的问题看懂用云范式的改变
在这两个趋势之下，我们看到企业和开发者面临新的挑战：比如 K8s 的入门门槛高、维护比较复杂，而微服务的运维体系很复杂，企业的业务流量波动很大，需要更好的按需弹性、同时实现更低成本；阿里云经历过双十一、阿里巴巴整体上云这样的场景，在这些场景里我们积累了大量的云原生技术，包括海量的规模调度、安全隔离以及资源混部等多方面的能力。丁宇：据调研报告显示，2022 年，64% 的最终用户在生产环境中使用了 K8s，并且托管在云上的 K8s 集群年增速达到 127%，所以说上云用容器已经成为一个巨大的趋势。
2024-01-25 14:41:48
826
原创 走出大模型部署新手村！小明这样用魔搭×函数计算
前文介绍了魔搭 ModelScope 社区模型服务 SwingDeploy 服务。开发者可以将模型从魔搭社区的模型库一键部署至阿里云函数计算，当选择模型并部署时，系统会选择对应的机器配置。按需使用可以在根据工作负载动态的减少资源，节约机器使用成本。5 分钟完成从开源模型至模型推理 API 服务的生产转换……好，优势前文已经介绍过了。那么，到底怎么应该怎么开始使用，本文将带小明（纯纯的小白）走出新手村，体验魔搭社区的一键部署服务（SwingDeploy[1]），对小明的种种疑惑进行解答。开始！
2024-01-25 14:12:44
832
原创 成本更低、更可控，云原生可观测新计费模式正式上线
更低可观测成本同样数据规模下，单位价格下调 70%，部分规格存储时长延长 50%，整体成本更低；成本支出更可控仅需考虑业务及对应的数据规模，无需担忧增值服务带来的额外成本；评估模型更简单相较旧计费模式下诸多计费项，新计费模型更简单易懂，无需理解特定语境下计算单位定义及计费项间关联关系。
2024-01-25 13:41:24
1157
原创 解读 EventBridge Transform：数据转换和处理的灵活能力
ETL 表示的是数据提取（Extract）、转换（Transform）和加载（Load）的过程，是数据集成的核心任务。提取：从数据源中提取数据，数据源可以是各种数据存储系统，比如消息队列、数据库等。转换：对提取的数据进行转换操作，比如数据富化、数据清洗、数据聚合、数据拆分、格式转换等。加载：将经过转换后的数据加载到目标服务中，比如数据仓库、数据湖、BI 系统等。ETL 应用广泛，它可以帮助企业管理和利用数据，实现数据驱动的决策和业务转型。
2024-01-24 18:53:40
737
原创 阿里云推出第八代企业级实例 g8i：AI 推理性能最高提升 7 倍、可支持 72B 大语言模型
1 月 11 日，全球领先的云计算厂商阿里云宣布推出第八代企业级通用计算实例 ECS g8i，这也是国内首款搭载第五代英特尔至强可扩展处理器（代号 EMR）的云计算产品。依托阿里云自研的「飞天+CIPU」架构体系，ECS g8i 实例的整机性能最高提升 85%，AI 推理性能最高提升 7 倍，可支撑高达 72B 参数的大语言模型，为 AI 提速，同时新实例还提供了端到端安全防护，为企业构建可信 AI 应用提供强有力的隐私增强算力支撑。
2024-01-24 18:22:50
1055
原创 一文掌握全方位构建 ECS 安全体系的最佳方法
第二部分将为大家详细介绍 ECS 的安全责任共担模型。这个责任模型是我们进行云上安全实践的重要基础，也是主要依据之一。在介绍模型之前，先为介绍一下 ECS 的底层架构，因为这也是我们对 ECS 的安全性进行配置的一个基础。在传统的云下应用架构下，搭建一个信息系统，需要自行负责信息系统所以来的所有底层软硬件的资源和服务搭建。如果把信息系统的搭建比作为一个房子，那在我们的传统服务模式下，我们则需要自行准备搭建一个房子所需要的全部资源。
2024-01-24 18:15:53
1003
原创 基于 Hologres+Flink 的曹操出行实时数仓建设
作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景。用户会在我们的平台中去进行下单，然后我们的系统会给司机进行派单，接到订单之后，进行履约服务。结束一次订单服务后，乘客会在平台做出支付。曹操出行业务痛点分析整个流程中这些数据会流转到我们的业务系统，主要会有营销、订单、派单、风控、支付、履约这些系统。这些系统的数据会进入到 RDS 数据库，流转到实时数仓中去做一个分析和处理。
2024-01-24 14:09:14
1398
原创 5 分钟使用 Hologres 实时湖仓加速分析挑战赛来袭
活动简介：5 分钟快速使用 Hologres 实时湖仓能力，加速分析数据湖 OSS 上 Hudi、Delta、Paimon、ORC 等格式数据，赢取精美礼品或点击文末【阅读全文】参与挑战2024 年 1 月 4 日-2024 年 1 月 30●挑战奖：小米充电宝 15 个，非教程代码执行 SQL，完成运行速度对比●参与奖：社区积分，每位参赛者可获得社区 100 积分。
2024-01-19 16:18:07
807
原创 长虹佳华章宇：为计算巢入驻 ISV 提供软件分销能力
大家可能对长虹以及长虹的彩电最为了解，长虹佳华是长虹集团的七家上市子公司之一，公司注册地在四川，总部在北京，我们云业务团队 Base 在上海，如果大家有机会来北京、上海，欢迎来公司做交流。长虹佳华的业务从 2004 年起步，到今天为止已经有将近 20 年的时间，一直专注 ICT 企业综合服务领域。2013 年公司在香港上市，在 2020 年突破了 400 亿的规模。
2024-01-19 14:55:35
852
原创 流式湖仓增强，Hologres + Flink构建企业级实时数仓
2023 年 12 月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres 研发负责人姜伟华现场分享 Hologres+Flink 构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新、实时查询。同时，随着流式湖仓的兴起，Hologres 除了支持 Delta、Hudi 等通用湖格式，在今年新增了对 Paimon 的深度集成，不断拓展湖仓一体能力。
2024-01-19 14:23:35
978
原创 阿里云弹性计算技术公开课-ECS 安全季 全新上线！
云上安全建设是一个体系化工程，需要用户主动进行多方面的考虑和实施，包括制定完善的安全策略和规范，如身份认证、访问控制、漏洞管理、安全审计、数据备份、数据加密等；逐一为大家进行讲解。全系列课程将在阿里云开发者社区、阿里云官方微信视频号、阿里云官方钉钉视频号、阿里云开发者微信视频号四大官方渠道同步直播，课程周期覆盖1 月 9 日-1 月 30 日。2023 年度下旬，阿里云弹性计算团队推出 CIPU 深度解读、CloudOps 云上运维季、倚天实例迁移课程等系列公开课，为开发者深度讲解阿里云弹性计算技术沉淀。
2024-01-11 17:51:48
365
原创 阿里云 ACK One 新特性：多集群网关，帮您快速构建同城容灾系统
ACK One 多集群网关提供了强大的能力，与此同时，结合 ACK One GitOps[8]的应用多集群分发和持续部署能力，可以帮您快速、低成本地构建对多集群应用平滑容灾的同城容灾系统。更多详情可以查看基于多集群网关实现同城容灾[9]和多集群网关概述[10]。欢迎使用钉钉扫描二维码或搜索群号加入我们。（钉钉群号：35688562）相关链接：[2] 多集群网关[3] MSE 云原生网关[5] MSE Ingress 支持的 Annotation[9] 基于多集群网关实现同城容灾。
2023-12-22 17:21:26
782
原创 祝贺！我的同事丁宇获“2023 年度云原生产业领军人物”荣誉称号
同时丁宇也是开源文化的践行者，带领团队打造了多款云原生领域广受开发者好评的开源项目，如 Dubbo、RocketMQ、Koordinator、Nacos、Seata 等，帮助百万开发者使用更先进和开放标准的云原生技术。丁宇在业界开创性地打造了全链路压测技术，解决突变峰值下复杂系统的容量确定性和系统稳定性问题，这是一个划时代的容量规划技术，打破了对于不可预知技术风险的控制能力，加速技术的进化，做到主动发现问题而不是被动等待。带领团队撰写并发布业内首本《云原生架构白皮书》，成为企业落地云原生的必备参考。
2023-12-22 17:11:19
386
原创 日志服务 SLS 深度解析：拥抱云原生和 AI，基于 SLS 的可观测分析创新
10 月 31 日，杭州云栖大会上，日志服务 SLS 研发负责人简志和产品经理孟威等人发表了《日志服务 SLS 深度解析：拥抱云原生和 AI，基于 SLS 的可观测分析创新》的主题演讲，对阿里云日志服务 SLS 产品服务创新以及背后的技术积累进行了深度解读。日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。
2023-12-22 16:55:37
1630
原创 阿里云林立翔：基于阿里云 GPU 的 AIGC 小规模训练优化方案
1、生成式 AI 爆发的历程在 2022 年的下半年，业界迎来了生成式 AI 的全面爆发，尤其是以 ChatGPT 为代表的大语言模型和以 Stable Diffusion 为代表的图片生成类模型。举个例子，某幼儿园老师要求家长写一篇 1500 字的关于家庭教育法的心得体会，ChatGPT 可以胜任这份工作；各种 logo 也可以通过 Stable Diffusion 生成式模型来生成，根据提示词生成各类图片。（1）软件算法部分。
2023-12-21 17:27:30
1449
原创 阿里云赵大川：弹性计算推理解决方案拯救 AIGC 算力危机
本篇文章围绕弹性计算推理解决方案 DeepGPU 实例如何支持 Stable Diffusion 文生图推理、Stable Diffusion 推理演示示例等相关话题展开。赵大川 阿里云弹性计算高级技术专家。
2023-12-21 11:19:53
1770
1
原创 云存储在 AIOps、数字人以及训练推理场景的最佳实践
在以 AIGC 大模型为代表的技术新浪潮中，存储作为数据基础设施，将在数据采集、训练与推理、应用部署、内容审核与协同等多个关键环节发挥重要作用，助力 AI 创新加速。据 IDC 调研显示，67% 的中国企业已经开始探索 AIGC 在企业内的应用机会或已经开始进行资金投入。12 月 2 日，阿里云存储团队、通义实验室、阿里云培训中心在深圳粤海国际化企业服务交流中心联合举办了云存储技术实战营之数据+AI 专场沙龙，吸引了众多开发者和企业代表的关注。
2023-12-21 11:08:54
923
原创 大数据时代，如何基于机密虚拟化技术构建数据安全的“基石”
关于“谁动了我的数据”？1、数据的价值用户上云最大的顾虑之一在于数据安全问题，一方面，担心云上的技术链路不够完善，会导致数据泄漏；另一方面，担心恶意攻击者偷取数据；甚至有些用户会担心云服务商监守自盗，偷窥数据。阿里云在云上构建了数字世界的“保险柜”，专用于保护用户的关键数据，从最底层的技术链路上隔绝所有潜在偷窥者、盗窃者。今天，数据已经成为与劳动力、土地、技术、资产并重的第五大生产要素，数据的重要性可见一斑。
2023-12-20 18:32:05
995
原创 阿里云大模型数据存储解决方案，为 AI 创新提供推动力
随着国内首批大模型产品获批名单问世，百“模”大战悄然开启。在这场百“模”大战中，每一款大模型产品的诞生，都离不开数据的支撑。如何有效存储、管理和处理海量多模态数据集，并提升模型训练、推理的效率，保障 AI 业务平台运行的稳定，仍是亟待解决的难题。在云栖大会上，阿里云推出一系列针对大模型场景的存储产品创新。这些产品通过利用 AI 技术赋能 AI 业务，可以帮助用户更轻松地管理大规模多模态数据集，提高模型训练、推理的效率和准确性。同时，这些产品还支持高可用性、可扩展性和安全性，满足不同用户的个性化需求。
2023-12-20 10:14:57
1054
原创 阿里云吴结生：云计算是企业实现数智化的阶梯
近年来，越来越多人意识到，我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB，与 2022 年相比，增长了近 2 倍。其中 75% 的数据来自企业，每一个现代化的企业都是一家数据公司。阿里云副总裁、阿里云云存储产品线负责人吴结生在云栖大会的演讲中提到：“从云的角度来看，云的存力、算力，云上提供的数据管理的能力，大数据分析能力和人工智能计算能力，帮助每家企业从数据公司演进到数据驱动的公司。因此云计算是企业实现数智化的阶梯。
2023-12-20 10:09:20
1912
原创 翼鸥教育和阿里云强强联手，共创全球化云网络极致体验
在此过程中，翼鸥对于网络基础设施也提出了更高的要求，比如丢包率、时延波动、探测精度、故障收敛时效等，阿里云网络和翼鸥一起深入共创，测试了海外的 anycast EIP、EIP 等产品，并且阿里云网络构建了自己的基线平台，以力争更快、更自动化的发现网络质量问题，满足翼鸥业务的快速全球化布局。
2023-12-19 18:06:30
1008
原创 【2023 云栖】阿里云田奇铣：大模型驱动 DataWorks 数据开发治理平台智能化升级
本文根据 2023 云栖大会演讲实录整理而成，演讲信息如下：演讲人：田奇铣 | 阿里云 DataWorks 产品负责人演讲主题：大模型驱动 DataWorks 数据开发治理平台智能化升级随着大模型掀起 AI 技术革新浪潮，大数据也进入了与 AI 深度结合的创新时期。
2023-11-24 09:52:59
627
原创 【2023 云栖】阿里云刘一鸣：Data+AI 时代大数据平台建设的思考与发布
降本从不意味着要使用更便宜的规格，更少的资源，这会潜在牺牲平台的服务质量，不是正确的降本姿势，低价往往质量缺少保障，最后会收获更低质量的服务，更低质量的研发投入，最后导致平台无法维系。对用户来说最大价值是，不仅是使用成本的降低，不需要提前做容量规划，更重要的是，不需要处理复杂的升级运维，让用户可以实现零停机的方式实现版本的迭代，这都是 Serverless 架构创造的价值，平台侧希望把脏活累活，包括升级、备份、灾备、弹性这些事情通过架构的方式把它解决，这也是 Serverless 背后核心的理念。
2023-11-23 18:25:07
640
原创 SAE 2.0，让容器化应用开发更简单
云原生这个概念从提出，到壮大，再到今天的极大普及，始终处于一个不断演进和革新的过程中。云原生体系下应用的托管形态是随着企业应用架构在不断演进的。最早的应用大多是集中式、单体式的，应用通过优雅的分层来实现领域模型的共享和更细致的模块拆分。随着互联网的爆炸式发展，分布式的架构逐渐取代集中式架构，云原生应用托管也经历了 4 个阶段的演进。
2023-11-22 18:05:08
180
原创 阿里云 ACK 新升级，打造智算时代的现代化应用平台
今天，能想到的或是想不到的领域，对容器和 Kubernetes 的需求都居高不减，使这项技术正在真正走向无处不在。在 2023 云栖大会上，关于容器服务 ACK 在本届亚运会上应用的介绍，让现场观众眼前一亮， “以杭州亚运会为例，作为云原生技术底座，为亚运一站通、亚运钉等众多核心应用提供了高弹性、高可用、异地多中心的架构支持，确保了赛事系统万无一失。阿里云容器服务 ACK 已经成长为企业的云原生应用操作系统，帮助越来越多的客户实现智能化、数字化创新，包括自动驾驶、智能科研、金融科技等众多新兴领域。
2023-11-22 15:38:16
628
原创 【云栖 2023】姜伟华：Hologres Serverless 之路——揭秘弹性计算组
本文根据 2023 云栖大会演讲实录整理而成，演讲信息如下：演讲人：姜伟华 | 阿里云计算平台事业部资深技术专家、阿里云实时数仓 Hologres 研发负责人演讲主题：Hologres Serverless 之路——揭秘弹性计算组实时化成为了大数据平台的核心演进趋势，而其中 Serverless 技术可以让企业在实时场景取的性能、成本、高可用之间的平衡。
2023-11-22 10:02:57
240
原创 云工作流 CloudFlow 重磅发布，流程式开发让云上应用构建更简单
为了让企业和开发者更快速、便捷地进行云上开发，，全托管、高并发、高可用，帮助用户简化和自动化复杂的云上业务流程和工作流程，更便捷地在云上构建应用。。随着阿里云提供越来越全面的 Serverless 产品，很多云产品都变成模块化、API 化、服务化。云工作流可以针对这些产品进行组装，通过拖拉拽的方式构建应用。在 Serverless 架构下，流程式开发将成为主流，相。
2023-11-21 18:43:36
134
原创 全球首款容器计算产品重磅发布，激活上云用云新范式
10 月 31 日，杭州云栖大会上，阿里云云原生应用平台负责人丁宇宣布，阿里云容器计算服务 ACS 正式发布！ACS 将大幅降低企业和开发者用云门槛，真正将 Serverless 理念大规模落地。容器计算服务 ACS，率先将容器和资源一体化，重新定义容器算力，算力交付模式升级为 Serverless 形态，通过 ACS 实现了容器和 Serverless 的和谐统一。ACS 支撑的负载类型也更加丰富，大幅降低了企业使用容器、K8s 的代价和成本。：容器与资源一体化，对于用户来说，无需关注底层节点和集群。
2023-11-21 18:34:09
147
原创 重磅解读 | 阿里云 云网络领域关键技术创新
整个数据包的处理过程中，涉及到非常多的表项，需要查找路由表、session 表、安全组/ACL 表等等，密度受到内存限制。怎么解决这个问题？阿里云网络的应对方法是对内存进行压缩，这不是简单地删除某个字段，而是将相关表项的实现、存储和查找的结构、算法全部重新实现。在 VPC 的高性能高密度的容器网络技术支撑之下，
2023-11-21 18:01:44
427
原创 米哈游大数据云原生实践
为了解决原有架构缺乏弹性、运维复杂、资源利用率低等问题，2022 年下半年，我们着手调研将大数据基础架构云原生化，并最终落地了 Spark on K8s + OSS-HDFS 方案，目前在生产环境上已稳定运行了一年左右的时间，并获得了弹性计算、成本节约以及存算分离这三大收益。弹性计算由于游戏业务会进行周期版本更新、开启活动以及新游戏的上线等，对离线计算资源的需求与消耗波动巨大，可能是平时水位的几十上百倍。
2023-11-20 15:53:26
720
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人