• 博客(6041)
  • 收藏
  • 关注

原创 提升团队工程交付能力,从“看见”工程活动和研发模式开始

本文从统一工程交付的概念模型开始,介绍了如何将应用交付的模式显式地定义出来,并通过工具平台落地。

2024-04-24 16:38:02 512 1

原创 RocketMQ 之 IoT 消息解析:物联网需要什么样的消息技术?

RocketMQ 5.0 是为应对物联网(IoT)场景而发布的云原生消息中间件,旨在解决 IoT 中大规模设备连接、数据处理和边缘计算的需求。

2024-04-23 17:31:36 793 1

原创 云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作

在大数据 ETL 场景,将 Kafka 中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。

2024-04-23 15:42:10 472

原创 云原生最佳实践系列 4:基于 MSE 和 SAE 的微服务部署与压测

云原生应用平台为基于 Spring Cloud / Dubbo 开发的微服务应用提供了完善的能力支撑,例如服务注册发现、Serverless 无服务部署、实例弹性伸缩、微服务链路跟踪、全链路压力测试等,应用能够方便快捷的部署在阿里云上。

2024-04-22 16:04:25 999 1

原创 RocketMQ 流数据库解析:如何实现一体化流处理?

目前,消息中间件在国内许多行业的关键应用中扮演着至关重要的角色。随着数字化转型的深入,客户在使用消息技术的过程中往往同时涉及交叉场景。

2024-04-19 16:13:25 578 1

原创 云原生最佳实践系列 3:基于 SpringCloud 应用玩转 MSE

本实践基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。

2024-04-19 11:07:50 692

原创 适应多样化需求:WASM 插件在全链路灰度发布中的应用

据调研数据显示,约 70% 的生产故障是由变更引起的。为了消除变更过程存在的风险,在发布过程中,我们总是希望能够用小部分特定流量来验证下新发布应用是否正常。

2024-04-17 16:07:50 1013 1

原创 微调工程师岗位可能并不存在,但使用 AI 编码工具已经成为刚需

智能编码工具的快速普及是否会带来全新的编程模式?“大力出奇迹”的规律还将继续适用吗?

2024-04-17 10:41:38 719

原创 通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

本文展示了如何使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。

2024-04-15 16:29:19 639 1

原创 MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

随着当前数据处理业务场景日趋复杂,对于大数据处理平台基础架构的能力要求也越来越高,既要求数据湖的大存储能力,也要求具备海量数据高效批处理能力,同时还可能对延时敏感的近实时链路有强需求,本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景,提供近实时增全量一体的数据存储和计算(Transaction Table2.0)解决方案。

2024-04-15 14:52:01 999

原创 运维人少,如何批量管理上百个微服务、上千条流水线?

云效 AppStack 平台针对微服务和云原生环境下的应用管理难题,提供了以应用为中心的资源、流水线和权限管理解决方案。

2024-04-11 15:53:14 679 1

原创 云原生最佳实践系列2:基于 MSE 云原生网关同城多活

通过使用阿里云的云原生微服务引擎 MSE,可以实现注册中心的同城容灾多活微服务应用。MSE 提供了云原生网关和注册中心,支持机房级故障的秒级自动转移、非对等部署下的全局流量负载均衡以及流量精细化管控。

2024-04-09 17:10:17 1081 1

原创 RocketMQ 流存储解析:面向流场景的关键特性与典型案例

流存储是流处理的基石,流存储也是 RocketMQ 从应用架构集成走向数据架构集成的基础,为大数据架构的数据组件提供异步解耦的能力。

2024-04-09 12:28:44 961

原创 全新架构!日志服务 SLS 自研免登录方案发布

很多用户在使用日志服务 SLS 时,采用 STS 这种免登的方式,能够快速将日志服务的页面集成到三方的系统中。STS 模式是非常经典且成熟的免登方案,它的优点非常多。

2024-04-08 10:51:47 940 1

原创 爆款游戏如何借助 RocketMQ Serverless,打造流畅体验并节省 98% 成本?

“使用云消息队列 RocketMQ 5.0 Serverless 版本后,运维效率得到了显著提升,并且系统表现出高度的稳定性,没有再出现 MQ 的瓶颈问题”。

2024-04-07 17:11:54 986 1

原创 一键开启 GPU 闲置模式,基于函数计算低成本部署 Google Gemma 模型服务

本文介绍如何使用函数计算 GPU 实例闲置模式低成本、快速的部署 Google Gemma 模型服务。

2024-04-07 15:52:22 1018

原创 一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源,并且带领大家在 ComfyUI 环境下使用 SVD的模型,根据任何图片生成一个小短视频。

2024-04-03 15:46:50 849 1

原创 一文看懂如何做好 SQL 质量监控

在 SLS 中,用户可以通过 SQL 对日志数据(结构化、半结构化、无结构化)进行查询和分析。随着用户对 SQL 使用程度的不断加深,越来越多的用户希望了解自己使用 SQL 分析时的服务反馈(如请求量、成功率、数据量等等),以便对数据和分析行为进行精细管理或优化治理。

2024-04-02 16:30:16 681 1

原创 使用 SPL 高效实现 Flink SLS Connector 下推

SLS 推出了 SPL 语言,可以高效的对日志数据的清洗,加工。对 SPL 及 SPL 在阿里云 Flink SLS Connector 中应用进行介绍及举例。

2024-04-01 17:04:51 839 3

原创 TorchAcc:基于 TorchXLA 的分布式训练框架

过去十年 AI 领域的显著进步,关键在于训练技术的革新和模型规模的快速攀升。尽管大模型展现了堪比人类的理解力,但其训练却对算力提出了极高的要求。唯有配备充足的计算资源,方能在海量数据上有效训练大模型,确保其在有限时间内实现优质收敛。

2024-04-01 14:55:02 812

原创 PolarDB-X最佳实践系列(五):使用通义千问和存储过程快速生成测试数据

我们在测试数据库性能的过程中,通常需要生成一批测试数据。以前,一般要写一段程序或者脚本来完成这项工作,但现在是2024年啦!时代变了!

2024-03-28 14:32:03 331 1

原创 从4小时到15分钟,一次分布式数据库的丝滑体验

渠道、商品、用户是整个识货最核心的板块,我们借助PolarDB分布式版集中分布式一体化的能力轻松完成了分布式演进。通过这次升级,数据加工平台的性能和整体支撑能力得到了显著提升。

2024-03-27 16:53:45 753 1

原创 PolarDB-X 的 XPlan 索引选择

对于数据库来说,正确的选择索引是基本的要求,选错索引轻则导致查询缓慢,重则导致数据库整体不可用。PolarDB-X存在多种不同的索引,局部索引、全局索引、列存索引、归档表索引。本文主要介绍一种CN上的局部索引算法:XPlan索引选择。

2024-03-27 15:11:01 870

原创 选300平米别墅还是90平米小平层?一文带你读懂PolarDB分布式版集分一体化

PolarDB-X 内核上具备了集中式分布式一体化的技术融合,支持集中式和分布式两种形态可以无缝切换,我们简称为“集分一体化”。

2024-03-26 15:30:03 991 1

原创 PolarDB-X 最佳实践:如何设计一张订单表

本文主要内容是如何使用全局索引与CO_HASH分区算法(CO_HASH),实现高效的多维度查询。

2024-03-26 10:58:11 942

原创 M2Doc:文档版面分析的可插拔多模态融合方法

M2Doc易于集成到各种目标检测器,实验证明它能显著提升DocLayNet和M6Doc数据集上的性能,特别是与DINO结合时,在多个数据集上达到SOTA结果。此外,研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。

2024-03-25 15:25:01 951 1

原创 叫好不叫座?Arm、英特尔、AMD 等 5 位技术大咖畅聊机密计算技术

机密计算作为一项新兴技术,为我们如何安全处理和计算敏感数据提供了新的视角和解决方案。

2024-03-25 14:48:20 1011

原创 SysOM 的可观测和智能监控实践

随着云原生的发展,给运维带来了什么挑战?

2024-03-22 15:57:57 987 1

原创 英特尔助力龙蜥加速 AI 应用及 LLM 性能

英特尔至强服务器平台加速大语言模型应用。

2024-03-22 15:11:00 651

原创 重新审视 CXL 时代下的分布式内存

随着摩尔定律增长的逐渐减缓,系统规模的水平扩展已经成为提升系统性能的关键策略。然而,这种扩展依赖于分布式系统架构的支持,而分布式编程的固有复杂性给构建高效、可靠及弹性的系统带来了严峻挑战。因此,简化分布式编程依旧是分布式编程框架追求的核心目标。

2024-03-21 14:48:01 741 1

原创 解锁深度表格学习(Deep Tabular Learning)的关键:算术特征交互

实验结果表明,AMFormer在合成数据集表现出显著更优的细粒度表格数据建模、训练样本效率和泛化能力,并在真实数据的对比上超过一众基准方法,成为深度表格学习新的SOTA(state-of-the-art)模型。

2024-03-20 16:47:34 741 1

原创 eBPF动手实践系列三:基于原生libbpf库的eBPF编程改进方案

为了简化 eBPF程序的开发流程,降低开发者在使用 libbpf 库时的入门难度,libbpf-bootstrap 框架应运而生。本文详细介绍基于原生libbpf库的eBPF编程改进方案。

2024-03-20 11:20:58 1037 1

原创 MuLTI:高效视频与语言理解

多模态理解模型具有广泛的应用,比如多标签分类、视频问答(videoQA)和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展,然而,他们仍然面临两个巨大的挑战:无法充分的利用现有的特征;训练时巨大的GPU内存消耗。我们提出了MuLTI,这是一种高度准确高效的视频和语言理解模型,可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。

2024-03-19 16:15:22 1038 1

原创 AI加速引擎 PAI-TorchAcc:OLMo训练加速最佳实践

阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下,PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X,在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。

2024-03-18 15:23:24 1058 1

原创 通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践

阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。

2024-03-18 10:55:55 1559

原创 AI加速引擎 PAI-TorchAcc:整体介绍与性能概述

PAI-TorchAcc是阿里云人工智能平台PAI开发的Pytorch上的大模型训练加速框架。PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。本文详细介绍PAI-TorchAcc的产品能力与性能。

2024-03-15 15:33:18 763 1

原创 阿里云PAI大模型RAG对话系统最佳实践

本文为大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。

2024-03-14 14:59:12 935 1

原创 PTS 3.0:开启智能化的压测瓶颈分析

性能测试 PTS 是阿里云上一款简单易用,具备强大的分布式压测能力的 SaaS 压测平台。PTS 可以模拟复杂的业务场景,并快速精准地调度不同规模的流量,同时提供压测过程中多维度的监控指标和日志记录。用户无需准备资源,即可按需发起压测任务,监控压测指标,获取压测报告,进而能够高效率、全方位地验证业务站点的性能、容量和稳定性。

2024-03-13 16:24:30 919 1

原创 弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙

本文介绍一种使用 SLS SPL 配置 SLS Connector 完成数据结构化的方案,覆盖日志清洗与格式规整场景。

2024-03-12 15:21:59 1488 4

原创 青团社:亿级灵活用工平台的云原生架构实践

青团社是国内领先的一站式灵活用工招聘服务企业,灵活用工行业的 Top1。青团社于 2013 年在杭州成立,业务已经覆盖全国,在行业深耕 10 年。我的分享将分为以下三部分:

2024-03-12 13:53:11 1116

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除