- 博客(457)
- 收藏
- 关注
RSS订阅转载 软硬件并行优化，第五代英特尔® 至强® 可扩展处理器助腾讯云向量数据库成为大模型时代数据中枢...
概述以大语言模型(Large Language Model，LLM)、人工通用智能(Artificial General Intelligence，AGI)以及生成式人工智能(Artificial Intelligence Generated Content，AIGC)为代表的新一代人工智能(Artificial Intelligence，AI)技术与应用正对数据提出更高的要求，而向量数据库能以全...
2024-04-10 12:00:23
24
转载 基于SPDK的Ublk和Vduse的用户空间块服务
今天给大家带来的是，在2023年中国KubeCon+云原生大会+开源峰会上，Liu, Xiaodong和Liu, Changpeng分享的《基于SPDK的Ublk和Vduse的用户空间块服务》。 Ublk和Vduse是新兴的Linux内核框架，允许用户空间驱动程序高效地向内核公开块设备。SPDK可以利用这些框架提供具有最小开销和高性能的存储服务，以便本地提供容器工作负载。 ...
2024-04-03 12:04:25
61
转载 网易游戏采用英特尔®VROC优化RAID系统，实现降本增效
今天给大家带来的是，英特尔近日发布的技术白皮书《网易游戏采用英特尔®VROC优化RAID系统，实现降本增效》。得益于英特尔®VROC 带来的更高的性能，以及PostgreSQL主从架构优化和硬件存储方案优化，网易游戏PostgreSQL数据库QPS性能提升了3倍左右。英特尔®VROC 方案减少了 RAID 控制卡相关的故障点，不仅提升了稳定性与可靠性，而且更加方便运维。英特尔®VROC...
2024-03-27 12:00:37
37
转载 IEEE HPCA 2024 ｜LiteIO：高性能、轻量级的存储池化架构
点击蓝字关注我们2024 年 3 月 2 日至 3 月 6 日，在英国爱丁堡举行了第 30 届 IEEE 高性能计算机体系结构国际研讨会 HPCA（30th IEEE International Symposium on High-Performance Computer Architecture），HPCA 是计算机体系结构领域的四大顶级会议之一，由阿里云服务器研发团队和蚂蚁数据基础设施与高可...
2024-03-22 17:00:42
54
转载 LiteIO 组件详解
点击蓝字关注我们之前的两篇文章主要介绍了 LiteIO 的特点和部署方式，相信读者对 LiteIO 已经初步了解。本文将重点介绍 LiteIO 的各个组件的具体功能和协作原理，并详细描述了卷在 LiteIO 系统中的生命周期。通过本文，读者将更全面地了解 LiteIO，并深入了解其组件功能和协作原理，以及卷在系统中的生命周期。开源项目地址：https://github.com/eosphoros...
2024-02-23 12:00:28
142
转载 蚂蚁集团去中心化的高性能存储服务 LiteIO 正式开源
点击蓝字关注我们在传统分布式存储盛行的时代，LiteIO 作为点对点块设备服务的代表作，在蚂蚁集团内部实践中，带来了极大的业务与技术收益。并在近期由阿里云软硬件结合研发团队与蚂蚁集团数据库技术团队联合撰写的论文《LightPool: A NVMe-oF-based High-performance and Lightweight Storage Pool Architecture for Clo...
2024-01-26 12:01:19
145
原创 基于SPDK-vhost的云原生KubeVirt虚拟化IO的优化方案(二)
摘要在上一篇文章《基于SPDK-vhost的云原生KubeVirt虚拟化IO的优化方案》中我们分享了在云原生KubeVirt场景中引入SPDK-vhost从而加速虚机中IO存储性能的方案，本文将在此方案基础上介绍对云原生虚机的热迁移（Live Migration）、热恢复（Live Recovery）特性的支持，并分享我们基于Intel开源的Workload Service Framework[1...
2024-01-17 12:00:37
1042
原创 SPDK As IPU Firmware - Part 2 & 3
欢迎来到我们关于SPDK作为IPU固件系列文章的第二篇。上一篇文章为在IPU上使用SPDK奠定了基础。现在我们将专注于以更有效的方式启用内联的块层加密。如果您对此不熟悉，请花点时间回顾一下上一篇文章中的示例场景。我们将从那里开始。消除数据拷贝现在我们已经有了基本的流程，我们进行一个简单的观察。DMA引擎执行加密和复制操作，并且它知晓有两个内存域。那么，我们能不能要求DMA引擎将加密作为从主机复制操...
2024-01-10 12:00:51
903
原创 SPDK As IPU Firmware - Part 1
欢迎来到“SPDK 作为 IPU 固件”这个新系列的第一篇文章。对于不熟悉术语Infrastructure Processing Unit (IPU, 基础设施处理器)的同学，IPU是PCIe形态的卡，连接到主机系统后可以卸载主机的“基础设施”工作。它通常是面向云服务商或者超融合服务提供商的。对于熟悉SPDK的开发人员来理解，这些卡通常具有一些能够向主机系统呈现看似物理NVMe或virtio-bl...
2024-01-03 12:00:22
903
转载 DPDK赋能EtherCAT助力vPLC工业应用
今天给大家带来英特尔系统软件工程师崔娜在2023英特尔网络技术研讨会上的分享：《DPDK赋能EtherCAT助力vPLC工业应用》。随着云和虚拟化技术在制造业的出现，使得大量单个PLC可以作为虚拟PLC（vPLC）在边缘/云服务器上以容器存在运行，从而提高工厂操作和计算效率。作为世界上最主流的工业现场总线之一，EtherCAT将vPLC与工厂中的伺服或者I / O设备连接起来。而基于DPDK的Et...
2023-12-27 12:01:22
98
原创 从C10K到C1000M：HDSLB商业版23.04性能数据公布
在英特尔近日发布的技术白皮书《High Density Scalable Load Balancer - A VPP-Based Layer 4 Load Balancer》中，披露了高密度可拓展负载均衡器（High Density Scalable Load Balancer, HDSLB）23.04版本的性能数据，亮点如下：单节点十亿（1000M）并发连接，整体内存开销 < 190GB...
2023-12-20 12:02:28
105
转载 DPDK Release 23.11
新的功能增加了C11的构建要求从DPDK23.11开始，构建DPDK将需要一个支持C11标准的C编译器，包括支持C11标准atomics。更具体地说，要求如下：支持flag -std=c11（或者类似的）使用C11 flag时，未定义__STDC_NO_ATOMICS__请注意：包含标准atomics的C11，从GCC版本5开始支持，并作为当前release的默认语言版本（参考：https://g...
2023-12-13 12:02:58
364
1
原创 基于DPDK的实时低延时网络传输
今天给大家带来英特尔高级软件工程师虞平在2023英特尔网络技术研讨会上的分享：《基于DPDK的实时低延时网络传输》。在网络基础设施中，除了吞吐量加速之外，越来越多的关注点被放在了低延迟网络技术上。低延迟网络对于需要近乎实时通信的应用程序尤其重要，例如工业自动化、媒体传输、金融交易和远程医疗等。本次分享将介绍在DPDK中实现的三项重要优化，以实现低延迟网络优化。其中一项是PTP优化，这是低延迟的一项...
2023-12-06 12:00:37
132
转载 Hyperscan在SPR上的新魔力和路标
今天给大家带来英特尔高级软件工程师昌昊在2023英特尔网络技术研讨会上的分享：《Hyperscan在SPR上的新魔力和路标》。Hyperscan拥有在Intel平台上业界最快的正则表达式和字符串规则匹配算法，被广泛采用及部署于大量商业解决方案。在最近的几个发布版本中，Hyperscan针对Intel最新的SPR平台，为正则表达式和字符串规则的快速匹配注入了许多新的魔力，本次分享将介绍这些新功能以及...
2023-11-29 12:00:30
89
转载 安全有型 - AI如何助力云安全
今天给大家带来英特尔高级软件工程师邱堃在2023英特尔网络技术研讨会上的分享：《安全有型 - AI如何助力云安全》。本次分享主要介绍基于Intel AI技术的流分析开发包TADK, 这个工具可以帮助用户创建自己的流分析用例，同时也会介绍它在网络安全领域的应用，比如加密流的分析和恶意软件检测。下面给大家展示此次分享的具体内容：转载须知DPDK与SPDK开源社区公众号文章转载声明推荐阅读Intel零信...
2023-11-22 12:02:59
65
原创 Intel零信任网络访问参考架构
今天给大家带来英特尔高级软件工程师黄菊在2023英特尔网络技术研讨会上的分享：《Intel零信任网络访问参考架构》。传统的防火墙、入侵检测系统都是基于物理边界的，默认墙内安全，墙外不安全，这种安全模型存在天然的缺陷，已经不再适用于当今复杂的网络场景。而“零信任”脱离了这种传统的安全模型，不再区别对待墙内墙外，所有接入的设备、人或系统都要经过认证/授权，先鉴权，后连接再访问。采用零信任方案可以统一身...
2023-11-15 12:01:11
72
原创 利用英特尔数据流加速器（DSA）加速 DPDK Vhost虚拟接口
今天给大家带来英特尔软件工程师胡嘉瑜，姜诚在2023英特尔网络技术研讨会上的分享：《利用英特尔数据流加速器（DSA）加速 DPDK Vhost虚拟接口》。Vhost/Virtio 接口广泛用于主机，用于向虚拟机 （VM） 发送和接收数据包。尽管 DPDK Vhost 接口已通过各种技术（例如，循环展开和内联功能）进行了很好的优化，但当数据包大小较大时，很大一部分核心周期都花在数据包复制上，从而导...
2023-11-08 12:03:21
164
原创 基于VPP的TCP/UDP协议栈加速方案
今天给大家带来英特尔高级软件工程师刘勇在2023英特尔网络技术研讨会上的分享：《基于VPP的TCP/UDP协议栈加速方案》。随着互联网流量的持续快速增长，作为网络的基本底层组件，TCP/UDP协议栈成为加速网络性能的重点方向。保持和提高带宽增加的性能促使业界探索多种网络堆栈加速解决方案，从内核优化到用户空间堆栈部署。作为传输层，TCP/UDP是应用层和网络层之间的中间层（L4）。出于安全和软件层设...
2023-11-01 12:02:28
211
原创 基于Intel平台的网络应用节能方案
今天给大家带来英特尔网络平台事业部高级工程师马建伟在2023英特尔网络技术研讨会上的分享：《基于Intel平台的网络应用节能方案》。随着5G网络建设步伐的加快，且赋能了多个垂直行业，我们需要通过一些创新方案来提高能耗比，进而实现5G网络的节能减排。基于IA 平台的遥测技术和CPU动态电源管理特性，构建绿色可持续的IPM节能方案，基于运营商/数据中心现网流量的“潮汐效应”忙时闲时负载差别较大。通过对...
2023-10-25 12:01:03
49
原创 Google 云平台上基于 Intel 硬件 C3 实例的高性能 GVE PMD
今天给大家带来英特尔软件工程师郭俊峰和林雪琴在2023英特尔网络技术研讨会上的分享：《Google 云平台上基于 Intel 硬件 C3 实例的高性能 GVE PMD》。GVE (gVNIC) 是谷歌云平台 (GCP) 上的标准虚拟网卡，是全球领先的 CSP 客户所提供的多种虚拟网卡之一。GVE PMD 目前已在 DPDK 社区中正式发布，用以帮助和解决云平台实例消费者将现有基于DPDK的VNF迁...
2023-10-18 12:03:00
89
转载 利用P4可编程网络控制器赋能DPDK实现高速数据包过滤
今天给大家带来英特尔高级软件工程师张祺在2023英特尔网络技术研讨会上的分享：《利用P4可编程网络控制器赋能DPDK实现高速数据包过滤》。随着越来越多的网络控制器开始支持P4可编程，本次分享将介绍如何使用DPDK将数据包过滤任务卸载到P4可编程网络控制器。首先介绍P4可编程网络控制器的优势，并探讨在DPDK上实现数据包过滤任务卸载时所面临的挑战。随后提供一个基于rte_flow的参考设计，并提出一...
2023-10-11 12:00:40
130
转载 基于E810网卡的VF热迁移--依托第四代Xeon可扩展处理器的加速案例
今天给大家带来英特尔软件工程师曹亚辉，高级软件工程师孙毅在2023英特尔网络技术研讨会上的分享：《基于E810网卡的VF热迁移--依托第四代Xeon可扩展处理器的加速案例》。热迁移在云服务商以及电信服务商中得到了广泛应用，尤其在基础设施维护，软件升级等方面发挥了重要作用。传统的迁移主要基于半虚拟化方案，其特点是迁移方便但是牺牲了性能。Intel E810网卡对VF透传设备的热迁移支持，使高性能数据...
2023-10-04 12:03:13
95
原创 Intel AVX-512 - Ultra Parallelized Multi-hash Computation
1 介绍基于Sketch的算法是新兴技术，广泛应用于网络测量和网络遥测工作负载中，生成网络流的近似估计。它用于防止分布式拒绝服务（DDoS）攻击，监视网络使用情况以及各种服务质量（QoS）目的。与哈希表或其他无损算法相比，基于Sketch的算法采用紧凑且优化的数据结构设计，以实现更高的内存效率和计算吞吐量。其核心数据结构，即Sketch，由一个二维数组组成。数组的每一行对应于由独立计算的哈希函数...
2023-09-27 12:00:53
147
转载 DPDK性能/效率核心探讨
今天给大家带来英特尔高级软件工程师陆文卓在2023英特尔网络技术研讨会上的分享：《DPDK性能/效率核心探讨》，展示了 DPDK 在 P 核和 E 核上的不同单核性能。当用户部署自己的应用程序时，可以作为一个很好的参考。下面给大家展示此次分享的具体内容：转载须知DPDK与SPDK开源社区公众号文章转载声明推荐阅读Intel Gen4 Xeon助力IETF QUIC四层负载均衡器HDSLB加速从云到...
2023-09-20 12:00:46
93
原创 Intel Gen4 Xeon助力IETF QUIC
经过多年的迭代和发展，IETF QUIC成为了目前最热门的传输层解决方案之一。它拥有类似于TLS-1.3的安全性能，也提供了更多部署灵活性以及更低的延迟。然而针对海量短链接的场景，握手阶段的公钥运算仍然是服务器侧最为明显的开销，这也成为线上部署QUIC业务时的一个重要的挑战。英特尔QAT与BoringSSL加密库组合提供了加速解决方案，可以通过异步方式完成握手过程，并将繁重的密码学运算卸载到加速器...
2023-09-13 12:02:38
47
原创 四层负载均衡器HDSLB加速从云到边缘
今天给大家带来英特尔软件工程师祝涛，蔡后祥在2023英特尔网络技术研讨会上的分享：《四层负载均衡器HDSLB加速从云到边缘》。HDSLB(VPP)高密度可扩展负载均衡器是一款基于IPL License的四层负载均衡器软件产品，旨在构建一个业界性能领先的负载均衡器，单节点达到150Mpps级别的吞吐量、十亿并发连接、10M级别的新建连接能力和优秀的线性多核扩展能力。该产品基于VPP实现，支持丰富的负...
2023-09-06 12:03:35
250
原创 使用IPU为云原生应用提供存储卷的方案概述
近年来随着云计算技术的快速发展，基于云原生的业务和应用也如雨后春笋般迅速生长。IPU (Infrastructure Processing Unit，也叫DPU --- Data Processing Unit)的出现，使得很多存储、网络、加密、压缩等处理的逻辑可以被卸载到硬件上执行，这一方面节省出更多的主机资源给上层应用以支持更多的用户，同时也能更好的实现存算分离，为云业务提供更好的安全性。因而...
2023-08-30 12:00:33
166
原创 英特尔DLB助力高精度、可扩展和高性能的网络限速服务
网络限速器应用广泛，在云基础设施中用于保证服务质量，随着网络带宽的增加和云基础设施规模的扩大，限速器在高吞吐量环境中面临着性能和可扩展性的挑战。今天给大家带来英特尔软件工程师闭云峰在2023英特尔网络技术研讨会上的分享：《英特尔DLB助力高精度、可扩展和高性能的网络限速服务》。介绍现有网络限速方案存在的不足之处，包括常用限速器在用于服务高性能网络的多核环境下产生的性能问题，和优化后的限速器引入的精...
2023-08-23 12:00:19
129
原创 SPDK ublk target
前言在kernel 6.0的内核版本中，引入了ublk driver(Userspace Block Device Driver)[1]，以io_uring的方式实现，旨在提供用户空间块设备逻辑。SPDK也基于此，提供了ublk target用来对接ublk driver实现高效的bdev块设备服务。本文将对此进行介绍并提供相应的使用说明。io_uring 机制在介绍 ublk模块之前，先简单回顾...
2023-08-16 12:00:06
333
转载 使用Intel DLB技术加速IPsec大象流的处理性能
随着企业园区之间以及数据中心间接入带宽的提高，单条IPsec隧道的流量越来越大，这对传统的单流单核的报文处理模式，在性能上构成了巨大的挑战。利用动态负载均衡器中不同类型的硬件队列，可以实现更为简洁灵活和强大的网络大象流处理方案。今天给大家带来英特尔高级平台应用工程师王栋在2023英特尔网络技术研讨会上的分享：《使用Intel DLB技术加速IPsec大象流的处理性能》。以DPDK中的ipsec_s...
2023-08-09 12:00:26
289
转载 助力边缘计算与5G应用“扬帆”--- 英特尔处理器产品网络特性介绍
5月26日-27日，Intel举办了2023英特尔网络技术研讨会。今天给大家带来英特尔应用工程经理杨涛在研讨会上的分享：《助力边缘计算与5G应用“扬帆”--- 英特尔处理器产品网络特性介绍》。分享内容重点介绍了英特尔第四代至强可扩展处理器和英特尔第三代至强D处理器，及其内置的动态负载均衡器（DLB), 数据流加速器（DSA）,数据保护与压缩加速技术（QAT）, 5G基带加速器(vRAN boost...
2023-08-03 12:00:30
110
原创 基于SPDK-vhost的云原生Kubevirt虚拟化存储IO的优化方案
摘要本文主要介绍针对云原生kubernetes虚拟化IO的应用场景，在Kubevirt中引入SPDK-vhost的支持，来加速虚机中IO存储性能。同时基于Intel开源的WorkloadService Framework[1]平台集成部署一套端到端虚拟化IO的应用场景做基本的性能对比测试。云原生Kubevirt虚拟化在云原生时代，越来越多的业务开始逐步迁移到容器上来，容器也成为了一种不可或缺的资...
2023-07-20 14:22:11
733
1
原创 从IPU向主机提供的virtio-blk服务看vDPA和LM的实现
Intel目前可以分别提供基于FPGA 和基于ASIC的IPU(Infrastructure Processing Units)解决方案，相应的IPU可以对主机host提供NVMe和virtio-blk两类存储特性的PF(Physical Function)/VF(Virtual Function)。此处将结合IPU向主机导出的virtio-blk的PF/VF使用来进一步剖析vDPA和LM的实现。...
2023-07-12 12:01:49
390
原创 应用Intel Scalable IOV缩短云原生网络功能在透传设备上的启动时间
01简介网络功能虚拟化（NFV）是一种将传统上在专有硬件上运行的网络服务虚拟化的方式。这些服务通常被打包为部署在标准服务器上的虚拟机（VM），称为虚拟化网络功能（VNF）。由于性能是VNF的关键要求，因此往往使用设备直通的方式将整个网络设备专门分配给在虚拟机内运行的客户操作系统，以实现接近原生设备的性能和隔离的安全性。在云原生时代，微服务和容器在生产环境中得到了广泛的应用。在容器中，只有操作系统被...
2023-07-05 12:02:46
356
原创 SPDK和容器相结合的应用场景分享
容器技术通过打包运行环境和依赖到可移植的镜像中实现轻量级的资源隔离，真正做到了一次编译，随处运行，且各个实例的初始状态均一致。这种快捷部署、扩展和一致性的特性，让容器技术在近些年来广泛流行，衍生出了多种相关的技术类型并吸引了各大应用向容器环境迁移。本文将以docker容器为例，介绍SPDK与容器相结合的3个主要应用场景：（1）“在容器中实现高性能的用户态存储应用”；（2）“为容器提供高性能的外部存...
2023-06-28 12:00:43
427
原创 DPDK上的P4应用实例
随着P4编程语言的日益普及，由于其灵活的可编程性，使其在软件定义网络中占据一席之地。本文主要简介如何用P4写一个简单的vxlan转发并在DPDK上运行，涉及到P4 代码的基本模板，DPDK backend的P4编译方法以及DPDK pipeline example用例三个部分。一、如何编写一个P4 pipelineP4是由斯坦福大学的Nick Mckeown教授提出， 最新的规范为2016年发布的...
2023-06-21 12:01:08
460
1
原创 利用DPU/IPU 卸载容器镜像以及文件系统的相关操作
1、背景和动机随着云原生(Cloud Native)被工业界广泛接受，容器(container)在数据中心被广泛部署，其地位正在逐步取代传统的虚拟机(Virtual Machine)。当然目前依然存在用轻量虚拟机来运行和部署容器，比如使用Kata Containers。简单来讲， 容器化是将程序的代码以及相关的软件库(包括对操作系统依赖库等)打包在一起， 创建可在任意基础架构上一直运行的轻量级执行...
2023-06-14 12:01:01
575
原创 HDSLB VPP 23.04 is formally released
1摘要近年来随着数字化技术的发展，数据中心以及边缘设备的网络带宽需求越来越高。作为部署在服务入口位置的4层负载均衡器，其性能要求也随之水涨船高。为了应对当前的市场需求，充分利用Intel的软硬件技术和优势，针对4层负载均衡器场景，设计了HDSLB（High Density Scalable Load Balancer），即高密度可扩展负载均衡器。P1:HDSLB市场Marketing Addre...
2023-06-07 12:03:03
766
原创 Intel® 以太网800 系列网络适配器 – DPDK上的性能演进
1. 介绍Intel®以太网800系列网络适配器提供卓越的性能，以满足各种工作负载的要求。800系列提供了数据包分类和排序优化、硬件增强的定时能力以及完全可编程的流水线。Intel的以太网产品组合始终提供可靠的体验和经过验证的互操作性。在DPDK中，ICE轮询模式驱动程序（PMD）管理着800系列适配器，包括了10Gb/25Gb/50Gb/100Gb Intel以太网网络适配器E810。ICE P...
2023-05-31 12:02:11
393
转载 议程发布！2023英特尔网络技术研讨会线上直播参会攻略来袭
5月25日-5月26日，英特尔将举行2023 Intel Network Technical Summit，活动采用线上直播形式，来自英特尔的技术专家将为您带来一场技术盛宴。这次大会将介绍Intel最新的网络平台和技术，从最新的第四代至强®可扩展处理器、至强®D处理器、到第13代酷睿™处理器。结合软硬件优化技术，分享Intel的先进技术（DSA, DLB,QAT,SGX/TDX）在电信，云计算和...
2023-05-24 11:58:04
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人