通信人家园

标题: 一文读懂以数据为中心的新型计算架构：DPU技术 [查看完整版帖子] [打印本页]

时间: 2024-8-29 13:23

作者: chzh4719 标题: 一文读懂以数据为中心的新型计算架构：DPU技术

班有容、王锦涛等中移智库

上篇

产业数字化转型带动了数字经济飞速发展，算力正在逐步成为新时代的核心生产力，算力发展同步带动了网络变革，为了达到极致的数据处理效率，出现了多种以数据为中心的新型计算架构，DPU作为新型计算架构代表，已经成为业内主流发展方向。DPU作为算力网络创新技术之一，统筹虚拟化、数据安全、运维管理等领域，是构建高性能、高可靠云化平台的关键技术，也被行业称为继CPU、GPU之后的第三颗数据中心核心处理器。本文将从概念背景、产业现状、核心挑战、关键技术等方面阐述中国移动通过标准化推动DPU技术发展与生态成熟的理念。

DPU概念及背景简介

业界对DPU概念存在多种解读，如数据处理器（Data Processing Unit）、数据中心处理器（Datacenter Processing Unit）以及以数据为中心处理器（Data-centric Processing Unit）。无论以何种维度解读，DPU从本质上来看，均是一种围绕数据处理提供网络、存储、安全、管理等数据中心基础设施虚拟化服务的专用处理器，是由ARM/X86等架构的CPU与ASIC（Application Specific Integrated Circuit）/ FPGA（Field Programmable Gate Array）等专用硬件加速引擎形成的提供虚拟化功能的实体。

DPU的出现源于业务发展为云计算领域带来的诸多难题，如：

资源争抢限制：同一计算节点上的云主机实例与虚拟化软件共享计算资源，随着资源需求的提高，资源争抢容易造成服务质量不稳定，尤其在大负载、大流量时I/O性能容易出现严重抖动，无法保障稳定的SLA体验。

计算特性损失：云计算技术的核心是Intel VT等硬件辅助虚拟化技术和KVM等主流虚拟化系统软件，通过这些技术为用户提供类似物理服务器资源的虚拟机。但是，一方面，虚拟机相比物理机存在一定的性能损失；另一方面，由于客户无法在虚拟机中再次部署虚拟化系统，导致私有云无法更好地利用公有云弹性云主机资源，限制了云主机的使用场景。

裸金属管理问题：裸金属可以解决虚拟化带来的计算特性损失问题，但是裸金属CPU资源需要全部提供给用户，因此无法在主机CPU上运行云平台管理组件，需要通过带外管理流程完成裸金属实例的部署、交付和运维，整个流程与虚拟化场景差异较大，不符合云计算弹性、灵活的原则。此外，裸金属实例在对接远端分布式存储时由于存储客户端需要运行在属于用户的CPU上，存储网络暴露存在安全风险。

随着人工智能业务的普及，越来越多的云上AI计算任务对网络和存储I/O的时延性能提出了更极致的需求，RDMA（Remote Direct Memory Access）和NVMe（NVM Express）等高性能网络和存储协议在传统网卡架构下难以满足云计算多租户的灵活需求场景。

图1 DPU在云计算场景实现全卸载

在这种背景下，为解决后摩尔时代I/O性能瓶颈和虚拟化技术发展限制等诸多问题，DPU应运而生。作为主机的数据出入口，DPU在具备标准网卡能力的同时，利用专用硬件完成网络和存储I/O，释放主机CPU算力资源的同时提升I/O性能。业务（主机CPU）与虚拟化软件（DPU）的硬件载体分离，业务与云平台的隔离性以及主机的安全性进一步提高。运行在DPU中的管理软件可提供裸金属的云化管理能力，提升裸机业务灵活性，降低运维难度。相比于传统网卡，DPU在单部件成本上有所增加，但是DPU的引入解放了更高成本的主机CPU算力，释放了更多可售卖资源，因此DPU引发的架构变革一定程度上提升了整个数据中心资源池的能效成本比和公有云厂商的收益成本比。在这一机遇下，产业的爆发成为必然。

DPU产业现状

DPU最早由Fungible提出，随着Mellanox被NVIDIA收购，BlueField系列产品的推出使得DPU的影响进一步增强，引发国内外众多厂商密切关注。我们按产业模式可将业内DPU分为定制DPU和通用DPU两大类：

定制DPU

对于云厂商来讲，为用户提供性能强、效率高、稳定可靠的平台和产品是第一需求。在过去较长一段时间里云计算的技术发展很大程度上依赖于虚拟化技术，在传统通用服务器硬件架构下的虚拟化技术演进已经逐渐到达瓶颈，在计算资源利用率提升、安全隔离性保障和统一云化基础设施等方面的需求满足上已显得捉襟见肘，因此阿里云、AWS等头部云厂商不约而同地选择了定制DPU的方式解决以上问题。

1）阿里云 CIPU：

2017年，阿里云推出了自研第一代神龙服务器，搭载自研MoC（Microserver on Chip）卡，MoC卡能力伴随神龙架构的演进也在迭代更新：

神龙1.0：解决上云后如何支持裸机服务的问题，将云化组件尤其是裸金属的管理模块卸载到MoC卡，提供裸金属的弹性交付和运维；

神龙2.0：神龙芯片能力进一步增强，通过构建轻量级Hypervisor实现计算虚拟化的卸载，支持虚拟机服务；

神龙3.0：存储、网络等数据面路径全面通过DPU芯片硬件优化，性能大幅提升，可以提供接近裸机的低延时网络；

神龙4.0：融入弹性RDMA能力，让RDMA从HPC类应用，走向支持通用类计算场景。

以MoC卡作为雏形，2022年6月阿里云发布云数据中心专用处理器CIPU，宣称将成为云时代IDC的处理核心。CIPU向下接入物理的计算、存储、网络资源，快速云化并进行硬件加速；向上接入飞天云操作系统，管控阿里云全球上百万台服务器。以“飞天+CIPU”支撑阿里云实现了软硬件融合的云计算技术体系。

2）AWS Nitro:

2013年，AWS启动了一项革命性的研发项目Nitro，该项目通过软硬件的创新，给使用AWS云服务的全球用户带来更丰富的计算选项和性价比。目前，Amazon EC2（Elastic Compute Cloud，弹性计算云服务器）已经全部基于最新的Nitro系统构建，实现了Nitro系统在整个EC2产品组合中的普及。Nitro系统包括定制化硬件Nitro卡和Nitro软件，Nitro系统将管理、存储和网络处理工作卸载到专用卡上，配合轻量化虚拟机管理程序Nitro Hypervisor，构建一套性能高且灵活性强的软硬一体化云平台架构，大幅降低了单位CPU资源成本。

通用DPU

除了云厂商以外，NVIDIA和Intel等传统硬件厂商，相继推出了DPU和IPU（基础设施处理单元，Infrastructure Processor Unit）等产品，并配合DOCA(Data Center Infrastructure On a Chip Architecture)和IPDK(Infrastructure Programmers Development Kit)这类配套的协同软件开发套件，重塑数据中心软硬件架构形态。

1）NVIDIA DPU

NVIDIA于2022年4月发布了第三代BlueField，并具备持续演进能力，演进路线以集成AI算力、增强ARM能力以及升级网络速度带宽为主。BlueField架构本质上将网卡子系统与可编程数据路径、用于加密、压缩等的硬件加速器子系统以及用于控制的ARM处理器子系统融合在一起。BlueField-3 DPU继承了BlueField-2 DPU的先进特性，并对其进行了性能加强与功能扩展，在网络业务中专门对RDMA、连接跟踪、ASAP2（Accelerated Switch and Packet Processing）等网络通信技术做了进一步加强，特别是对时间精度，可在数据中心和边缘之间进行及时的时钟同步；在存储业务中支持块存储、文件存储、对象存储或者NVMe存储的仿真，同时支持数据落盘时的加解密操作。此外，NVIDIA推出了DOCA软件开发包，为开发者提供一个完整、开放的软件平台，支持开发者在BlueField DPU上开发网络、存储、安全和管理等虚拟化应用。

2）Intel IPU

在2021年英特尔架构日上，英特尔展示了其首款专用ASIC IPU Mount Evans和基于FPGA的IPU参考平台Oak Springs Canyon。Mount Evans融合了英特尔多代FPGA SmartNIC的研发经验，提供高性能网络和存储虚拟化卸载以及可编程数据包处理引擎，支持防火墙和虚拟路由等功能。同时延续了英特尔高性能Quick Assist技术以及高级加密、压缩加速等技术。Intel IPU配套的基础架构开发套件IPDK提供了统一开放API来支持业务应用开发和基础设施管理。值得一提的是，Intel提出，IPDK是一个开源的、与厂商无关的驱动程序和API框架，可管理由CPU、IPU、DPU或交换机构建的基础设施。

3）国产DPU

2021年起，DPU蓝海市场吸引了国内诸多初创公司，纷纷推出通用DPU产品，DPU产业呈现出百花齐放的状态。国内初创公司初期产品多采用可编程性较高的FPGA架构，以应对云平台软件的多变需求。但随着厂商逐步摸清业务需求、产品技术架构逐渐稳定，国内初创公司自主设计的ASIC架构DPU产品自2023年底逐步面世。

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:22, 1.3 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDA1fDhmNWMyY2E3fDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:22, 1.16 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDA2fGEwN2RhZGMyfDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:22, 75.2 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDA3fDdmNTUzYzk2fDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:22, 1.33 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDA4fGM3M2VkMWM5fDE3MzQ5Mjc0MDR8MHww

时间: 2024-8-29 13:25

作者: chzh4719

下篇

DPU面临的挑战

与CPU和GPU这种先有硬件再有软件生态的发展背景不同，DPU承载的虚拟化软件已经较为成熟，DPU硬件在此基础之上实现功能和性能的提升，因此对于业界云厂商以及DPU厂商来说，DPU能否规模部署取决于DPU配套软件是否“能用”且“好用”。同时，由于DPU硬件的特殊设计导致卡与服务器存在更多的适配对接需求，因此DPU产业发展与软硬件市场的配合度存在强关联。拉通软硬件形成完整解决方案成为DPU发展与落地的关键。而标准化程度正是提升DPU技术易用性的核心，也成为了DPU规模商用面临的关键挑战。

纵观处理器芯片几十年的发展历程，定制产品总是逐渐走向硬件形态的标准化和软件生态的通用化，最终形成专用与通用并存的格局。基于自身虚拟化需求定制软硬耦合DPU产品固然能够最大化发挥DPU产品优势，但是随着更多的数据中心提出DPU需求，这种方式的技术门槛和引入成本过高，难以复制。而通用DPU产品由于各自发展软件栈生态，也导致软件与DPU适配对接的成本较高。同时，DPU与服务器整机的生态也不可忽视。从物理关系上看，DPU是挂载在服务器主CPU下的PCIe子设备，但从顶层云管逻辑来看，DPU是服务器的管理员，是提供数据加速、存储加速、安全管控及云管的云底座。因此，不同于传统网卡这类标准PCIe设备，主从关系的倒换使得DPU对传统服务器硬件设计提出了特殊要求。

为了解决DPU部件与服务器整机的适配问题，国内外头部互联网云厂商采用了硬件全定制策略，即网卡部件与服务器整机均由大云厂商内部研发团队制定完整的产品方案，并联合具备硬件产品设计能力的厂商进行产品研发及制造。对于其他行业终端客户，随着各家业务云化不断深入，裸金属场景需求逐步显现。同时国内外涌现多家DPU厂商，厂商希望网卡产品能够尽量多的适配主流厂商的通用服务器，另一方面，面对市场的不确定性，服务器厂商也有适配多家卡的需求。因此，面对即将爆发的生态及快速变化的云市场，硬件产品长迭代周期迫使硬件设计需具备超前性，推动DPU与通用服务器整机在硬件层面的标准化，完善新技术生态成为必然。

市场需求决定了DPU的软硬件设计，而软硬件的开发、适配需要高昂的人力、财力成本投入，当前专用化的DPU路径不利于生态的发展，在百花齐放的行业现状下更需要考虑通用性和标准化，拉通需求方、虚拟化软件厂商、DPU厂商与服务器厂商，形成端到端的闭环生态体系。

DPU标准化技术体系

针对DPU规模商用面临的标准化挑战，以下章节将基于中国移动提出的“1+5+4”DPU软硬件标准化技术体系介绍中国移动在推动DPU技术发展与生态成熟方面的探索。

基于DPU的算力基础设施架构

基于DPU的算力基础设施架构由服务器硬件层、DPU软硬融合层、平台应用层三层组成，包含管理、网络、存储、计算、安全五大系统，可支持弹性裸金属、无损网络、高性能存储等功能，实现虚机、容器、裸金属的统一承载和管理。基于DPU的算力基础设施按需对网络、存储系统进行卸载加速，可以更高性价比实现性能提升。

图2 基于DPU的算力基础设施架构

DPU软件五大系统标准化

结合典型DPU应用场景需求、DPU软件部署方式、开源社区方案成熟情况，将DPU软件标准化架构分为管理、网络、存储、计算和安全五大系统。

图3 DPU软件系统标准化

1）管理系统：管理系统主要负责裸金属、虚拟机、容器实例的生命周期的管理，并完成网络和云盘的配置操作。引入DPU后，计算节点上的管理系统软件（OpenStack等）安装位置从主机侧CPU调整到DPU侧CPU上。DPU需支持管理系统软件的编译、安装，可以通过DPU OS和Host OS互通或者融合的方式，实现传统云平台管理软件在DPU上的无缝迁移部署和无感卸载，降低适配开发成本。

2）网络系统：业务的发展对虚拟化网络的带宽和时延要求不断提高，通过硬件卸载虚拟化网络成为主流。虚拟化网络硬件卸载主要包含两大部分：虚拟交换机（vSwitch）和虚拟网络接口。虚拟交换机是云计算环境中Overlay网络的重要组成部分，将该部分卸载到DPU上，可以大幅释放网络转发处理占用的宿主机CPU开销，同时利用DPU专用加速引擎提升转发效率。随着虚拟交换机下沉到DPU处理，标准虚拟网络接口virtio也要从CPU下沉到DPU硬件实现，实现更高的网络转发性能。为了满足HPC/AI、高速存储介质等需求场景下的网络高性能转发，DPU需要支持低时延RDMA技术，使用内核旁路和零拷贝技术，使能网卡和应用之间的直接数据读写，消除传统TCP/IP协议栈的上下文切换和数据拷贝开销，提供端到端微秒级、以及低CPU开销的低时延网络通信。

3）存储系统：与虚拟化网络卸载原理类似，通过存储卸载可以提供灵活、高性能的弹性存储设备，存储系统卸载主要包括存储接口卸载和存储网络协议栈加速。存储接口包含NVMe和virtio-blk两种主流实现方式，在DPU上提供设备接口给云主机，云主机中加载标准virtio-blk或NVMe驱动实现块存储的读写，无需厂商专用驱动。同时，在DPU上完成iSCSI、NVMe-oF等存储协议栈的卸载和终结，为上层云主机实例提供云盘挂载、云盘启动能力。

4）计算系统：计算系统主要是指虚拟化场景下KVM-QEMU架构的Hypervisor系统。传统Hypervisor需要预留10%～20%的CPU计算资源，通过将Hypervisor分成前后端架构，前端运行在主机侧，但只保留一些必要的内存标脏功能以及逻辑CPU的上下文同步等功能，后端卸载到DPU，可实现Hypervisor预留计算资源降低到接近“零”，并且可以减少VM-Exit带来的VM抖动对业务性能的影响。Hypervisor前后端对接应标准化，同时需要对操作系统内核进行深度剪裁和修改，业界尚无参考模型，需要共同探索。

5）安全系统：主流虚拟化技术（KVM、XEN、VMware）中虚拟化漏洞广泛存在，Hypervisor作为虚拟机的运行底座一旦存在漏洞将危及运行其上的所有虚拟机，甚至影响宿主机的安全。基于安全需求，各云厂商在宿主机上部署安全功能产品，而安全功能串行在网络转发中，产品的转发性能对整体网络的吞吐量和时延有较大影响。伴随网络、存储卸载，将安全功能从主机上剥离，卸载到DPU上是必然趋势。安全系统的卸载可以实现虚拟化的安全隔离和网络数据加解密卸载。

DPU硬件四个统一标准化

当前DPU内除专用硬件加速引擎外还会包含轻量级处理器芯片（或集成在其他芯片内的处理器内核）及带外管理芯片，该部件可看作在服务器整机内部的另一个小型服务器。在硬件标准化设计时，应遵循最小影响原则做通用增强，梳理绝对必要项，约束服务器整机为DPU提供的最大能力。

图4 DPU硬件标准化方向

针对DPU引入，建议以“四个统一”为方向推进服务器硬件标准化：

1）统一服务器结构及供电最大能力：约束服务器可支持卡的最大规格，避免异形卡及特殊机构件，减少机构适配工作量，减小应力可靠性风险。在槽位供电及辅助供电方面，约束服务器可支持卡在服务器未开机状态状态启动，满足裸金属场景云底座管理诉求，同时高度关注DPU因业务需要不断增长的最大功耗，谨慎讨论并确定功耗门限。

2）统一散热能力：约束服务器支持未开机状态对DPU卡进行散热及调速。

3）统一硬件边带信号定义及带外管理功能边界：对于PCIe标准形态的DPU卡，在PCIe标准连接器定义基础上，约束服务器能够提供给DPU的辅助边带信号，落实信号类型、信号方向、电平、连接器选型、Pin定义等细节，逐步引导行业做归一化设计。同时逐步收敛带外管理设备的交互框架，定义DPU BMC（或其他带外管理模块）应具备的最小管理功能，例如：卡内信息抓取，远程IPMI、Redfish支持；功耗监控、保活（看门狗）等。

4）统一运维策略：由于DPU上存在CPU核，因此可以看作服务器整机的第二系统，这种架构的变化也导致服务器的硬件管理方式产生了变化，需要定义裸金属场景上下电、复位、固件升级、异常下电、故障处理等场景的开关机流程及处理策略。

服务器整机硬件层面的标准化可让通用服务器与各厂家DPU具备适配前提，扫清新生态发展中的技术障碍。在这一过程中，需共同探讨DPU带外管理系统与服务器整机带外管理系统关系，明确DPU BMC应具备的核心功能，逐步收敛双BMC控制信息的交互框架，最终做到边界清晰。

思考及展望

DPU作为数据中心第三颗大芯片，引发了算力基础设施技术架构的变革，是算力服务商的核心竞争力之一。针对DPU行业当前缺乏技术标准、缺少合作平台的现状，中国移动发挥链长作用，立足算力网络发展需求，构建中国移动DPU“1+5+4”标准体系，填补了DPU领域的标准生态空白；建立DPU创新开放实验室，汇聚产业29家合作伙伴，引导DPU产业多方合作，推动形成DPU体系化解决方案。

DPU在算力服务快速发展、数据量激增的当下，有望发展为服务器侧数据流量的核心入口，承担起资源管理、网络加速、安全加密等重要功能。而DPU支持的NVME-oF、RDMA技术，也可应用于智算中心数据面和参数面，实现超低延迟和高带宽的高性能网络通信，提升模型训练、推理通信效率。得益于数字经济快速发展和高性能计算的增长需求，DPU在数据中心领域展现出巨大的潜力和价值，市场应用前景广阔。而定制DPU与通用DPU则各自面向定制化深度集成与快速部署的通用方案两类不同用户需求，未来将呈现出互补并存的格局，不仅为用户提供了丰富的选择，也为DPU技术的发展和创新提供了广阔的发展空间。

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 1.3 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDA5fGY3NTY0Y2M4fDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 1.16 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDEwfDE1N2I3ZDlmfDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 1.33 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDExfGQ5Mzg3Y2Y5fDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 86.57 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDEyfDIxMDg1YjgxfDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 113.15 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDEzfDhjN2EwMDRmfDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 286.57 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDE0fDQ4ODIwM2NmfDE3MzQ5Mjc0MDR8MHww

附件: 640?wx_fmt=png&from=appmsg (2024-8-29 13:24, 1.44 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjQ5NDE1fDBlMzc5NjQxfDE3MzQ5Mjc0MDR8MHww

时间: 2024-8-29 13:52

作者: cnqq9999

还不如发个文档上来

时间: 2024-8-29 14:35

作者: 为别人打工的人

通信人家园 (https://test.txrjy.com/)