NVIDIA 用全新的 NVHBM 内存扩展了 NVLink Fusion

NVIDIA 通过一种名为 NVHBM 的新高带宽内存技术扩展了 NVLink Fusion，将其半定制的 AI 基础设施扩展到内存设计领域。

人工智能工厂必须支持越来越大的模型和更复杂的推理工作负载。为了满足AI工作负载无尽的计算需求，超大规模企业和AI原生公司正在开发定制的AI加速器（XPU）。大规模部署这些加速器需要高带宽内存（HBM）以保持计算供应，还需要足够的封装和硅片空间以实现更高计算能力，高效供电，以及具备韧性的供应链。它还需要机架级架构来将XPU部署到数据中心基础设施中。

NVIDIA NVLink Fusion 是一种连接技术和知识产权，使超大规模开发者和 AI 原生用户能够将定制的 XPU 和 CPU 部署到英伟达 AI 基础设施平台中。他们可以利用NVIDIA的可扩展和扩展技术栈、生态系统以及MGX机架级架构，降低开发和部署的复杂性，提升性能，并加快半定制AI工厂的上市时间。

在包层面，NVHBM补充了这一统一架构。NVHBM是一种定制的HBM基础芯片技术，由领先内存厂商设计和验证，能够提升内存带宽、更节省面积和降低功耗。这些改进有助于定制XPU支持更大模型，更快地读取KV缓存数据，并提升训练和大规模推理能力。

为什么选择带宽、芯片面积和功率驱动加速器的设计

训练、推理和代理型AI工作负载越来越依赖高吞吐量访问模型权重、KV缓存和激活数据。随着AI系统从单个加速器扩展到机架级计算领域，加速器包必须在计算逻辑、功耗传输、散热设计和高带宽内存之间取得平衡。

HBM将关键内存带宽放置在加速器附近，但合格的领先内存技术、封装集成和验证可能成为定制加速器程序的瓶颈。通过NVLink Fusion，客户可获得经过领先内存制造商验证的NVHBM基础芯片，有助于减少集成和鉴定瓶颈。

现代人工智能加速器的内存带宽瓶颈

AI加速器的表现取决于计算引擎数据的稳定性。更高的HBM速度增加了在给定包预算内可用的内存带宽，从而提升了满足训练和推理中高带宽阶段的能力。与标准HBM4e相比，NVHBM每栈提供多达30%的内存带宽。对于内存受限或部分内存受限的AI工作负载，这转化为更好的加速器利用率和更高的吞吐量。这可以通过更快地在HBM和计算核心之间传输数据，从而提高大模型推断中的每用户令牌吞吐量，从而保持数据供给。

NVHBM增加了每个加速器内的内存带宽，而NVLink Fusion则连接跨大域的加速器，使工作负载能够更高效地利用分布式计算和内存。

这种扩展领域在使用高级路由技术如专家并行（EP）或WideEP时尤为关键。在这些场景下，不同专家分别使用不同的GPU，需要在整个机架间实现无缝、高速的同步。NVIDIA NVLink，作为AI工厂的扩展网络结构，负责在专家之间传递激活和隐藏状态，并帮助同步分布式缓存。NVHBM通过保持本地计算引擎持续供给，最大限度地减少数据饥饿。

更大的包裹面积，更灵活的选择

对于定制AI硅片来说，每一平方毫米都很重要。加速器设计师必须决定为矩阵引擎、向量单元、片上SRAM、缓存层级、控制逻辑、内存接口、片上网络和扩展连接分配多少区域。定制内存实现有助于减少访问HBM时的设计和包开销，释放空间用于特定工作负载的能力。

随着AI工作负载多样化，这一额外的芯片区域为超规模开发者提供了更多灵活性，以优化XPU以实现推理服务、推荐系统、多模态流水线或内部训练工作负载。通过减少内存接口所需的面积，NVHBM使团队能够将更多芯片部分直接用于性能。

节省面积主要通过重新设计的物理内存接口（PHY）实现。标准HBM依赖更宽的接口连接，增加了整体封装占地面积。NVHBM采用定制基础芯片，优化效率，通过将内存控制器移入3D HBM堆栈并集成定制PHY实现，从而降低了I/O面积要求。

与JEDEC HBM4e标准相比，该设计可将PHY和支持面积减少多达67%。更窄的接口也简化了分层机的路由，在整个布局中可提供多达80%的可用硅片。

如图1所示，缩小内存接口连接使中央AI计算芯片能够扩展到新释放的空间。这种回收可使主芯片芯片用于计算或其他特性的可用硅片增加最多30%。额外的硅片面积使XPU设计师能够在固定封装范围内增加更多功能。

节能以实现高效缩放

功率是现代人工智能基础设施中最难的限制之一。HBM功率对加速器的功率预算、封装热设计、机架功率包络和数据中心冷却计划都有贡献。NVHBM相比标准HBM4e降低15%的HBM功耗，为计算创造了额外的功耗和散热余量。

节能在多个层面都很重要。在XPU层面，较低的HBM功率可以提升每瓦性能，并为更多计算或更高持续利用率创造空间。在机架层面，它有助于减轻电力传输和冷却系统的压力。在AI工厂规模下，即使是内存子系统功率的适度减少，也可能在数千台加速器中累积起来。当在整个1吉瓦数据中心使用2000W XPU进行复合时，节能可为多达15000个额外的XPU提供计算余量。

这种优势对大型模型推断尤为重要。XPU必须在低延迟和高吞吐量下反复读取模型权重和KV缓存数据。减少数据传输的能量，有助于支持大型模型的推理速度、更大的批量处理以及更高效的部署电力利用。

在机架规模下将NVLink Fusion与NVHBM结合

NVHBM在芯片层面提升了XPU的性能和效率。NVLink Fusion使超大规模用户和AI原生用户能够将他们的XPU连接到NVIDIA AI平台的其他部分。通过结合内存带宽增加30%、芯片面积增加25%和HBM节能15%的综合方案，这些共同设计的架构改进转化为每个XPU端到端性能显著提升30%。

这种连接性通过NVLink Fusion芯片组实现，该芯片连接了定制XPU和NVLink结构，将机架中的所有XPU连接到单一的可扩展域。NVLink现已进入第六代，是唯一经过验证的、专为AI工厂打造的可扩展网络架构，提供领先的性能和智能韧性。上游时，XPU可以通过NVLink-C2C连接到CPU。

NVLink Fusion的采用者可以将定制XPU和CPU与NVIDIA的扩展和扩展技术栈及生态系统结合起来，降低开发和部署复杂性，提升性能，加快半定制AI工厂的上市时间。通过统一架构的标准化，NVLink Fusion简化了数据中心的运营，实现了数据中心容量的灵活重新配置，并使定制的AI XPU能够与GPU集成实现异构计算。

定制AI硅片的下一阶段

NVLink Fusion为GPU、定制XPU和CPU、网络以及机架级软件提供了通用的扩展基础。NVHBM通过更高的内存性能、计算密度、HBM能效和下一代加速器的电源弹性来补充这一基础。这些技术为合作伙伴提供了从定制AI加速器设计到机架级部署和批量生产的更直接路径。