中国存储网消息，生成式人工智能推理先驱 d-Matrix 与人工智能基础设施领导者 Arista、Broadcom 和 Supermicro 合作，宣布推出 SquadRack，这是业界首个用于超低延迟批量推理的基于分类标准的机架规模解决方案的蓝图。
SquadRack 在本周的开放计算项目全球峰会上展示，正值包括主权云和企业在内的云提供商正在努力满足生成式 AI 推理需求之际。SquadRack 提供了一个参考架构来构建交钥匙解决方案，从而实现超快的代理 AI、推理和视频生成。与传统加速器相比，它的性价比提高了 3 倍，能效提高了 3 倍，代币生成速度提高了 10 倍。
SquadRack 在单个机架中配置了八个节点，使客户能够以极快的速度运行多达 1000 亿个参数的 Gen AI 模型。对于大型型号或大规模部署，它使用基于行业标准的以太网横向扩展到跨多个机架的数百个节点。
“随着 SquadRack 的推出，我们使客户能够以正确的方式扩展推理——高效、低延迟和基于标准的部署。Corsair 提供计算内存加速，而 JetStream 提供 I/O 加速。结合 Supermicro 的 AI 服务器、Arista 的以太网交换机以及 Broadcom 的 PCIe 和以太网交换机芯片，我们正在提供一个 AI 推理机架，以加快部署时间。这是在使人工智能基础设施大规模商业可行方面向前迈出的一大步，“d-Matrix 首席执行官兼联合创始人 Sid Sheth 说。
“Supermicro 很荣幸能与 d-Matrix 合作，提供高效的 AI 推理机架解决方案，该解决方案将计算加速、高效网络和服务器密度结合在一个集成平台中。我们在机架级集成方面的良好记录，以及 d-Matrix 的推理加速产品，为客户提供了一条在企业和云中扩展 AI 推理的实用途径，“Supermicro 欧洲、中东和非洲地区总裁兼董事总经理兼技术与人工智能高级副总裁 Vik Malyala 继续说道。
“作为高性能 PCIe 和以太网连接领域的领导者，博通很高兴看到 d-Matrix 推进人工智能基础设施解决方案。d-Matrix 正在将 AI 推理的性能和效率提升到一个新的水平，同时利用 Broadcom 长期以来支持的基于标准的网络生态系统，“Broadcom 数据中心解决方案集团副总裁兼总经理 Jas Tremblay 证实。
“Arista 的云网络结构旨在满足 AI 基础设施的严格要求。JetStream 能够通过标准以太网与 Arista 的高性能交换机完美匹配地实现加速器到加速器的通信。我们正在共同展示人工智能推理如何在不需要专有网络结构的情况下高效扩展，“Arista Networks 人工智能系统和网络杰出负责人 Vijay Vusirikala 总结道。
SquadRack 的关键组件包括：
- d-Matrix Corsair 推理加速器具有创新的计算内存集成，可提供超低延迟、高吞吐量的推理
- d-Matrix JetStream IO 加速器使用标准以太网实现超低延迟设备启动的加速器到加速器通信
- Supermicro X14 AI 服务器平台与 Corsair 加速器和 JetStream NIC 集成
- 用于在单个节点内扩展的 Broadcom PCIe 交换机
- Arista Leaf 以太网交换机连接到 JetStream 网卡，实现高性能、可扩展、基于标准的多节点通信
- d-Matrix Aviator™ 软件堆栈，使客户可以轻松大规模部署 Corsair 和 JetStream，并加快推理时间