中国存储网消息，SK海力士近日在IEEE（电气与电子工程师协会）全球半导体大会上发表论文，提出了一种全新的存储架构。该架构名为H³（HBM + HBF Hybrid memory system），将HBM和HBF两种存储技术集成在一起使用。
H³ 架构大幅提升AI推理效率
H³架构将HBM和HBF并置于GPU旁，由GPU负责计算。
H3结构图 来源：SK海力士
在可行性模拟测试中，将8个HBM3E和8个HBF置于英伟达Blackwell B200 GPU旁边，结果显示，与单独使用HBM相比，这种配置可以将每瓦性能提升高达2.69倍。
H³架构被认为特别适合AI推理领域。AI推理指的是模型推理和生成回应的能力，其中一个核心元素是KV缓存，它在用户交互期间临时存储对话上下文。
HBF和HBM区别
HBF (高带宽闪存)是通过垂直堆叠多个3D NAND闪存来增加带宽的内存。
HBM(高带宽内存)是通过垂直堆叠多个DRAM存储器来增加带宽的内存。
HBF容量比 HBM 高 8 到 16 倍，解决传统HBM堆栈常见的热量和成本挑战。
图片来源：SanDisk
图片来源：SanDisk
HBF 仍有缺陷但前景光明
随着AI模型日益复杂，KV缓存容量不断增长，以至于目前仅使用HBM的配置越来越吃力，限制了整体计算效率。通过将HBF作为额外的大容量存储层来吸收KV缓存，GPU和HBM可以摆脱存储开销，专注于高速处理和生成新输出。
SK海力士还模拟了HBF处理高达1000万个令牌的巨大KV缓存的模拟测试。测试显示系统处理同时查询（批处理规模）的能力相比仅支持HBM的设置增加了多达18.8倍。以前需要32块GPU的工作负载，现在只需2块GPU即可完成，效率大幅提升。
通过这篇论文，公司强调了HBF作为下一代AI存储解决方案的潜力。然而，正如报告强调的，在商业化之前仍面临若干挑战。因为NAND闪存虽然具有较高的存储密度，但其写入性能相对较慢，尤其是在添加或修改数据时，仍是一个关键限制。
要克服这一限制，提升HBF的写入性能，需要更先进的设计，包括显著提升HBF堆栈底部基模的控制器性能。
HBF相关的标准化工作也在加速，据Sisa杂志报道，三星电子和SK海力士已与SanDisk签署谅解备忘录，以推进HBF标准化。两家公司都在积极开发HBF产品，目标是在2027年前实现商业化。
SK海力士还宣布，HBF的试玩版将于本月底发布，并将进行演示。