中国存储网8月23日消息,Hammerspace、Linux 社区、洛斯阿拉莫斯国家实验室、ScaleFlux、SK 海力士和 Xsight Labs等多家公司和机构联合推出了开放闪存平台 (OFP) 计划。
该计划解决了下一波人工智能数据存储浪潮中出现的许多基本要求。与新兴人工智能应用相关的数据创建融合,加上电力可用性、热数据中心和数据中心空间限制的限制,意味着我们需要采取白纸方法来构建人工智能数据基础设施。
OFP 计划解决了这些挑战中的数据存储部分。
十年前,NVMe 通过去中介化传统存储总线和控制器,将闪存释放为性能层。现在,OFP 通过去中介化存储服务器和专有软件堆栈来解锁闪存作为容量层。OFP 利用开放标准和开源(特别是并行 NFS 和标准 Linux)将闪存直接放置在存储网络上。开放的、基于标准的解决方案不可避免地占上风。通过提供一个数量级的容量密度、大量节能和更低的 TCO,OFP 加速了这一必然性。
当前的解决方案本质上与存储服务器模型相关联,该模型需要过多的资源来推动性能和功能。当前所有全闪存供应商的设计都没有经过优化,无法实现最佳闪存密度,并将解决方案与处理器的使用寿命(通常为五年)与闪存的使用寿命(通常为八年)联系起来。这些存储服务器还引入了专有数据结构,通过引入新的孤岛来分散数据环境,导致数据副本激增,并增加每个节点的许可成本。
OFP 倡导一种开放的、基于标准的方法,其中包括几个关键要素:
- 闪存设备 – 围绕但不限于 QLC 闪存的密度而构思。闪存采购应该是灵活的,使客户能够从各个晶圆厂购买 NAND,可能通过控制器合作伙伴或直接模块设计,避免单一供应商锁定。
- IPU/DPU – 已经成熟到可以取代资源密集型处理器来提供数据的程度。更低的成本和更低的功耗要求意味着数据服务的组件效率更高。
- OFP 磁带 – 磁带包含存储和提供数据的所有基本硬件,其外形尺寸针对低功耗和闪存密度进行了优化。
- OFP 托盘 – OFP 托盘适合多个 OFP 盒式磁带,并为各种数据中心机架设计提供配电和安装。
- Linux作系统 – OFP 利用运行库存 NFS 的标准 Linux 从每个磁带提供数据服务。
OFP 的目标并不适中,还有很多工作要做,但通过利用开放式设计和行业标准组件作为一个社区,这一举措将极大地提高数据存储效率。
相对于当前体系结构,这些优势包括:
OFP 倡议成员的精选引述:
- “电源效率不是可选的;这是扩展人工智能的唯一途径。时期。开放闪存平台消除了传统存储的束缚,使得使用不到 50 千瓦的电量存储艾字节成为可能,而过去的电量仅为兆瓦。这不是渐进式的,而是激进的,“ScaleFlux 首席执行官兼联合创始人 Hao Zhong 说。
- “敏捷性是人工智能的一切——只有开放的、基于标准的存储才能让您自由地快速适应、控制成本并降低功耗,”洛斯阿拉莫斯国家实验室 (LANL) HPC 主任 Gary Grider 补充道。
- “Flash 将成为 AI 时代的下一个驱动力。为了充分发挥其潜力,存储系统必须不断发展。我们相信,像 OFP 这样的开放和基于标准的架构可以通过显着提高能效和消除扩展障碍来最大限度地发挥基于闪存的存储系统的全部潜力,“SK 海力士高级副总裁兼内存系统研究主管 Hoshik Kim 证实。
- “计算、存储和网络必须作为一个整体工作。下一代 DPU 提供了开放式 AI 基础设施所需的自由度、速度和节能性,而 Xsight Labs 的 E1 提供了所有这些以及前所未有的性能和灵活性,“Xsight Labs 业务开发副总裁 Eric Vallone 解释道。
- Hammerspace NFS 客户端内核维护者兼首席技术官 Trond Myklebust 表示:“DPU 中的 pNFS 使承诺成为现实:完全开放的闪存平台、Linux 原生文件存储,无需添加耗电的服务器或复杂的网络结构即可扩展。
- “开放的、基于标准的解决方案不可避免地占上风。通过提供 10 倍的容量密度和 50% 的降低的 TCO,OFP 加速了这一必然性,“Hammerspace 创始人兼首席执行官 David Flynn 总结道。