/ 中存储网

为GPU而来,焱融科技推出新一代全闪分布式文件存储

2022-05-06 13:31:22 来源:中存储

5月5日,国内高性能文件存储和容器存储领导者焱融科技针对高性能计算应用场景,推出了全新的全闪分布式文件存储一体机焱融追光F8000X系列(以下简称:追光F8000X),产品搭载了第三代AMD EPYC计算平台和焱融高性能分布式文件存储系统YRCloudFile,采用全NVMe SSD、InfiniBand高速网络,实现了单存储节点达到 40GBps以上,2,000,000 IOPS,以极高性能充分释放数据潜力。同时,产品所具备的智能数据分层功能,不仅可以兼顾数据存储经济性,还能进一步加速HPC、人工智能、生信分析、自动驾驶等高性能计算应用场景的存储升级。

为GPU而来,焱融科技推出新一代全闪分布式文件存储

追光F8000X,是为了满足企业用户对大规模AI、高性能计算平台中对数据处理具有严苛性能需求的场景,旨在助力企业用户通过极简的部署方式,快速地享受前沿的创新技术,保证有足够高的IOPS和宽带的支持,实现全生命周期的数据管理服务,轻松应对GPU高速计算对数据访问延迟的需求和高性能场景下的数据问题。

据了解,追光 F8000X 所采用的分布式架构,可实现系统随着业务需求动态,增加节点数量,使得存储容量和存储性能都以线性方式增长。同时,追光 F8000X 为了能够获得卓越的性能表现,满足高性能场景对存储系统的需求,对产品系统进行了全方位的优化升级:

在分布式并行文件系统层面,首先焱融科技针对AI和HPC场景下的海量小文件问题,提出了用横向水平扩展的方式,把单点的MDS集群化,采用静态子树+目录Hash两者结合的方式,实现了元数据的分布存储,从而通过扩展元数据节点,实现支持百亿级别的文件数量,极大提升了元数据的检索性能。其次,焱融科技极大程度保证了大文件IO的吞吐性能,将控制流和数据流(即元数据和数据存储)分离,有效减少对MDS更新频率的同时,大幅提高IO性能。

同时,为了提高小文件IO访问性能,焱融科技采用小文件内联、元数据缓存、文件信息KV化等技术手段,切实保证了AI场景中大量只读小文件的训练性能。最后针对目录热点问题,焱融科技通过增加虚拟子目录的方式把热点分摊到集群中所有的元数据节点,不仅解决了元数据热点问题,同时也解决了单目录下文件数量问题。通过增加虚拟子目录使单目录可以支撑20亿左右的文件数量,并且可以根据虚拟子目录的数量灵活调整。

在网路数据传输层面,焱融科技在高性能分布式存储里实现了RDMA传输的功能,支持通过InfiniBand、RoCE或TCP来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。

在物理存储层面,追光F8000X采用了全NVMe SSD构建物理存储空间,并基于NVMe存储架构做出的深度优化,充分释放了SSD性能,不仅降低了延迟,提高了IOPS和吞吐量,同时增强了服务器处理并发请求的能力。

为GPU而来,焱融科技推出新一代全闪分布式文件存储

在本次产品发布前,焱融科技的深度合作伙伴英伟达网络高级市场开发经理陈龙表示:“焱融科技致力于高性能存储方案不断创新与开发,在最新一代全闪解决方案中,与英伟达紧密合作,以优秀的存储架构设计结合InfiniBand出众的网络能力,向业界展示了高端InfiniBand网络全闪存储解决方案的魅力。”

作为高性能文件存储和容器存储领域的领头羊,追光F8000X的推出,标志着焱融科技的产品体系进一步覆盖了更多高性能场景。借助追光F8000X对GPU场景存储的全面革新,全闪分布式存储一体机也将在企业存储建设中承担起更重要的角色,助力在大规模AI、高性能计算等场景下,实现存储容量和存储性能线性式增长。