/ 中存储网

OpenIO对象存储的写入速度达到创纪录的1 Tbps

2019-11-04 10:57:51 来源:中存储

法国初创公司OpenIO最近宣布了开放互联网广告平台Criteo的创纪录表现。OpenIO通过将其技术部署在Criteo提供的350台以上物理服务器的群集上,展示了其对象存储解决方案的性能和可伸缩性。该基准使跨越每秒写入多达1 TB数据的符号阈值成为可能,甚至超过了它,因为观察到的有用吞吐量为1.372 Tbps。 

“自从OpenIO创立以来,我们就一直把性能问题放在我们所做工作的中心。” OpenIO首席执行官兼联合创始人Laurent Denel解释说。“一旦解决了超伸缩性问题,就可以清楚地看到,与过去相比,数据将得到更深入的处理。这就是为什么我们设计了一个有效的解决方案的原因,该解决方案可以用作视频流的主要存储(就像我们的客户Dailymotion一样),或者可以为大数据用例提供越来越大的数据集。” 

近年来,由于公司收集的数据量呈指数级增长,因此他们对存储技术的选择通常遵循两个标准:每GB的价格和可伸缩性–轻松增加存储平台容量以实现以下目标的能力:创建其“数据湖”而无需创建数据孤岛。 

现在可以从这些数据中提取价值,并且这种提取正成为许多公司增长的主要动力之一。同样,如今的关注点不是优化归档数据的成本,而是要通过贪婪的机器学习和深度学习算法来进行数据处理成为可能。在数据归档和数据共享时代之后,我们正在进入数据处理时代。 

OpenIO在生产条件下在Criteo机器上实现的高性能,证实了针对新数据用途的OpenIO对象存储软件的设计,特别是AI算法在大数据/ HPC群集上对数据的大规模利用。通过此记录,在#TbpsChallenge揭幕战中,OpenIO邀请其他市场参与者对他们的技术进行测试(在商用服务器上进行调试并投入生产)。 

Criteo很高兴成为该基准测试的一部分,它使OpenIO有机会展示其技术如何保持一致的高性能,同时增加新节点以进行大规模扩展。” Criteo的高级站点可靠性工程师Stuart Pook说。“他们能够达到接近我们提供的硬件理论极限的写入率。”

Criteo处理大量数据,并建立了一个具有数千个节点的独特大数据平台。Criteo的工程师团队从其基础架构中提供了350多台机器,这些机器最近架在其一个数据中心中,但尚未投入生产。对于OpenIO而言,这是一个无价的机会,因为由商品存储服务器组成的集群使它们达到了真正“超大规模”的数量级。 

关于OpenIO 

OpenIO成立于2015年,致力于开发一种超可扩展的开源对象存储解决方案,非常适合大数据,AI和HPC用例。OpenIO的节点架构网格和独特的ConscienceGrid技术使我们的对象存储可以即时扩展,而无需重新平衡数据并保持一致的高性能。OpenIO支持S3,可以在内部部署,云托管或边缘部署。它可以在任何硬件上运行,并且已经吸引了全球40多个客户,其中包括Dailymotion,CEA和IIJ(日本Internet Initiative)服务提供商。