中国存储网消息，近日DataPelago公司发布的新基准测试结果显示，DataPelago Nucleus 在 Nvidia GPU 之上的计算密集型作方面明显优于 Nvidia 的 cuDF（一种广泛使用的开源软件库，在 CUDA 上运行以加快数据处理速度）。Nucleus 是 DataPelago 的通用数据处理引擎，可跨异构硬件（从 CPU 到 GPU）无缝执行数据处理任务，从而显着提高关键数据处理工作负载的性价比，而无需更改代码或基础设施。
随着企业管理越来越多的 ETL、商业智能和 GenAI 工作负载的复杂数据，仅靠基于 CPU 的数据处理已无法跟上步伐。Nvidia GPU 具有巨大的并行性和吞吐量优势，使其成为加速这些工作负载的理想选择。然而，它们也带来了独特的挑战，例如 I/O 瓶颈和有限的 GPU 内存，限制了一次可以处理的数据量。为了充分发挥 GPU 的优势并提供更好的每美元性能以加速采用，数据处理引擎的设计必须能够利用 GPU 的优势，同时弥补其局限性。
Nucleus 的 GPU 优化执行层就是考虑到这一目标而设计的。虽然 cuDF 早已为在数据处理中使用这些 GPU 建立了性能上限，但复杂和现实世界的工作负载（例如多键和可变长度字符串排序）无法有效处理。此场景的基准测试结果表明，与简单的固定长度数据作相比，Nucleus 的增益更高。
Nucleus 通过更好的并行算法、常见工作负载的快速流程、优化的多列支持、加速复杂表达式的内核融合以及通过零拷贝共享内存管理进行端到端字符串优化等功能克服了这些挑战。这使 Nucleus 能够提高 GPU 的性能，从现有的加速基础设施中释放更大的价值。
实际工作负载的初始基准测试结果包括
- 复杂表达式：与 cuDF 相比，Nucleus 的项目作速度提高了 10.5 倍，筛选作速度提高了 10.1 倍，聚合作速度提高了 4.3 倍。
- 可变长度字符串作为数据类型：对于哈希连接作，对于较小的字符串，Nucleus 的吞吐量比 cuDF 快 38.6 倍，而对于较大的字符串，吞吐量提高了 4 倍。Nucleus 还显示出哈希聚合作的显着改进，Top-K 的增益高达 3.8 倍，提高高达 5.9 倍。
- 多列支持：与 cuDF 相比，Nucleus 在处理多列键时为“Top-K”作提供高达 8.2 倍的性能。
“虽然组织正在处理大量复杂数据，但幸运的是，GPU 等加速硬件在当今的云环境中变得更容易获得。为了充分利用加速硬件可能带来的性能优势，需要新的方法和非线性思维，“DataPelago首席执行官Rajan Goyal说。“我们创立 DataPelago 是为了应用这种非线性思维，为加速计算时代创建新的数据处理标准，以便公司能够克服性能、成本和可扩展性的限制。这些最新的基准测试结果是 DataPelago 如何继续推动这一新标准向前发展的一个例子。
CUDA® 是 NVIDIA 专为图形处理单元 (GPU) 上的通用计算开发的并行计算平台和编程模型。借助 CUDA,开发者能够利用 GPU 的强大性能显著加速计算应用程序。
DataPelago Nucleus 是世界上第一个为加速计算而构建的通用数据处理引擎，专门用于处理任何类型的数据、跨任何硬件运行并支持任何查询引擎，提供新的性价比优势，使其能够从世界上所有数据中提取价值，从而引发一场人工智能驱动的革命。
DataPelago 得到了 Eclipse、Taiwania Capital、Qualcomm Ventures、Alter Venture Partners、Nautilus Venture Partners 和 First Citizens Bank 旗下的硅谷银行的支持。