/ 中存储网

超过200TB的NASA大气风速和洋流数据集开放给全球研究人员使用

2023-04-19 23:02:59 来源:中存储

中存储消息,为了使数据访问更开放,美国去中心化云存储提供商Seal Storage Technology和犹他大学科学计算与成像研究所(SCI)宣布,超过200TB的OpenViSUS IDX NASA大气风速和洋流数据集可供全球研究人员使用。

超过200TB的NASA大气风速和洋流数据集开放给全球研究人员使用

数据将通过Jupyter笔记本访问,Jupyter笔记本是一个数字文档,通过在单一媒体中组合文本,代码和可视化,可以轻松访问和可视化数据。该项目是SCI参与国家科学数据结构(NSDF)的一部分,NSDF是一种跨学科的集成数据交付和访问方法,通过共享存储,网络,计算和教育资源使数据驱动的科学发现开放化。

“数据的开放对科学进步至关重要,我们很高兴与犹他大学合作,使之成为可能,”海豹存储技术首席运营官亚历克斯·奥尔特曼说。“Seal的分散式云存储平台确保世界各地的研究人员可以无障碍地访问这些有价值的数据。我们很高兴看到未来的发现和见解,这些发现和见解将通过提供这些重要数据并支持NSDF的使命来实现。

全球的研究人员将能够以零出口费用访问NASA OpenVisus数据,因为数据存储在Seal的分散式云存储平台上,该平台由Filecoin网络提供支持。当用户想要移动或访问其数据时,通常由集中式云存储提供商收取出口费用。相比之下,去中心化云存储利用分布式账本技术在全球各中心存储数据,提供了一种存储数据和消除出口费用的新方法。这种全球分布确保了NASA的数据是不可变的,可验证的,并具有监管链。

数据开放化合作伙伴关系将为研究人员提供访问和利用NASA气候数据的新方法,包括通过时间戳,字段和其他维度进行导航。这是通过将数据从NASA HPC传输到Seal的平台来实现的,然后可以通过Jupyter笔记本访问数据。

“NSDF项目在更开放地访问关键网络基础设施方面取得了重大进展,”科学计算和成像(SCI)研究所所长Manish Parashar说。“大规模共享数据网络基础设施,例如NSDF的设想,可以加速广泛学科的科学发现。它还可以扩大新研究人员小组对数据的访问。

该数据集是模拟的输出,该模拟结合了 2 个模型,以提供有关大气和海洋变量的高分辨率数据。第一个模型是戈达德地球观测系统(GEOS)大气模型的C1440配置,而第二个模型是MITgcm模型的LLC2160配置。每个输出中有超过 10,000 个时间步长,每个时间步长都有多个标量场,例如温度、积雪厚度、东西向速度等。在Jupyter笔记本的帮助下,研究人员能够浏览大气数据集和LLC2160海洋数据集的某些场(例如东西向速度“U”)的所有时间步和维度。

“这是国家科学数据结构(NSDF)的一个重要里程碑,它使所有科学家,工程师和普通公民可以直接访问具有重大社会重要性的海量数据,而无需昂贵的硬件资源,”NSDF首席研究员,Kahlert计算学院教授Valerio Pascucci说,犹他大学极端数据管理和可视化中心(CEDMAV)主任。“学术界和工业界之间的这种伙伴关系表明,任何拥有笔记本电脑和互联网连接的人现在都可以可视化和分析数据,到目前为止,这些数据一直是少数几个人的唯一垄断,他们拥有使用世界上一些最大的HPCC所需的特殊访问和培训。

研究人员可以在网络仪表板上访问NASA数据,或者通过下载Jupyter笔记本在本地可视化数据。目前的200TB数据构成了这个多PB项目的首次安装,证明了NSDF-SEAL数据开放化计划的可行性。