自人类懂得思考以来,就从未停止过对外界的探索。航空航天和地理空间产业,已从过去的科学研发向服务民生、创新市场、推动世界经济增长而转型。与此同时,在航天任务进程中,数据量愈来愈大、数据类型复杂多样、数据关联性强等痛点也日益凸显。
为了将海量的基础数据准确应用在各项实际任务中,这就需要可弹性扩展的系统对空间数据进行有效的存储、科学的管理和高效的分析。极道作为深耕于数据系统领域的创新型企业,致力为多行业客户解决数据存储难题。以自主研发的智能数据系统“三驾马车”,将航天企业测试、运行所产生的海量数据点石成金,并淬炼成数据密钥,助力地理空间和航空航天事业加速发展。
分布式存储系统,实现海量数据集中存储
地理空间和航空航天领域产生了大量的空间数据,包括卫星遥感点云数据、航拍倾斜摄影数据以及在轨数据等。这些数据增长速度快、数据总量大、高并发,而传统系统无法在短时间内对这些分散数据进行多维度的组织查找与调用。因此,如何把这些数据集中存储、统一管理,成为了空间数据存储和管理需要攻克的首要问题之一。
极道分布式存储系统ALAMO和ANNA,是适用于海量非结构化空间数据的存储系统。系统具有弹性的扩展能力,能够对海量小文件进行有效存储,高性能处理、加工和分析计算,有效地解决了地理空间、航空航天领域数据存储空间受限以及不同应用场景下存在的数据存取性能问题。
使用性能强
ANNA拥有非凡的IOPS性能,能够根据数据的访问热度,自动将数据迁移到合适的资源池内,并对场景进行优化。满足了航天设备小文件的读写、调用的需求。
分布式文件存储系统ALAMO具备超高带宽的性能,10节点集群系统聚合带宽超过20GB/s,适用于空间数据的分析、处理和加工环节的高性能计算。
容量可扩展
无论是ALAMO还是ANNA,极道的分布式存储系统都能够灵活的按需求横向或纵向扩展,实现PB级、甚至是EB级存储。系统统一命名空间,透明在线扩容,满足了航空航天、地理空间相关领域的企业和机构对海量空间数据的存储需求。
可靠性和可用性
作为企业级存储系统,ALAMO和ANNA不仅采用了高可靠、高可用的架构,还能够在磁盘故障、节点故障时,快速重构以防止数据损坏丢失,确保数据服务不中断,保障空间内关键业务系统正常运行。
“存算协同”,数据处理效率高
在航空航天和地理空间数据分析过程中,大量数据对计算资源利用率要求极高,这就对系统的大量模型算法组合能力、数据并行、算法并行处理能力有着极高的要求。也就是说,高度并行的数据分析流程直接决定了并行数据处理分析的效率、分析过程的准确性。
同时,随着计算技术的发展,异构计算资源(CPU、GPU)和异构计算框架(HPC/HTC、MapReduce、ML/DL)越来越多的被引入到空间数据的处理和分析流程中,如何打破异构计算框架带来的资源壁垒,充分动态利用计算资源,发挥计算集群中的算力也是需要考虑的因素之一。
极道的融合分布式计算系统Acheluos,在共享硬件资源的前提下,动态的构建ABC类计算框架,智能执行引擎构建高度并行的混合数据分析流程,可有效解决这一系列的难题。
融合计算
事实上,空间数据的处理与分析需要多种计算框架,这就需要一个统一的计算平台,对资源进行共享与管理。极道融合分布式计算系统Achelous采用先进的多计算框架技术,能够在统一资源管理和分配的基础上,灵活地根据航天测试等应用需求,自动构建计算框架,在一个集群共享硬件的前提下,动态实现高性能计算、批量计算的融合。
执行引擎
在计算过程中,Achelous自带的执行引擎,可根据航天企业测试数据应用需求,自动生成数据流和工作流;结合系统的可视化界面,大幅度降低了算法和模型并行编程的难度。既简化了数据处理流程,也将计算资源利用率和数据处理效率发挥到极致。
“存”“管”“算”完美协同,航天企业数据管理的终极追求
在对空间数据进行处理与分析中,每天从海量数据中提取出需要的数据,是项非常复杂、且头疼的问题。因此在数据管理过程中,能够实现快速发现,动态重组和“可视化”则是一件幸事,然而空间数据总量大、精确度高、价值高,一直被誉为数据可视化领域的“喜马拉雅”。
可视化管理
极道大规模实时数据管理系统MetaView基于元数据的管理理念,结合独创的分布图技术,能够通过获取和追踪的数据特征和用户自定义特征,对海量数据进行高效的组织与索引,秒查任何文件,快速发现数据,有效解决了航天企业科研过程中数据“杂乱无章”的难题。
数据追溯查询
值得一提的是,基于“数据感知”,极道数据管理系统与存储系统ANNA、ALAMO,以及计算系统Achelous配合在一起时,能够提供数据溯源功能。通过形成溯源树,可以从中间任意节点开始,推导出产生该文件的所有层级的依赖文件。帮助数据分析者了解溯源树上每个文件的出处、进程、所使用的工具等,为重构整个分析过程提供重要依据。
航空航天、地理空间领域是一个高精尖的技术密集型产业,在科技力量相对薄弱的过去,这些价值不能估量的海量数据无法被精准利用。但在以数据为驱动力的今天,先进数据的存储、管理、计算与分析技术,将助力企业和机构落实空间大数据应用,在浩瀚星空进行永无止境的探索。
极道作为数据系统领域内的创新企业,自2015年成立起,始终致力于解决企业级用户数据的“存”“管”“算”难题。多年来,极道“以终为始”持续创新,将高性能计算(HPC)、大数据分析和人工智能训练等应用技术深度融合。未来,极道还将以分布式统一存储系统、融合计算系统、大规模实时数据管理系统,为航空航天和地理空间产业的科研与应用创造无限可能。
关于极道:
极道,专注于数据“存”、“管”、“算”的创新数据系统公司,由国内顶尖的存储和数据分析专家团队建立,是一家以分布式系统为核心帮助客户提升IT资源效率,提供高效智能的数据处理基础平台的数据系统公司。
极道的核心产品涵盖了分布式并行文件存储、强关联大规模实时数据管理系统,以及集群的调度系统和执行引擎,以满足企业对数据处理、分析和建模的多样化需求。极道注重自主知识产权和产品的可控性,核心软件系统均为自主研发,已拥有多项专利和软件著作权。