随着IT技术的不断发展,数据的生成方式也随之发生变化。2000年以前,数据主要由各企业的ERP系统被动生成,数据总量可控;到了互联网特时代(特别是移动互联网时代),大量数据由个人主动生成,数据总量快速增加;而到了物联网时代,海量数据由各类感应器、视频摄像头源源不断地自动生成,数据总量呈几何级数膨胀。面对需要存储的海量数据,采用传统存储设备存储虽然在性能和可靠性上有比较好的保障,但海量数据的存储成本给各信息主管部门带来了巨大的经济压力,用户迫切需要一种新型的存储技术来应对这个挑战。因此,云存储技术运应而生,然而在信息化建设中数据互不兼容、自成一体现象,无统一的标准将该领域的相关业务体系连成一个有机整体,让全国范围内多层次的信息资源变得易于存取、便于共享。
为尽快解决行业燃眉之急,2014年9月,公安部科技信息化局和云存储专业委员会联手组织部分地方公安厅局和云存储专委会发起单位初志科技及其5家成员单位,开始着手打造警务云存储系统的行业标准,10月正式起草和制定《警务云平台存储总体技术要求》。
为什么云存储的落地需要标准支撑
从技术实现的角度来看,实现云存储系统的互联、互通和互操作需要标准支撑。例如,云存储系统需要构建一个共享式存储资源池,只有通过标准化的南北向接口才能最大程度地管理和调度来自不同厂商、不同品牌的存储设备,从而实现屏蔽上层业务系统对底层存储设备的依赖,真正实现云存储系统的存储及服务的功能。
从用户使用的角度来看。如何有效评估不同厂商提供的云存储产品的成熟度、安全性和兼容性?如何指导用户根据自身的需求合理地、分步骤地将业务系统从传统存储设备上迁移到云存储系统中?如何在发生质量问题时界定问题边界?都需要有相应的标准来指导。
从云存储产业发展的角度来看,通过研制标准可以为云存储设备提供商、云存储服务提供商、云存储用户等云存储产业链的各个环节提供清晰的入口和出口标准,为上下游的协调合作提供有力支撑,最终促进云存储整个产业链的快速发展。
所以,研制云存储系统相关标准对实现云存储系统和推动云存储技术的大规模应用都有着极其重要的作用。
警务云存储标准的建设要求及研制过程大播报
近日,由工业和信息化部电子工业标准化研究院、公安部计算机与信息处理标准化技术委员会和云存储专业委员会在京召开的中国云存储标准与应用高层研讨会上,公安部计算机与信息处理标准化技术委员会副主任张宪华首次对警务云存储标准进行了对外介绍。
第一、警务云平台存储系统建设对总体技术的要求。
对存储物理设备层的要求:存储物理设备层是整个存储系统的基础层,它包含所有可用的存储资源。
对存储资源虚拟化层的要求:它通过虚拟化技术屏蔽南向存储物理设备的异构性,将数据中心全部存储资源组成统一管理的存储资源池,并通过存储接口层对外提供统一的服务、管理和监控。
对存储能力层的要求:存储能力层是警务云平台存储系统的核心层,它将后端存储设备的能力,譬如卷廋分配、自动分级存储、快照、复制、重删等会被抽象为一个个原子服务能力,由警务云平台管理员来将这些不同的原子服务能力组合成不同的服务目录提供给客户。
对存储接口层的要求:提供完整的北向接口它包括:文件存储接口(NFS、CIFS、POSIX)、对象存储接口(S3、CDMI)、块存储接口(SCSI、iSCSI)、分布式数据库存储接口(SQL)、大数据分析接口(K-V、MapReduce、HQL等)。同时接口层还提供可编程的开放API,满足上层管理平台的自动化调用和编排需求,易于与现有的管理平台对接。
对存储资源管理模块的要求:存储资源管理平台负责存储资源的管理与监控,具体包括:设备管理、资源管理和服务管理三大类业务。
对安全管控模块:负责为整个存储系统提供端到端的安全管控能力,具体包括:存储数据安全、存储设备安全、存储网络安全和存储业务安全。
第二、警务云平台存储系统建设对接口的规范要求。
警务云平台存储系统接口由块存储设备访问接口、文件存储设备访问接口、对象存储设备访问接口、基于Key-Value的分布式数据库存储访问接口、存储设备资源管理协议等组成,其中,对象存储访问接口和基于Key-Value的分布式数据库存储访问接口可直接引用已有国家标准:《信息技术云数据存储和管理第5部分基于Key-Value的云数据管理应用接口》和《信息技术云数据存储和管理第2部分基于对象的云存储应用接口》,其余部分有些已立项国家标准,有些待研究提出。
本部分研究的内容包括:运维门户,即整合运维管理平台的功能应用,提供个性化的门户展现;运维需求管理,负责云运维管理的需求的全生命周期流程化管理,包括需求获取、需求处理、需求分析、需求验证和需求后评估五个管理过程;运维服务管理,负责对云运维管理平台提供的各种运维服务进行管理;资源管理,实现对各类存储资源的全生命周期的静态管理;资源策略管理(策略层面),负责管理SAN、NAS和对象存储的资源纳管、分配、调度和容量管理;统计分析,负责对各类存储资源的各项信息进行多维度的统计分析;系统自管理,负责云运维管理平台自身的各项管理,包括参数管理、日志管理、平台监视、用户管理、系统备份和恢复、版本控制管理等。
第三、警务云平台存储系统中分布式存储系统技术要求。
云存储系统不是某种单一的存储产品(SAN、NAS或者对象存储),而是由许许多多个存储设备和服务器所构成的集合体,是通过分布式、虚拟化、智能配置等技术,实现可弹性扩展、低成本、低能耗的。它通过标准化的数据访问接口协议,同时为多个不同的业务系统提供数据存储与分析服务。
本标准主要涉及的内容包括:分布式存储系统技术架构、分布式存储系统功能要求、分布式存储系统扩展性要求、分布式存储系统性能要求、分布式存储系统可靠性要求、分布式存储系统安全要求、分布式存储系统可维护性要求。
警务云存储标准研制刚刚起步,尚有大量工作要做,初志科技将继续配合公安部信标委和云存储专业委员会,深入开展公安警务云存储标准体系研究,并积极参与有关国家标准的讨论、研制,为规范公安机关云存储系统建设、应用、管理,为完善国家云存储标准体系在技术支持上做出贡献。