/ 中存储网

未来十年,存储发展的趋势是什么?

2020-01-16 00:59:33 来源:浪潮叶毓睿

简而言之,存储如何以更高效、更低成本的方式,围绕着数据的产生、存放、保护、优化、利用,直至数据成为资产,满足数据对存储提出的要求。

相关的关键词有十个:分布式存储、云存储、容器存储、全闪存、AI存储、区块链存储、边缘存储、量子存储、生物存储或基因存储等等。

鉴往事

我们先回顾一下历史,过去十年(2010-2019)存储发生了什么事件?

2010年:EMC收购Isilon,22.5亿美元 ;

2010年:惠普收购3Par,23.5亿美元 ;

2011年:戴尔收购Compellent,9.6亿美元 ;

2011年:希捷收购三星硬盘,13.75亿美元 ;

2011年:西部数据收购日立GST,48亿美元 ;

2012年:VMware提出SDDC(软件定义数据中心)和SDS(软件定义存储)的概念,之后推出SDS产品 – Virtual SAN的预览版 ;

2013年:Avago收购LSI,66亿美元 ;

2014年:闪迪收购Fusion-io,11亿美元 ;

2015年:戴尔收购EMC,630亿美元 ;

2015年:西部数据收购闪迪,160亿美元 ;

2016年:IBM收购对象存储,约13亿美元 ;

2016年:HCI(超融合)概念提出者Nutanix上市;

2016年:博通收购博科,59亿美元 ;

2016年:OpenText收购Dell EMC企业内容部门(包括Documentum等),16.2亿美元 ;

2017年:HPE收购Nimble Storage,10.9亿美元 ;

2018年:微软收购混合云数据存储公司Avere Systems ;

2019年: AWS收购E8 Storage,估计在5000万美元至6000万美元之间 ;

2019年: 谷歌收购存储企业Elastifile, 2亿美元 ;

2019年: IBM收购 RedHat, 340亿美元,RedHat有两款开源存储产品:Ceph和Gluster。

站在企业存储系统的角度,有几件事值得注意:HCI、SDDC、SDS的相聚出现、戴尔收购EMC、西部数据收购闪迪、HPE收购3Par和Nimble Storage,以及云计算厂商微软、AWS和谷歌的收购。这些事件体现了全球存储发展的几大趋势:分布式、云化、闪存化、智能等。

1、分布式存储

软件定义存储,为云而生。软件定义存储就是将硬件的可操控成分按需求,分阶段的,通过编程接口或者以服务的方式逐步暴露给前端应用,分阶段地满足应用对资源的不同程度、不同方面的灵活调用。软件定义存储其实是一个过程,不是一蹴而就的目标,它分成不同阶段:抽象、池化和自动化。目前,软件定义存储最显著的特征是呈现分布式,根据近年来IDC的报告,软件定义存储按照访问方式,分为三类:分布式块存储、分布式文件存储、分布式对象存储。未来十年,分布式存储的相对市场份额将不断增长,预计将超过集中存储的市场份额,然而两者将长期并存。

戴尔收购的Compellent、HP收购的3Par,实现了块级虚拟化,将硬盘和RAID解耦;VMware Virtual SAN(现命名为vSAN)、Nutanix有别于以往的专用存储,将文件系统软件与服务器解耦,体现了分布式存储征程中的不同阶段

回顾一下Gartner 在2015年7月发布的技术成熟度曲线,彼时处于曲线的最高点,也即阶段二(过高期望的峰值,Peak of Inflated Expectations)。四、五年左右的时间,才被市场广泛认可,但迄今离占据市场主流份额还需一段时间。好消息是,分布式存储发展非常迅猛,远超平均值。

2、云化 (含容器、超融合、混合云)

据报道,全球云存储市场2017年为307亿美元,预计到2022年889.1亿美元,CAGR为23.7%;中国云存储市场2017年规模为88.68亿人民币,同比增长71.8%,2018年同比增长率将上升至72.8%,市场规模为158.5亿元人民币。

Gartner在2019年的报告中显示:到2024年,40%的企业将实施至少一种混合云存储方式,高于2019年的10% 。

上述提到的云存储主要是以AWS S3、EBS、阿里云块存储、OSS为代表的公有云存储。在本篇文章里,云化的概念更广泛,包括了公有云和私有云。

云的特点包括弹性灵活、按需交付、按用付费等,除了众所周知的公有云之外,还要看到私有云。AWS CEO Andy Jessy在AWS 2019 re:Invent大会上分享了如下消息:公有云的总支出只占到总IT支出的3% 。也就是说,全球IT支出总,私有云仍占绝大多数。我曾在2017年看到一篇文章提到:预计到2040年,公有云大约占整个IT开支的1/3和1/2之间。如果真是如此,也就是说即使二十年后,私有云仍占半壁江山。

1)私有云的云化对接

存储如何更好的服务私有云,成为企业级存储的一个重要课题。除了存储自身的池化、自动化之外,向上提供API,方便私有云管理平台按需驱动存储资源的创建、调整、优化甚至回收,将逐渐成为必备配置。云化对接包含两大块,一是对接开源的云管理平台,例如OpenStack的块接口Cinder、文件接口Manila、对象接口Swift和几乎成为标准的AWS S3接口;二是对接商业的云管理平台,首当其冲的是能够被主流Hypervisor识别,如VMware ESXi、Microsoft Hyper-V。国内存储厂商中,浪潮的AS13000在云化对接中做得更齐全。

容器对接也可以视为云化对接的一部分,我们看到越来越多的用户,包括互联网、金融、电信等行业,开始部署容器技术。因此存储支持CSI(Container Storage Interface)接口也将逐渐成为企业级存储的必备配置。

超融合可以视为私有云的一种部署形态,当计算资源池和存储资源池在初次采购以及后续扩容的过程中,计算和存储的比例比较适中,也即,不会出现少量计算资源需要搭配大量存储空间;也不会出现大量计算资源需要搭配很少的存储空间,此时超融合是不错的选择。

2)公私相互渗透

在云计算领域,开始出现To C和To B的融合。

早期公有云的用户主要是一些C端,或者小B的用户,随着云计算的深入和普及,云巨头开始希望吸引大B用户。但是,出于隐私保护、安全性、政府合规、管理、兼容性、惯性、迁移成本等多种因素的考虑,原有大B用户迁移到公有云的进展比预期要缓慢。

因此,云巨头早在几年前就开始通过构建混合云或者私有云的方式来瓜分B端IT市场的大蛋糕。AWS收购E8和推出Outposts,微软收购混合云数据存储公司Avere,阿里云推出混合云存储方案,腾讯云、金山云、京东云也不甘人后。

另外,因为成本、空间、能耗等因素,逐渐有更多用户希望To B的存储厂商,能够支持将历史数据备份或归档到公有云存储上。

3、闪存化

根据IDC 在2019年12月31日的报道:“2019前三个季度,中国企业级全闪存存储阵列市场同比增长超过60%。IDC预测, 2019年全闪存存储市场仍将达到近50%的增长”。

据报道,闪存颗粒价格逐年下降(按照30%~40%的降幅),如下图所示。

国内的长江存储或将加速闪存颗粒下降趋势;

当全闪存相比机械盘价格差距不大时,更多用户愿意为延时缩短而买单(目前和15k转,10k转的机械盘价格相差不多;7.2k转的机械盘当下价格还有一些优势);

机械硬盘逐渐退化成类似磁带地位的介质。

而且在当前的大背景下,因为机械硬盘的核心技术欠缺的原因,大力发展和推进闪存落地具有重要的意义。国内大的存储厂商中,华为和浪潮都推出了自己的NVMe闪存盘。

闪存化的过程中,必然催生全闪存阵列的发展,其中的相关技术NVMe Over Fabric(简称NVMe-oF)借助RDMA等超低延时的传输协议,可远程访问SSD,解决了下一代数据中心在横向扩展 (Scale-out) 时所遭遇的性能、功能、容量三者之间难以取舍的权衡问题。

4、智能

这里包括两个方面,一是存储的智能化;二是存储如何为智能应用进行优化,也即AI存储应该如何优化。

1)存储智能化

存储智能化所希望达到的就是能够根据业务负载、运维管理等的历史记录,预测未来可能会发生什么,再据此动态地调整存储资源池,做到物尽其用;以及提供预警信息和执行动作,做到防患于未然。然而这个道路非常漫长,因为厂商需要在安全性稳定性和性价比(也即动态调整存储资源)之间做取舍;另外要想取得根据负载自动调整存储,其实不亚于将AI算法植入存储系统之中,难度不小。目前,存储厂商中,做得比较好的有HPE的Infosight和浪潮的InView。

2)AI存储

Gartner报告显示,到2022年,企业高管中将有半数以上会规划AI技术的部署,而这一数字在2018年的时候仅有4% 。

根据IDC数据,2018年上半年,中国AI基础架构市场销售额和出货量分别同比增长176%和129% 。

AI所需存储,可以分为准备、训练、推理和归档等阶段,每个阶段的IO特征不一样,对于存储的要求也不一样。例如,在推理阶段,IO的特征是读写混合,并且要求存储的延时低,能快速响应。

#FormatImgID_4#

国内的AI公司针对不同行业不同细分场景,通过AI训练导出的模型,销售给最终用户。为了增加营收,降低部署难度,有不少AI公司将模型以及所需的软硬件打包,以一体机的方式销售。其中的存储系统多采用OEM或者转售的方式,因为AI公司的主业是它的算法以及针对场景不断优化,自研存储纳入到一体机里,性价比不高。

总结而言,过去的这些年,解决了数据的存放、保护和优化,尤其是在数字宇宙迅猛膨胀的过程中,如何低成本、高效率地存放。

下一个十年随着云计算、大数据、人工智能、物联网等新技术的快速发展,分布式、全闪存等迎来市场的高速发展。除此以外,还有区块链存储、边缘存储、量子存储、生物存储或基因存储,下面探讨下这些新存储技术的发展趋势。

(二)知来者

2019年12月27日,在2019国际超级计算产业博览会上,中国工程院院士、浪潮集团首席科学家王恩东提到: “智慧时代,计算力就是生产力,计算力指数是衡量一个国家、地区,甚至是企业发展水平的重要指数” 。

“从全球GDP与服务器出货量的分布来看,全球GDP排名前四的美国、中国、日本、德国,服务器采购量同样排名前四。数字经济在整个国家GDP的占比越高,这个国家的经济就越发达”。

“同样,在企业领域,10年前全球市值最高的十个企业,埃克森美孚、中石油、沃尔玛、中移动、中国工商银行等,都是来自能源、金融、通信等传统领域。今天全球市值最高的TOP10企业,清一色都是互联网企业,比如google、微软、亚马逊、腾讯、阿里巴巴,只有一家来自传统行业的沃尔玛。全球市值TOP级的企业也是计算力消耗最大的,市值排名和服务器采购量排名基本一致”。

王院士还剖析了计算的演变历史,“从计算发展的形态来看,云计算、智慧计算和科学计算三大典型计算场景已经成为主流信息化形态。其中,科学计算主要用来完成宇宙探索、石油勘探、海洋开发、工业仿真、基因测序等前沿科技领域;云计算已成为当今经济社会发展的‘水电煤’ ”。

其中智慧计算包括了AI计算、大数据、云计算和边缘计算。

有计算,就会有存储,只是或多或少,或快或慢,或过渡或长期保存的区别。

第一篇“鉴往事”里,我们讨论了AI存储、分布式存储,未来在边缘计算、量子计算的场景下,是不是会催生出边缘存储、量子存储出需求? 例如有别于云存储,边缘存储应该具有功耗较低、占用空间较小,延时低的特征。

华中科技大学谢长生教授在2019中国数据与存储峰会分享了“Long Data”也即长期存储的挑战的应对。他提到,国际上有个研究课题How preserve information for 100 years?就是如何保存信息一百年。

我想,这种需求,也许会催生出生物存储,或基因存储?

这并不是空穴来风或者异想天开。2019年7月,美国布朗大学研究人员在新一期《科学公共图书馆·综合》杂志上发表了一篇论文,提到他们用基于生物小分子的存储系统累计存储了超过10万比特的数字图像信息,从中获得图像的准确率可达98%以上。

一百年太久,只看十年。

个人认为,未来十年,第一篇“鉴往事”里提到的分布式、云化、闪存化、智能仍然会延续。与此同时,将出现一些新的趋势,其中有一个重要的趋势将伴随着数字化转型逐渐显现出来,背后的原因是:数据即资产、数据即权力。无论做为企业,还是政府,当意识到数据的重要性的时候,不会轻易的分享数据,或者说将这一权利拱手相让。如何促进数据共享呢?

物理学家张首晟曾提到:“人工智能现在碰到了一个很大的瓶颈,因为如果 AI 要非常大的进步,它必然要需要很大的数据,但是现在的数据提供方都没有足够的激励机制提供极大量的数据”。如何激励数据提供方(也即用户和组织)提供数据,尤其是隐私数据(数据越隐私,价值可能越大)呢?

如何在激励数据提供方分享数据的同时,又能保护隐私呢?

答案就是区块链和存储的结合。

张首晟在文章《区块链技术是互联网世界新的分合转折点》中自己回答到:“一旦有了区块链之后,如果创造数据能被价值化、共识化,就会形成一个大的数据市场,使得人工智能也能够更往前进一步”

区块链解决了数据确权、激励分享、数据资产交易和流转等问题。但区块链要发展,区块链基础设施要先行,尤其是其中的重要组成部分 - 区块链存储。区块链存储中,比较重要的一类是公链存储,它是跨越全球的存储池 + Token激励机制。我们可以把它视为去中心化的云基础设施的一部分,或者说是去中心化的云存储。它现在还处在非常早期的阶段,但已经逐渐向我们走来。

2018年7月,Gartner在其技术成熟度曲线中,将区块链存储(Distributed Storage in Blockchain)列入科技诞生的促动期 (Technology Trigger),并预计2023~2028年左右,进入到成熟应用的技术阶段,将有大量主流用户开始接纳。

#FormatImgID_5#

最后总结一下:下一个十年,存储发展趋势的七个关键词是:分布式、云存储、容器存储、全闪存、AI存储、区块链存储、边缘存储。量子存储、生物存储和基因存储可能还为时尚早。