2017年7月底,Gartner的《2017年全球公有云存储(Public Cloud Storage)服务商魔力象限》如约而至,作为当前全球云计算市场IaaS领域(基础设施即服务)的重要组成部分,公有云存储提供块、文件或对象存储服务,不仅是IaaS云计算服务中最为基础,也是应用最广泛的服务类型,更是竞争最为激烈的市场,因此,Gartner每年的公有云存储魔力象限总能引起市场的密切关注。
在今年的公有云存储魔力象限中,国外供应商发生了显著地变化:与2016年相比,AT&T从魔力象限中消失,我们都知道Gartner的魔力象限有一个不成文的规定,那就是“一旦加入,除非退出市场,只会发生象限位置的变化,不会从魔力象限中消失”,是的,令人遗憾的是,在2017年,AT&T这家运营商巨头停止了其公有云服务;
其次,AWS仍然是市场上最为领先的公有云存储服务提供商,在2016-2017年的两个魔力象限中,AWS的位置从来没有改变过,这样稳定的位置显然人们是有心理准备的;
最后,比微软退步更让人关注的是,罗睿兰的IBM又一次调整了业务方向,蓝色巨人在2016年底彻底放弃了Softlayer品牌,将其归入了Bluemix公有云服务,而且同时运行着两个独立的对象存储平台:即将被废弃的基于OpenStack Swift的旧公有云存储服务和较新的基于2015年收购的Cleversafe业务的云存储平台——分裂的业务模式导致了进展缓慢的业务发展:蓝色巨人既没有宣布对旧存储平台的任何迁移、转化计划,新存储平台作为Bluemix业务部门子业务的整合进展也是缓慢且不完整的,它甚至缺少身份和访问管理(IAM)功能来服务数据的细颗粒度访问。
或许,对于公有云存储领域,甚至是公有云和云计算领域的IBM来说,我们只能对蓝色巨人在这一市场上的决心表示钦佩,但是进展和规划只能表示一声叹息了吧!
除国际厂商的遗憾之外,我们也能够看到中国公有云服务提供商带给我们的惊喜,在知名云服务提供商Rackspace和DELL EMC的明日之星Virtustream之间,我们不难发现一家中国公有云服务提供商位列其中——虽然只是位列利基象限,但腾讯云作为首次进入Gartner公有云存储魔力象限的中国公有云服务提供商之一,仍然让市场对中国公有云服务提供商在全球公有云存储市场取得的成绩眼前一亮。
在对腾讯云的评价中,Gartner表示:腾讯云是一家拥有丰富的IaaS、大数据分析和人工智能服务的云服务提供商,它的云对象存储与其提供的多种增值服务紧密集成,比如说富媒体转码平台和CDN服务,而且可以提供低延迟的存储服务,因此,“腾讯云存储服务是视频、内容分发、大数据分析、灾难恢复等应用场景可行的(云存储服务器)提供商。”
那么,2010年对外服务、2013年全面开放、2015年之后全球服务节点“大爆发”的腾讯云,是如何做好公有云存储这个公有云计算服务中最为基础的服务业务的?又是如何进入2017年Gartner2017年全球公有云存储魔力象限的?腾讯作为“全球最大的、最多元化的游戏、视频和社交网络服务提供商之一”,又为腾讯云存储规划了什么样的未来?
对象存储COS:争兵家必争之地
根据存储的“对象”不同,存储系统的类型总体来说分为三类:文件存储、块存储和对象存储,其中文件存储主要以存储非结构化的视频、图像和数据文件为主,块存储即企业级IT市场常见的Block Storage,以数据块的形式存储数据,形成如今封闭、专用和复杂的SAN存储环境。
与文件存储和块存储不同,对象存储的存储目标是“对象(Object)”,它的出现是为了克服块存储与文件存储各自的缺点——前者读写快、不利于共享,后者读写慢,却利于共享,我们需要一个读写快、利于共享的存储方式,这就是对象存储。
对象存储有着非常优秀的特质,总的来说,对象存储能够存储非机构化数据,支持高可用、高可靠的、高可扩展性的架构设计,支持大并发量的存储读取需求,同时,对象存储可以使用HTTP REST协议(REST API),这大大提高了对象存储在互联网、云计算时代的读取访问便捷性,谁让对象存储它可以使用HTTP直接访问呢?
如果尝试用一句话来概括对象存储,那可以这么说:对象存储是支持海量用户远程访问的无限容量高经济性存储系统——很显然,对象存储简直是公有云存储服务天然适配的最佳形态。
于是,对象存储毫无疑问的成为公有云存储服务的开创所在和兵家必争之地,事实上,2006年AWS正式对外提供服务的第一个公有云服务,正是以对象存储为核心的“亚马逊简易存储服务”,即Amazon Simple Storage Service,对,没错,就是后来大红大紫的AWS的S3存储服务。
所以,想要在公有云服务市场立得住?先把对象存储服务最好了再说。
2006年起,腾讯开始使用Tencent FS开始承载包括QQ相册、微云、微信朋友圈等业务在内的非结构化数据,并逐渐成为一个国内外首屈一指的大规模存储系统,管理超过1EB的数据,在腾讯开始涉足公有云,特别是公有云存储之后,腾讯云以此为底层,构建了腾讯云的对象存储服务“对象存储COS(Cloud Object Storage)”。
有鉴于对腾讯自身规模庞大、架构复杂、需求极高的业务的支撑,腾讯云的对象存储COS一开始“就是含着金汤勺出生的”,它不仅包括标准存储、低频存储、近线存储三档存储引擎,更在兼容AWS S3 API、追加和回溯等功能方面领先业界竞争友商,并由此构建了一套完整的、可靠的服务架构:它以高可靠性的分布式数据存储为底层架构,提供兼容AWS S3存储的API、SDK开发包和HTTP REST访问接口;针对实际业务中的图片智能识别处理、音视频处理和文档处理等提供应用接入;同时,为公有云存储用户提供大数据套件、命令行工具和POSIX兼容性支持;
此外,为了支撑对象存储COS的数据读取访问,腾讯云提供CDN加速上传和下载、腾讯BGP骨干网 29 ISP互联和DCI专线等传输服务,从而以公有云存储为基础,结合高效率、高性能的数据传输服务,“解决最后一公里的数据到达问题”。
无论是考察公有云存储,还是考量对象存储,只要是涉及到存储的话题,有四个字永远无法绕过,那就是:“安全可靠”,作为承载着企业最关键的数字资产的存储平台,没什么能够比“安全可靠”这四个字更基础也更重要的考量标准,就像存储行业常说的一句玩笑话说的:“存储系统,可以存不进去,取不出来,但是只要是数据在那儿就不是大问题。”
有鉴于此,腾讯云的对象存储COS在全球部署了9个可用区,并仍然在规划至少7个新的可用区域,同时,根据数据的性质,采用通过多副本或纠删码的存储方式,让数据分布在同一地域内不同可用区,从而在保证数据可靠性的前提下保证恢复数据的速度,此外,对象存储COS的每一层架构设计均为无状态设计,“因此无论从哪一层都可以对网络波动和物理故障做及时的剔除,保障业务稳定性。”
在安全性方面,对象存储COS不仅采用了两次SHA1加密、支持指定参数加密并提供完备的密钥/请求有效期管理,更接入腾讯云 CAM 权限管理系统,所有读写请求均需经过系统鉴权,若无权限则拒绝请求。此外,“数据通过算法分布,并单独维护索引,数据只能被系统访问所读取,无法通过硬件或服务器直接读取。存储底层可选服务端加密能力,加密后数据匹配密钥访问,进一步保障数据安全。”
于是,腾讯云也为其对象存储COS拥有着99.95%的服务可用性,99.999999999%(不用数了,11个9)的数据可靠性”的服务水平标准,同时数据的重建恢复时间“少于10分钟”。
就对象存储的应用而言,随着公有云存储的使用越来越普遍,对象存储在用户中的认知度也越来越深,在多点上传的UGC、频繁IO的网盘、海量数据的归档及备份(对象存储在企业级私有云市场最早的应用就是备份恢复和归档)、热点资源分发下载等应用场景中,对象存储都有着广泛的应用前景。
但腾讯云的对象存储COS的想象空间却不止于此,正如Gartner在魔力象限报告中所说,腾讯云能够将对象存储与其CDN分发、数据处理等云服务紧密结合,从而构建更为适应特定工作场景、业务需求的云存储解决方案。
以国内某知名APP视频服务商为例,腾讯云以对象存储COS为基础提供高效率、高可靠的视频存储服务,不仅结合腾讯云CDN加速视频分发速度,更重要的是,紧密结合了优图的智能(视频、图片)识别技术,提供了黄色、暴力等视频的自动检测功能,对以大规模、多点UGC内容聚合为卖点的视频平台,显然这是一项必备的素质。
在国内领先的某知名IPTV服务商,因为COS 同时还提供多种混合云搭建及私有云部署解决方案,这家IPTV服务商便采用腾讯云COS对象存储和CSG存储网关作为其企业混合云的一部分。为其在全国各地的分公司做存储的数据源,并将剪辑完成的视频经由腾讯云 CDN 分发。
2014年,腾讯云开始对外提供对象存储服务,至2016年,已经为多家大客户提供云端数据存储服务,而在发展过程中,从对象存储起步,腾讯云也开始提供越来越多、越来越完备的公有云存储服务——不过,细心的人不难发现,怎么腾讯云的公有云存储中,混入了私有云存储?
公有云存储一不小心“混入”了私有云
在腾讯云的云存储版图中,私有云存储CSP(Cloud Storage on Private)的名字显得尤为明显,任何云存储的用户,在一片公有云服务中,猛然发现一个“私有云”,都必然会问一个问题:腾讯云是公有云,为什么会有私有云?更进一步,略了解些企业存储市场的人则会问:你比IBM、HDS、DELL EMC的私有云(存储),有什么优势?
实质上,腾讯云的私有云存储CSP并非传统意义上的“SAN、NAS等硬件系统”,而是一个“基于腾讯公有云分布式存储架构,提供客户机房私有部署、腾讯云机房专区部署两种方式,满足客户多种场景需求,并保障客户对系统 100% 可控”的存储服务——一句话概括:这是一个建构在腾讯云公有云存储上的“物理+逻辑两层的私有云服务”。
按照腾讯的说法,私有云存储CSP具有如下特性:1、支持从 TB 级到 PB 级线性扩展;2、支持通用 x86 服务器,避免硬件厂商锁定;支持 S3、Swift、FTP、NFS 多种对象、文件访问协议;3、提供简洁易用的可视化运维界面,掌握系统实时运行状态;支持客户机房部署、腾讯云机房专区部署,满足不同场景需求。
从这些说法中,我们不难勾勒出一个私有云存储CSP的大致轮廓:它以标准化的、分布式的x86架构为基础,向上提供动态扩展、全生命周期管理的,满足大多数企业私有存储需求公有云服务。
私有云存储CSP对腾讯云在存储领域的发展是有着里程碑式作用的,我们都知道,公有云存储的早期和绝大部分的用户都是小型企业、组织机构和开发者(或开发团队),长期以来,对数据存储有着极高要求的大中型企业,仍然最信赖的是IBM、HDS、DELL EMC等品牌,而非腾讯云、AWS甚至都不是IBM的Softlayer。
对腾讯云的存储业务来说,私有云存储CSP的推出和商用,意味着腾讯云在存储业务上可以提供与企业级私有云供应商相同水平的SLA,这两者的区别,就像是“你可以容忍双11电商网站可以宕机,却无法容忍xx银行今天取不出钱来”——如此大的区别,对腾讯云的存储业务来说,重要性可见一斑。
因此,腾讯云对私有云存储CSP的重视程度是非常高的,用他们自己的话说,“(CSP)可是拆分出腾讯十几年的运营、运维系统,为客户提供私有云存储服务。”
当然,除了COS和CSP,腾讯云在存储业务上还有更多的产品和服务,比如说,文件存储CFS提供了可扩展的共享存储服务,支持标准的 NFS 文件系统访问协议,为多个 CVM 实例提供共享的数据源,支持无限容量和性能的扩展;
归档存储CAS则面向面向企业和个人开发者提供的高可靠、低成本的云端离线存储服务。您可以将任意数量和形式的非结构化数据放入CAS,实现数据的容灾和备份;
云硬盘CBS是腾讯云提供的用于CVM实例的持久性数据块级存储。每个云硬盘在其可用区内自动复制,云硬盘中的数据在可用区内以多副本冗余方式存储,避免数据的单点故障风险。
而在这么多“(数据)存储”服务之外,腾讯云的存储版图中还有一个被称为“存储网关CSG”的存储“功能”服务,它的作用是帮助企业或个人实现本地存储与公有云存储的无缝衔接,是一个通过在本地安装云存储网关即可实现混合云部署的混合云存储方案,最终形成“本地私有云+腾讯云公有云云存储”的架构。
事实上,如果我们将对象存储COS、私有云存储CSP和存储网关CSG放在一起不难发现,对腾讯云来说,它的目标不仅仅是传统意义上的公有云存储,而是要实现未来公有云存储对绝大多数企业存储——包括私有云、公有云和传统存储——的替代与融合,这才是腾讯云的存储业务的业务发展和未来前景。
当然,云计算市场是在不断向前发展的,今天推出的服务,明天可能就成为了明日黄花,就像AWS,每年都会推出少则20几项,多则数十项的新产品、新服务发布,对于云计算市场,来说产品服务的更新仍然会在很长的一段时间里保持高速的增长。
但随着云计算概念的深入人心以及应用实践的增多,用户对云存储的要求也就越来越高,这些要求的提出,也将对未来Garner《全球公有云存储(Public Cloud Storage)服务商魔力象限》的撰写产生影响。
云存储:不止是第一次而是每一次
“云存储往往是使用公有云的第一次”,对于云存储在公有云市场的地位,用这句话来评论应当说是合适的,不只是AWS的S3,如果我们看大多数人使用云的精力,莫不是从云数据同步、云数据存储为深层内核的Dropbox、百度网盘、Windows Live等开始的,存储的需求是庞大的也是天然发生的,而且对于存储来说,高昂的成本、复杂的管理、永远不足的空间,促使用户对云存储的渴望程度从未降温。
但我们应当意识到,云存储在公有云的使用中的地位,“不止是第一次那么简单”,而是“每一次都会发生关系”:从最简单的应用需求来说,数据的备份、恢复、同步和容灾,往往成本高昂、架构复杂、效果也差强人意,在公有云上使用能够很好支持这些需求的云存储服务,几乎是未来企业的必然。
事实上,就连从超融合市场王座上转移到企业云市场的Nutanix,都把第一个(也是目前为止唯一一个)云服务定位在了数据存储的灾备业务上。
对云存储的需求,我们将会在各行各业看到百花齐放的态势,比如说,在广电媒资领域,为了更好地适应互联网电视、高清电视和点播、独播业务的发展,广电媒资的“云存储+归档+CDN分发+云转码”的云存储需求架构将日益显现;
在公安安防监控领域,随着边缘计算(例如将犯罪人员比对的图像识别放置在前端摄像头)、高清摄像头非现场执法和网络追逃的普及,公安执法等视频监控与存储是云存储的一个新爆发点;
此外,在政务云(虚拟化数据存储平台)、政企数据备份归档(日益加强的法规及监管要求)、在线(远程)教育、企业(在线远程)培训等市场,云存储都将是这些业务能否顺利开展的根本条件之一,更不用说,当云存储、CDN、视频转码、大数据分析,乃至人工智能技术相结合之后所能发挥出来的巨大作用。
对于腾讯云来说,云存储的业务不仅仅是“拉动客户来腾讯云”的重要服务,更重要的是,通过与云存储服务的结合,腾讯云能够将其在媒体、游戏、视频、金融、安全、社交网络服务等多个领域所积累的技术优势,能够转化为场景化解决方案,从而面向企业业务、用户应用来提供相应的解决方案,这将是腾讯云也是整个公有云的未来发展的重要驱动力。
就近来说,在首次进入Gartner《全球公有云存储(Public Cloud Storage)服务商魔力象限》之后,腾讯云在存储业务上给自己定了三个目标:
首先,技术上进一步看齐AWS S3等优秀云存储服务的功能特性,持续优化读写性能,做到“全面超越行业竞争友商”;
其次,不仅持续优化中文文档,更要面向全球客户,优化英文文档,实时跟进腾讯云海外部署,“提供全球化(领先)的存储服务”;
第三,在渠道上保持开放的态度,将公有云、私有云存储服务于第三方的渠道和应用相结合;在生态上进一步向着社区开放,并进行更多的兼容性测试,让应用开发者(比如AWS S3的SDK和插件的应用开发者)可以“直接修改配置并使用对象存储COS”,同时投身开源社区,将可开源的代码贡献社区,参与到Hadoop等开源项目中去。
总之一句话:腾讯云存储的目标,是朝着魔力象限的右上角(领导者象限)前进!