“虚拟化的数据正在迅速成为新的常态。没有人会像从前一样使用存储了”——提姆戈尔曼
Gartner曾预言数据将出现指数级的增长,并预测数据的末日。根据该市场调研公司介绍,数据末日将意味着,到2017年,三分之一的企业的IT部门将要面对数据危机。如何避免数据末日呢?
问题:过时的技术
尽管企业的IT部门一直在努力应付不断增长的海量数据已经有相当长一段时间了,但他们基本上都依然是沿着旧的方法来管理数据。这些老旧的方法包括执行生产数据库的定期备份以及将相关数据备份复制到需要这些数据的团队,如业务报告,培训报告,研发报告,质量认证和用户验收测试报告。而相关团队的数据报告请求数量已经随着时间的推移越来越多;同时,数据和数据库的规模也已经大大增加了。值得庆幸的是,尽管数据量在不断增长,但存储设备的价格已经下降,这使得一部分企业的IT主管认为他们能够处理增加的数据和数据处理需求。
不幸的是,企业往往仅仅因为存储成本的下降就忽视了更大的存储管理成本。因为有着如此多的存储管理需求,尽管存储设备的成本下降了,但管理存储的总体成本仍在不断增涨。随着管理需求的增加,是由于企业更大的存储需求,因此也确实需要花费更多的时间和资源在数据复制和数据库副本方面。为了减轻日益增加的配置,一个数据管理的方法是使用文件系统的快照,以提供数据的低存储副本,也称为薄克隆。尽管使用文件系统快照具备提供数据的精简克隆拷贝的巨大潜在优势,但该技术在很大程度上并未得到充分利用。利用文件系统的快照来提供数据的低存储的副本简直比登天还难,原因有二:企业的官僚化和技术原因。
企业的官僚化:配置数据库薄克隆复制需要存储管理员,系统管理员和至少一个数据库管理员。通常情况下,任务需要更多的人手,包括经理,网络管理员,备份管理员等。而越多的人员参与其中,完成任务就需要花费越多的配置时间。一个小的任务,可能只需要一个小时的配置时间。当有人处于闲置状态可能需要数天的时间,该人员会变成95%或以上的繁忙状态,并且假设时间允许,通常IT人员有更多的工作要做。越多的人参与进来,如数据库管理员,系统管理者,存储管理员和网络管理员,管理快照所花费的时间就越长,这就可能造成了几天和几周的延迟。
技术因素:所有已被用来实现薄克隆的技术解决方案通常都需要专门的硬件,相关领域的专家,人工干预和脚本。这种复杂性,为该技术的广泛采用带来了一定的障碍。
解决方法:数据虚拟化
鉴于在数据管理采用薄克隆技术的过程中存在着上述的数据管理技术和企业官僚化的两大瓶颈问题,因此,该领域迫切需要有新的工具。IT企业正在学习新的薄克隆的方法,其被称为数据虚拟化,其帮助企业剥离了部署薄克隆技术部署所需要花费的官僚周期和管理快照技术过程中所遇到的困难。
数据复制的重要性到底如何?其无疑是极其重要的。大多数公司的数据都有多个副本,用于研发,质量认证测试,用户验收测试,报告,培训和备份。加快数据复制和消除用于重复数据所需的巨大存储量,能够为企业的IT部门带来巨大的灵活性。
数据虚拟化需要与快照文件系统相同类型的技术,并将薄克隆数据技术所需的所有步骤封装到一个单一的自助服务界面,这样,一名低级的数据库管理员,甚至是一个开发人员或业务分析师,都可以在几分钟内配置几乎没有存储的大量数据的私人复制。数据虚拟化依靠薄克隆底层技术也增加了所有步骤过程中的端到端的自动化,实现了一个单一软件的自我服务,可以部署在商品化的硬件上,能够使用企业内部部署的任何存储,以及云,甚至在企业内部部署的存储设备与云之间实现复制。
通过数据虚拟化,薄壳克隆技术所有必需的企业官僚化和技术障碍均被消除。数据虚拟化提供了一个数据的供应链基础设施。使用数据的供应链,企业用户可以很容易地将数据从一个开发者转移到另一处开发者,或者从一个团队转移到另一个团队,一个平台到另一个平台,而所有这一过程,均能够通过屏蔽和安全保管链来确保数据传递过程中的安全。
数据虚拟化:使用案例
数据虚拟化的实际使用案例主要存在于三个方面:
1、应用程序开发
2、数据备份和恢复
3、业务流程启用
应用程序的开发,而不是开发人员共享生产数据的单一副本,不必等待几天的时间,以确认任何相关模式或元数据的变化是否有效,不会与其他开发人员发生冲突,数据虚拟化允许每名开发人员都能够对他或她的数据进行复制和修改,无需担忧其复制或修改工作是否会影响其他开发人员的工作。因为虚拟化数据的速度很快,且存储容量是最小的,很容易让开发人员得以在多个合并的环境中进行测试和验证,进而进行合并的更改。开发人员可以在几分钟内通过虚拟数据分支将它们的数据环境传递到QA质量认证测试环境,从而省去了基础设施建设的成本和搭建QA环境所需消耗的时间。同时,因为虚拟环境是如此轻量化,许多环境中可以被分配至QA环境,执行并行测试,进一步加速应用程序的开发。
在数据备份和恢复领域,数据虚拟化可以提供比传统的备份更长更细粒度的窗口,实现更快地访问。利用数据虚拟化,来自不一样来源的数据收集到一起,会根据来源的不一样而产生变化,它们被存储在一个时间流。从时间流,数据拷贝可以在任何时间点进行配置。配置数据副本只需要几分钟,所以假设有人丢失了生产过程中或逻辑上的数据源的数据表,一个虚拟的副本都可以在几分钟内提取的虚拟拷贝,实现数据的配置。然后数据就可以恢复到生产数据库。传统的备份解决方案,可能需要几天或小时来解决类似的问题(细粒度也大大降低),而传统的灾难恢复解决往往会复制逻辑损坏到恢复站点。
最后,通过数据虚拟化解决的最重要的领域是其对于业务流程的支持。在业务流程启用方面,企业用户最为关注的是安全性,合规性,现代化和商业智能等领域。在商业智能领域,数据虚拟化给能够加快业务分析,以低成本获取最新的数据,并消除了夜间批处理和ETL窗口,提供对实时数据近乎随时随地的访问。对于现代化,数据虚拟化通过省去了迁移大量数据的多个副本,使数据中心Data Center迁移更容易,而不再是仅仅只允许企业将数据复制到唯一的一个虚拟副本,并就虚拟拷贝进行任何更改。举个例子,假设数据中心Data Center有一个生产数据源和四份该数据的拷贝时,其通常需要复制5倍的源数据,以迁移整个安装系统,但通过虚拟数据则仅可能只需要对数据进行单个复制,而假设对所述数据在虚拟化过程中实施压缩,则可能需要少至三分之一的源数据。由于虚拟化的过程中不断保持了来自源数据变化的时间流,可以在几分钟内通过一个简单的界面访问一个旧版本,允许低资源使用和快速访问旧的数据副本,满足了合规的目的。最后,由于所有的数据拷贝是通过一个单一的位置管理,很容易通过掩蔽和监管链保证其安全。而这,只是对通过数据虚拟化改造可以如何支持业务流程的一个粗略的概述。
数据虚拟化:新的常态
虚拟化的数据正在迅速成为新的常态。企业 CIO们可以充分利用该技术来帮助企业获得新的竞争优势;当然,那些不密切关注该技术的CIO们则可能需要等待才几年认识到他们被竞争对手追赶的原因在于他们的基础设施已经落伍了。
目前,行业内的一部分先锋企业,如美国银行,思科,Comcast,易趣网,Facebook,英特尔等等企业均已经开始在使用数据虚拟化技术了,通过快速访问最新数据,已经帮助他们提高应用效率达20-50%,锐化了商业智能,扩展了其市场。而那些依旧被困在复制数据克隆旧数据管理模式的企业越来越落后于市场。最终,仅有那些使用了数据虚拟化的企业才能够获得进一步的成功。
在过去的20年,数据虚拟化是潜在的最强大的提高数据流和开发输出,以及数据质量的方法。其通过消除庞大的基础设施,企业官僚主义以及数据库和数据的商业智能群体,开发环境,审计要求和备份所需的配置时间提高了企业的业务水平。开发环境和商业智能团队依靠其生产数据和数据库的拷贝,以及数据虚拟化可以在几分钟内实现所有副本的配置;同时,通过在所有的副本共享重复块,几乎无需存储开销。
与快照技术相比,数据虚拟化从数据源自动收集完整的端至端的过程的数据变化,并将这些数据变化存储在时间流,能够在几分钟内通过点击几下鼠标就能够配置数据到目标机器。由于虚拟化的数据是集中管理,整个保管链上的数据可以进行审核和管理。数据虚拟化的好处是使企业得以采用该技术来加快他们的项目,降低成本,提高灵活性,让他们获得超越竞争对手的显著优势。