某大型银行用户的存储环境中有几套IBM的FAStT系列磁盘阵列,其中一台设备由于服务的业务系统较为繁忙,使用了超过80%容量,管理压力很大;与此同时,另外两台设备的利用率还没超过20%,经常处在空闲状态。怎样才能够将这些存储资源平衡使用呢?该用户最后使用了IBM SAN卷控制器(SVC)对这些设备进行统一管理。通过这种方式,该银行不仅保护了以前原有的投资,而且还大大提高了存储管理效率。
这就是用户采用存储虚拟化方案的例子。当然,当记者询问该用户时,他们对虚拟化技术并不是很了解,但是,虚拟化实实在在帮助他们解决了问题,为他们带来了更多的价值。
存储虚拟化的定义
存储虚拟化通常定义为:“在存储设备中形成的存储资源透明抽象层。”本质上讲,虚拟化技术将逻辑数据访问与物理数据访问分离开来,使用户可以为物理存储资源创建一个巨大的存储池。在这些池中又可以创建出许多虚拟磁盘,而在需要的时候,虚拟磁盘又以逻辑存储资源的形式被分配到网络中的服务器上。对于服务器和应用而言,所有这些物理磁盘设备和存储容量的分配都变成了完全透明的过程。
《SNIA词典》(http://www.snia.org/education/dictionary/v/) 对虚拟化的定义是:“为了达到提供有用抽象概念的目的,而将一种或多种(后台)服务或功能与附加(前台)功能相集成的活动。通常,虚拟化可以隐藏一些后台复杂性,或将新的功能增加到或集成到现有后台服务。”
IDC则认为,虚拟化技术可以利用软件和起支持作用的硬件来简化复杂系统的管理工作,其中当然也包括存储系统。IDC对存储虚拟化的定义是非常广泛的。虚拟化包括将服务器连接至逻辑卷的能力,逻辑卷可以非常灵活地连接至实际的物理卷,另外还包括重新分析异构在存储资源的能力,而且无须考虑存储资源中的低层细节,如块的实际大小,同时还具备存储管理功能自动化的能力。
记者认为,存储虚拟化涉及的范围十分广泛,它几乎包括存储领域的各个方面。具体来讲,存储虚拟化包括在哪里产生、在哪里完成以及如何实现等问题,图1简要说明了存储虚拟化的架构。
虚拟化应对复杂存储需求
在迎合业务需求的过程中,IT经理们往往要面对巨大的挑战,因为他们管理的环境中包含来自多个厂商的多种操作系统和存储技术,还有许多不尽相同的应用。正是由于这种复杂的存储,存储通常是被当作孤岛来管理的,在需要扩展的时候只是简单地添加新的存储子系统,而不是充分发挥现有资源的潜在能力。这种方式导致存储资源的利用率通常只有35%至50%。为了真正创建一个高效率的环境,管理员必须使用各种工具,利用娴熟的技巧对大型、复杂和异构的环境实施有效的管理。
另外,许多商业机构都在面临长期的预算压力和前所未有的数量增长势头,它们必须找到一些新的方法来提高运营的效率,从而有效地控制成本。由于管理存储资源所需要的成本是购买这些资源的三到五倍,所以要想真正提高存储的效率,企业就需要采用合适的架构并对其存储架构进行有效的管理。
因此,存储管理员每天都要面对一系列问题:与购买额外存储资源有关的成本、物理空间及环境成本、将存储转化为服务所需的实施时间、存储分配所需要的管理成本、具有存储管理技能的人员以及在多厂商环境下日益增加的数据整合需求。所有这些问题可以归纳为时间、成本(资源)和空间(容量)三个根本项目。有了存储虚拟化,时间、成本和空间能得到更好的利用,体现出真正的商业价值。
Data Mobility、ESG和Gartner等领先的分析公司都已经发现,面对存储需求和功能复杂性的加速增加,用户需要存储虚拟化技术来简化存储设备和数据资源的管理。存储区域网的推出是重要的第一步,因为它可以提供连接,以便在多台应用服务器之间共享存储系统。不过,尽管SAN可以实现异构存储设备的共享,但是应用服务器仍然需要分别处理每台存储设备,无法在不同存储系统之间共享功能或容量。存储虚拟化的目标是,将多组异构存储系统“熔入”一个公共存储资源缓冲池中。
总体来说,存储虚拟化可以表现出三个优势。
首先,存储管理的复杂性被大大降低。虚拟化存储环境下,所有的存储资源在逻辑上被映射为一个整体,因此,系统管理员只须专注管理存储空间本身,所有的存储管理操作,如系统升级、改变RAID级别、初始化逻辑卷、建立和分配虚拟磁盘、存储空间扩容等都更容易。
其次,提高存储效率。主要表现在消除被束缚的容量,使整体使用率达到更高水平。虚拟存储化技术解决了存储空间使用的浪费,它把系统中各个分散的存储空间整合起来,形成一个连续编址的逻辑存储空间,突破了单个物理磁盘的容量限制,由于存储池扩展时能自动重新分配数据和利用高效的快照技术降低容量需求,从而极大地提高了存储利用率。
第三,降低总体拥有成本,增加投资回报。用户的存储环境是经过长期过程逐渐形成的,许多用户不得不面对各种各样的异构环境,包括不同操作平台的服务器和不同厂商、不同型号的存储设备。采用存储虚拟化技术,可以支持物理磁盘空间动态扩展,从而使用户不必抛弃现有设备,保障了用户的已有投资,降低了用户的总体拥有成本,增加了用户的投资回报。
虚拟化可以用来掩盖复杂性,实现新功能,并促进性能、连接能力、容量和可用性改善的一种技术,事实上它已经得到了多年的使用。在服务器中,用虚拟化技术来让一台物理服务器以多个逻辑服务器的形式出现。RAID是一种在磁盘存储系统中,用来提高可用性和性能的一种虚拟化技术。在IP和光纤通道网络中,引入了虚拟局域网 (VLAN) 和虚拟存储区域网 (VSAN) 来提高安全性和可用性。
虚拟化将变成必备功能
IDC负责存储领域研究的副总裁John McArthur表达了这样的观点,今天,许多厂商都在大力宣传存储虚拟化技术,把它当作一个市场推广的热点,但是,再过一段时间,大家就不会再这样宣传了,原因在于,存储虚拟化将马上成为存储设备中必不可少的功能,由于每个主流厂商都支持该功能,因此也就没有什么可以值得炫耀的了。
而通过长期与国内用户的交流记者发现,一些用户存在这样一种观点:存储虚拟化会不会是一个华而不实的高级存储功能呢?其实,对于我们中国用户它也已经不再遥远,易观国际最近发布的《中国存储系统市场数据监测》报告中分析,越来越多的用户开始体验到存储虚拟化产品在其存储架构中所起到的关键性的作用,要求在其架设网络时采用虚拟化设备。
虚拟化的三种类型
存储虚拟化可以位于三个位置:在主机中,在网络中(通过应用设备或交换机)或在控制器中。
基于主机的虚拟化
存储虚拟化的出现已经有一段时间了。最初,它从主机接口所见的物理目标和LUN寻址抽象出“卷”的应用视图。这种虚拟化是由一类被称作卷管理器的软件提供的(如图2所示)。卷管理器供应商还增加了快照、镜像生成和复制等附加功能。卷管理器最初是在直接连接时代开发的,并不支持SAN。尽管复制等功能可以在异构设备之间完成,但是一般情况下,在每个卷中,虚拟卷只能在一种存储设备之间实现。
基于主机的存储虚拟化可以虚拟多个阵列中多个厂商生产的磁盘,然后以虚拟的方式呈现在单个主机面前。运行同一操作系统的多台服务器还可以访问共享的存储资源及文件,而且对于应用来说是完全透明的,相互之间也可同时运行。
该类解决方案将文件系统和磁盘管理技术组合在了一起,可确保对所有的存储资源实施简便的管理、优化的性能和最大的基本数据可用性,不仅能够提供访问异构存储资源的能力,还可以为关键信息和应用提供连续的访问能力,以及混合平台及存储环境中的存储设备故障保护。
基于网络的虚拟化
该类方案是一种基于应用设备或交换机的虚拟化。在过去4到5年中,市场上出现了许多基于SAN的虚拟化产品。对于带内和带外应用设备或智能交换机的争论进行了一轮又一轮。但是,它们没有降低复杂性,反而为存储网络核心增加了一层复杂性。
然后,由存储控制器在网络边缘完成的功能得到了改造,以便在SAN的核心实现。但是,每一个连接到SAN的人都能感觉到该功能的资源消耗所产生的延迟。
SAN中的智能是很重要的。但是,只有在它可以访问合适的信息时,它才是有用的。位于网络核心的应用设备或交换机没有关于主机应用的I/O去向或存储系统中数据位置的有关信息。这些信息是通过截获和转发I/O而获得的,这打破了原始I/O请求的完整性。但是,这些信息可以直接供存储控制器使用,它是主机I/O的目标接收者。
基于控制器的虚拟化
基于控制器的虚拟化也被成为“盒内”虚拟化,它为用户带来了专用缓冲池,这些缓冲池可以被组合为逻辑单元。在一个存储设备内,盒内解决方案具有易于配置的优势,而且先进的方案还可以通过控制器之间的通信实现多个存储设备之间的共同虚拟化。
盒内虚拟化可以大幅度地降低存储部署的复杂性,使管理员能够将存储资源当作一个合并后的资源池来管理,而且容量管理也从原来的独立单位一级提升到了池一级。所有这些功能都有效地简化了存储管理,改善了容量利用率,并且使培训需求降至最低。
盒内虚拟化还消除了其他架构中常见的所谓“标准容量”。标准容量通常被认为是预先分配给某个卷的容量,并为未来的容量需求增长做好了准备。但盒内虚拟化消灭了这种传统的需求,使卷扩展的工作变得更为简便,并且提供了比传统架构更高的容量使用率。
还有一种基于控制器的虚拟化方案,就是被IDC称作网络存储控制器的存储设备,它在本质上也是基于控制器的虚拟化,但是与普通的盒内虚拟化不同,网络存储控制器还可以做到对连接到它上面的其他存储设备进行虚拟化,因此网络存储控制器也称为基于控制器的外部虚拟化平台。
网络存储控制器在对SAN带来的连接加以利用的同时,还可以支持直连式开放系统和大型主机。作为一种智能存储控制器,通用存储平台可以直接获得关于I/O来源与目的地的有关信息。因此,它最适合为网络边缘上的存储设备和数据虚拟化提供支持。这种方案将镜像和复制等资源需求量大的功能转移到了它们所属的网络边缘。它还避免了增加通过网络的每条I/O的延迟。
各类方案的挑战
基于主机的虚拟化由卷管理器软件提供,尽管增加了快照、镜像生成和复制等附加功能,功能也可以在异构设备之间完成,但虚拟卷只能在一种存储设备中实现,其缺点是需要占用主机资源,而且只能在卷管理器所在的主机上实现,卷管理器对于主机平台是有选择的,而且通常被嵌入主机软件中。
基于网络的虚拟化产品能够为难以预测的用户需求提供更全面的支持,但未能降低复杂程度,反而为存储网络核心增加了一层复杂性,同时也会给每一个连接到SAN上的人带来由资源消耗所造成的延迟。另外,有用户担心,基于网络的虚拟化方案中,所有的配置、管理信息均存放在网络设备中,当网络发生故障或者用户进行网络升级时这些信息如何管理将变得十分复杂。
而基于控制器的“盒内”虚拟化虽然具有易于配置的优势,但并不提供多层存储缓冲池,还给完整性和服务质量带来了新的挑战,同时对数据空间的分割增加了日常管理的复杂性。
存储控制器方案的挑战也很多。网络存储控制器还没有完全满足用户对原有资产支持的需求,同时用户更希望网络存储控制器能够提供更广泛的异构存储。网络存储控制器的另一个主要挑战是在一个通用管理基础设施上提供所有原有存储管理工具和实用程序。随着企业开始评估其对分层存储解决方案的选择,他们将需要可以实现协同和自动化管理的简单明了又易于部署的管理解决方案。
标准不统一
有一点比较重要的是,目前,存储虚拟化技术还缺乏行业标准。由于存储虚拟化可以从软件、硬件,基于不同层次的方案或标准实现,这就意味着设备的选择非常广泛。迄今为止,许多厂商还忙于发展技术力量来创建各自的存储虚拟化设备,因此A厂商的“虚拟化”与B厂商的可能完全不是一回事。由此可见,广大设备提供商和业内人士加强合作,尽快制定业界公认的标准,才能推动存储虚拟化技术持续发展。
在确定存储虚拟解决方案类型的时候,用户应当根据自己的IT基础设施和具体的应用需求来选择相应的方案。在选择存储虚拟解决方案的时候,用户还必须了解自己的数据流程。这一点是非常重要的,因为这样既可以确保满足当前的业务需求,又可以确保解决方案能够适应未来的技术发展和未知的未来需求。在存储虚拟化技术中,存储虚拟层最关键的特性就是支持各类业务策略,而不是束缚住业务策略的手脚。
由于各厂商在实现存储虚拟化时都各自为政,他们实现方式不同,功能各异。因此,我们向读者介绍存储虚拟化方案时,需要针对每一个厂商分别介绍。■
选择虚拟化方案的八大因素
1. 已部署的企业存储阵列中的异构特性
2. 应用是否需要访问那些包含在多种存储设备中的数据
3. 替换或升级存储资源时是否需要保持不停机
4. 是否有多个主机需要在单个存储设备中访问数据
5. 技术的成熟性
6. 存储区域网架构中的已有投资
7. 所需的安全水平
8. 所需的扩展能力水平
编看编想
虚拟化 简单化
○ 张峰
用户的存储环境到底有多么复杂?关于这个问题,记者曾经多次在文章中提及,但是随着技术的进步发展,我们并没有看到有多少改进,相反,用户对于复杂性的抱怨却与日俱增。
存储虚拟化技术在原理上提供了一种降低存储环境复杂性的方法,从而使得用户的存储简单化,在这里,简单化有两个含义:一是从物理上简化各类存储设备,通过使用存储虚拟化技术,用户在逻辑上可以认为只拥有一个“虚拟”的存储设备;二通过对存储设备的简化做到了管理的简单化,由于许多复杂的工作都由虚拟化来进行,那么需要用户自己进行的操作就变得很少。
在实现存储虚拟化以后,或者说存储虚拟化技术成熟以后,用户将进一步实现存储的公用计算——用户使用存储就像我们日常生活中使用水、电一样,而对于存储的公用计算来说,存储虚拟化是一个十分基本的支撑技术,这也是为什么所有的存储厂商都要推出各自存储虚拟化技术的原因。
当然,目前的存储虚拟化技术距离成熟应用还有很长一段路要走,每种类型所面临的挑战都需要花费一些努力才能够解决。因此有分析人士这样评价存储虚拟化:客观上讲,现在的每种存储虚拟化方案都存在着明显的不足,在实际使用中所能达到的效果与厂商宣传的都相差很远。尽管如此,记者则认为,存储虚拟化的发展方向是对的,我们不可能希望它在很短的时间内立刻成熟起来,毕竟它是一个涉及多方面存储技术的高难度课题,关键的是众多厂商朝着这个方向进行了不懈的努力,有些厂商的虚拟化产品已经是第六个或者是第七个版本了,每个版本都进行了一定的改进。而对于选择虚拟化的用户来说,最大的问题是如何选择目前适合自己的最佳方案,能够与业务紧密结合,解决大部分棘手的问题就达到要求了。
我们还是看到了曙光——用户在虚拟化方面的要求在扩大,厂商在虚拟化方面的投入在增加,市场的竞争也更加激烈,这些成为存储虚拟化技术快速成熟的发展动力。
方案展示
■ 厂商:EMC
■ 方案:Invista
■ 类型:基于网络的带外虚拟化
EMC公司5月16日正式发布了它的存储虚拟化平台。新的Invista网络存储虚拟化解决方案(即以前的存储路由器)将利用Brocade、思科和McData等领先交换机厂商的智能存储区域网交换机平台,给存储架构发展带来一个良好的开端。
EMC执行副总裁兼首席开发官Mark Lewis说,EMC的Invista给客户提供了实施存储虚拟化的灵活性。Invista以EMC的虚拟化必须首先把硬件和软件分开的理念为基础。如果硬件、软件、存储和应用都有自己的居所,存储管理就更加独立了。
Invista将于今年第三季度交付,最初将把所有必要的软件和Brocade或思科的交换机捆绑在一起。Lewis说,这种配置最少能处理64TB存储。和McData交换机的捆绑预计明年年初交付。
■ 厂商:HDS
■ 方案:TagmaStore通用存储平台
■ 类型:存储控制器虚拟化
2004年推出的日立TagmaStore通用存储平台使得外部存储设备可以连接到第三代全光纤交换机结构。跟其他虚拟化方案不同的是,日立的设计不会在应用服务器和存储设备之间增加一层复杂性。此外,它不位于光纤通道SAN中,而且不依靠SAN来实现虚拟化,因此,它并不限于开放系统光纤通道存储设备的虚拟化。它可以支持直连式光纤通道主机和通过ESCON/FICON连接的主机。在还没有实施SAN的直连式配置中,作为实施SAN的第一步工作,开放系统和大型主机可以直接连接多达192个光纤通道端口或48个FICON端口。随着配置的增长,可以增加SAN交换机和导向器,以便提高路由效率,引入通用存储平台上的更多虚拟端口,并进行扩张以连接外部存储系统。通过外部存储虚拟化,主机不再仅限于连接高端存储设备。在这种情况下,可以将Mainframe LDE映射到低成本外部ATA或Serial ATA存储设备。
通过通用存储平台,虚拟化被嵌入到日立控制器结构中,而且被延伸到外部存储系统,但是这种延伸方式并不增加复杂性,也不会将用户限制在专用的方案中,应用直接连接到通用存储平台中的缓存映像。
另外,跟盒内虚拟化方案不同的是,日立虚拟化解决方案并不需要专用数据格式。数据保持外部存储设备的格式。如果用户想要恢复开放系统外部设备的原来连接方式,他们不需要重新设置数据格式。但是,恢复原来的连接方式将失去通用存储平台的所有重要功能,这包括使用高速全局缓存和ShadowImage系统内复制、TrueCopy远程复制、卷迁移、通用复制器和日立数据保留工具等软件。
■ 厂商:HP
■ 方案:StorageWorks EVA
■ 类型:存储系统一级的虚拟化
HP将存储系统一级的虚拟定义为:容量与下层物理磁盘限制的脱钩,它使得用户可以为多厂商主机创建更大的可用存储资源池。这些虚拟容量池可以配置为虚拟磁盘,并且提供给任何一台主机或所有的主机。这种虚拟技术实施方法使存储容量能够得到更有效的利用,同时也简化了管理,并且大大降低了总体成本。
虚拟技术使HP StorageWorks EVA具有很大的优势。由于它在诸如有效性、数据保护以及容错性方面都符合标准的要求,EVA还具有多种增值特性,可以帮助企业实现其存储环境的最大化。这项技术利用虚拟实现了优化的性能、轻松的管理、提高的容量利用率、强大的数据复制工具以及更短的重建时间。
HP认为,在存储系统一级,性能的提高是虚拟技术实现的最重要的优势之一。这种性能提升的主要原因在于,它取消了原有的所谓“热驱动器”(光/磁盘),从而实现了真正的负荷平衡。“热驱动器”需要承担密集的I/O负荷,因为其数据访问非常频繁,或者是只为自身处于RAID架构下,导致工作负担极为繁重。虚拟技术则可以使数据分散在多个磁盘上,使性能获得动态的改善。EVA可以支持容量各异的多种虚拟磁盘,并且可以在单个存储池中支持不同的RAID类型。此外,一个池中所有的虚拟磁盘获得的容量可以来自池中所有的物理磁盘。
虚拟磁盘的容量可以实现动态扩展,而且不会造成应用中断,因此大大提高了系统一级的效率。虚拟技术使管理员能够使用EVA来监视某个卷或存储池中的容量使用率,并在需要的时候通过动态的方式为它们分配额外的容量。
分布式或者称为虚拟磁盘容量备用可以为EVA提供更快的重建时间。由于它降低了额外磁盘故障的可能性。用了虚拟架构,EVA将备用容量以同样的方式分配成为一种专用的备用“磁盘”,但事实上这个“磁盘”存在于多个物理驱动器上。管理员还能够根据可用性或空间需求以动态的方式修改预留的空间并且在需要的时间添加更多的保护。
■ 厂商:IBM
■ 方案:IBM虚拟引擎v2.0
■ 类型:可实现多类型虚拟化
2005年8月,IBM推出了一个基于标准的虚拟平台,帮助客户跨多种服务器、网络和存储设备实现资源的集中、管理和优化,提高IT资产的经济性和运行效率,减少(资源)利用不足的现象。
IBM虚拟引擎v2.0平台使用开放界面、虚拟化组建模块和Web服务来连接服务器和存储系统。虚拟引擎v2.0将提供的部分创新产品和功能包括如下几个方面:
资源依赖服务(Resource Dependency Services, RDS)给公司提供IT资源的整体视图,可用于定义和发现用户、资源、应用和网络之间的关系,这种关系是协作处理的一个关键组成部分。这将使公司能够:自动发现在IP网络中的资源、将业务流程映射到IT资源上、实现与IBM Tivoli Change and Configuration Management数据库的互操作以及通过虚拟引擎控制台提供拓扑图。
集成虚拟管理(Integrated Virtual Management, IVM)为帮助简化虚拟系统的创建和配置流程,可以轻松连接到一个浏览器界面,将服务器虚拟工作所需时间降低到几分钟。
IBM企业负载管理器(IBM Enterprise Workload Manager)现可在优化系统资源的同时满足业务目标,从而对工作负载的需求及时响应。另外,这一新版本中还包括了更多对异构环境的支持。新版本的增强功能包括为基于POWER5处理器的系统提供动态分区管理功能、更易用的系统管理以及实现与z系列网络负载均衡功能的集成。
IBM和NetApp宣布将扩展两家公司之间强大的业务关系,加强虚拟技术的合作。这一工作的重点是将IBM的存储虚拟技术与全系列的NetApp V-系列和FAS存储系统组合为整合的解决方案。
此外,IBM通过支持SVC与运行Linux的IBM z系列系统之间的互操作性,扩展IBM TotalStorage SAN卷控制器(SVC)等存储虚拟解决方案的功能。这将使z系列客户有机会通过由IBM TotalStorage SAN卷控制器管理的配置,使用传统上属于开放环境的存储,包括能够利用SVC支持的分级存储环境。
■ 厂商:NetApp
■ 方案:NetApp V-系列
■ 类型:基于网络的带内虚拟化
NetApp V-系列产品线是NetApp gFiler演化的产物,它是一种基于网络的解决方案,可对不同层级的异构存储阵列进行存储虚拟化。该产品线允许在现有的光纤通道存储区域网络基础设施上使用Data ONTAP 7G软件的动态虚拟能力,从而支持多种类型的用户商业应用集。
正如所有的NetApp存储设备一样,V-系列产品线跑的是Data ONTAP微内核操作系统。这种操作系统可以将块和文件存储联网范例统一在共同的架构之中。它可以提供全套的NetApp高级数据管理能力,可为企业应用和用户的关键任务数据实现完善的合并、保护和恢复能力。
NetApp V-系列产品线可以满足各种规模的企业对访问能力的要求。V-系列存储系统可配置为同时主动/主动访问,具备在同一群集中两个独立系统之间的安全故障切换能力。通过使用多个V-系列系统并且将SAN存储系统配置在一个可扩展的SAN架构中,还可实现大规模的SAN和NAS合并。