/ 中存储网

专家博客 数据迁移中必须要面对的一些难题

2010-07-28 13:13:06 来源:中国存储网

本文作者George Crump是Storage Switzerland的创始人,同时也是George Crump Consulting的创始人。 

存储容量持续增长引发了许多的问题,其中一个问题是如何将大量数据移动到新的存储系统。当新存储系统被添加到数据中心的时候,用户启动相关系统并完成服务器连接之后,就必须将数据从旧的存储平台迁移到新存储平台。 新存储系统会引进一些新技术,比如自动精简配置、自动分级等等。怎样才能保证数据的移动不会影响那些新技术呢? 数据迁移的难题不仅仅在于用户必须移动多达数TB的数据,而且用户还必须保证数据移动不会令新存储系统的功能失效以及让当前数据保留政策失效。现在有一些软件和系统可以解决这些问题,同时也可以保持数据移动的性能。

即使在自动精简配置和自动化分级之前,移动数TB的数据也要花费大量的时间。 好消息是现在数据迁移已经发展到数据块级别的迁移,在许多情况下可以在SAN层面上完成,从一个存储系统迁移到另一个存储系统。这是近乎完美的解决方案,对服务器的影响不大,而且迁移速度非常快。 问题是,这种数据块到数据块的迁移可能会影响到现代存储功能如自动精简配置和自动分级。

数据块到数据块的迁移并不知道数据块中到底有哪些数据。它们也许全部是被删除的数据,也许是真正有用的数据。 为了保险起见,它会将所有的数据都迁移到新系统。新系统必须假定所有的数据块都装满了有用的数据。 结果,新系统的精简性能就不再精简了。存储厂商们正在着手解决这个问题。 首先,要找一个能够了解精简功能的文件系统,它必须能够与新存储系统中的自动精简卷通信,而且不会读写储存着被删除数据的数据块。第二,要找到能够检测出被删除数据块、带有自动精简配置功能的系统,将那些被删除数据的数据块标记出来,然后在数据迁移时不写入那些数据。 这种方案不要求文件系统了解精简功能,但它是个额外程序,也许会引发新系统的某些性能问题。

自动分级给数据迁移提出了另外一个难题。如果你接受自动分级和自动精简配置的观念,那么你也许已经接受厂商承诺的"你不需要太多存储"的说法。 如果新系统可以执行精简数据迁移,那么它们也许是对的,你确实不需要太多存储。如果你同时还决定投资三级存储,让系统去决定将数据储存在何处,那么你在数据迁移时就会遇到问题。 数据迁移开始的时候,所有的数据都是一样的,但是显然不能将所有的数据都放到固态硬盘去。而且你也不可能将所有的数据都迁移到光纤通道硬盘。 据我所知,目前最好的做法是先将所有的数据都迁移到SATA存储层,然后让使用频率高的数据向上迁移到固态硬盘层,这可能会引发某些性能问题,但它可以迅速进行自我平衡。 还有一种做法是保证光纤通道/SAS存储层的容量大到能够存下所有的原始数据。不管你选择哪一层,我想你都需要足够的空间来储存初始迁移的所有数据。

还有一个问题是关于磁盘归档层的数据迁移。这些通常是基于CAS的文件系统,因此从磁盘归档层迁移数据要麻烦得多。 从理论上来说,这些系统应该很大,而且已经使用了数十年的时间。我们都知道存储系统不可能持续数十年的时间。 其中一个解决方案是使用基于节点的磁盘归档解决方案。 通过增加新节点,换下旧节点的方式来更新升级,这样迁移的数据量就会相对少一些。如果想更换现有磁盘归档供应商该怎么办呢? 在大多数这类系统中进行CAS或NAS文件复制可能需要好几个月的时间,而且数据迁移可能会破坏现有的合规性政策。有些厂商已经开始开发能够加快数据迁移速度和保持合规性政策的CAS迁移软件。

数据迁移的难题不仅仅在于用户必须移动多达数TB的数据,而且用户还必须保证数据移动不会令新存储系统的功能失效以及让当前数据保留政策失效。现在有一些软件和系统可以解决这些问题,同时也可以保持数据移动的性能。