本文作者George Crump是Storage Switzerland的创始人,同时也是George Crump Consulting的创始人。
在我们开始探索重复数据删除备份软件以前，让我们先来讨论一下该技术的先驱：Avamar。自从21世纪头十年早期以来，Avamar（原来是一家独立的公司，后来被EMC所收购）一直致力于让人们相信最好的方式是在备份软件中提供重复数据删除功能并从客户端开始这个流程。看起来在过去几年中他们是取得了一些成效，而这主要归功于他们明确地阐述了他们的来源端重复数据删除技术最适用的使用情境，尤其是他们所阐述的最适用的领域中包含了在VMware中使用的情境。
从结构上来说，Avamar基本上是一种企业级备份软件应用程序，旨在将数据传送到定制的后端磁盘目标端。该软件在将要受到保护的服务器上安装一个代理，然后将备份软件传送到一个由互相连接的服务器和存储节点所组成的网格。该网格的提供有多种方式，但是最流行的方式就是名为Avamar Data Store的磁盘备份设备。
和其他解决方案不同，Avamar的客户端软件进行了大部分的重复数据删除处理工作，并同服务器网格进行通信以确保跨客户端的数据得到了重复数据删除。这种方式的好处是只有变化了的数据部分才会通过网络传送到磁盘目标端。在来源端重复数据删除的方式下，大部分时间是在确认需要进行备份的数据，而目标端重复数据删除技术的大部分时间是在网络上传送所有数据。来源端重复数据删除意味着用户可以最小化LAN（局域网）/WAN（广域网）网络带宽的消耗，减少备份传输窗口，不过，备份存储的最小化当然是要以来源端处理器的利用率为潜在代价的。
客户端的处理器利用率一直被看作是来源端重复数据删除技术的问题之一。在我们七年前首次看到该技术的时候，该问题就已经存在了。当然，在这七年中，我们看到服务器处理能力有了飞跃提升，同时重复数据删除备份软件的整体效率也有提升。因此，现在的客户看到的是客户端CPU利用率会有温和的上升，但是和传统的备份软件相比，这个上升只会发生在较短的时间内。
重复数据删除处理任务对大部分服务器的短期影响应该是可控的。如果客户对此有所担心，他们可以将CPU资源的使用调整到限定的比例。虽然这种方式可能会稍微延长备份时间，但是它可以让你维持正在进行备份的主机的服务水平。在VMware环境下，这种服务水平的维持尤其重要，因为VMware环境对CPU在备份上的消耗很敏感，同时如果CPU过分使用，vMotion和其他措施经常会被触发。
数据冗余的次文件部分将得到确认并删除（在客户端内和跨客户端）。只有独一无二的和新的数据将会在网络上得到传输并进行备份。Avamar表示，在非结构化数据环境中，他们可以将数据量减少99%。备份数据收到后将写入Avamar Data Store上的磁盘。在Avamar Data Store，数据在网格存储中予以条带化，同时备份的处理负荷也分布在网格上。网格中的每个节点在数据存储上应用的是RAID（独立磁盘冗余阵列）5数据保护框架，同时跨节点应用RAIN（独立节点冗余阵列，一种网格式的RAID）。RAIN可以承受任何单个节点的故障，同时通过RAIN，用户在扩展网格的时候也不用承受过多的宕机时间。除了RAID和RAIN以外，Avamar还提供数据恢复认证功能。数据每天确认两次，确保备份中的数据始终处于可恢复状态。由于Avamar不依赖于完全恢复加增量恢复的恢复框架，因此Avamar的所有恢复都是来自逻辑完全备份的一次性恢复。这意味着用户不需要最近一次周末的完全备份和隔夜的增量备份就可以进行恢复操作。
当所有新的备份数据已经传送到Data Store以后，复制工作可以开始。虽然备份和复制和前后相连的流程，但是从理论上来说整体的备份窗口本身需要缩小才能让复制步骤尽快开始。在大部分情况下，Avamar将数据复制到DR（灾难恢复）站点的时间应该可以和领先的目标端重复数据删除存储解决方案在备份/复制同步流程上所花的时间相比。
就像我之前说过的，VMware使用情境是Avamar及其重复数据删除方式的肥沃土壤。EMC投入了大量精力来推动Avamar在VMware环境下的利用。Avamar可以提供VMware环境的客机备份或镜像备份。Avamar之所以适用于VMware的原因是它所使用的重复数据删除方式解决了虚拟化和合并所可能带来的独一无二的备份问题--尤其是，ESX主机共享物理资源可能会带来太多数据流。Avamar的重复数据删除功能可以将这种数据流缩减到合理水平并加快备份过程。Avamar的这个特点使得用户可以进行进一步的合并从而获得更高的ROI（投资回报率）。Avamar现在支持VMware针对数据保护和其他新功能的vStorage API（应用程序编程接口），同时还可以与VMware vCenter Server相整合以进行集中化的管理。
作为重复数据删除领域的元老，Avamar通过成熟的产品成功地在市场竞争中生存下来，并充实各种功能来瞄准主要的市场机遇，比如远程办公室备份（低带宽）、VMware备份（高数据重复率）、NAS（网络附加存储）备份以及最近的Desktops & Laptops（桌面和笔记本）。
披露：EMC的备份恢复系统事业部目前正在和Storage Switzerland展开项目合作。George Crump是Storage Switzerland的首席分析师。