高性能计算技术45 个研究方向。 势,并且功耗要远远的低于通用处理器。近年来异 跨用户的去重会带来安全性问题,有可能使 构多核技术发展迅速,而重复数据删除算法的并行 个用户获取另一个用户的文件内容。在云存储中应性还没有得到充分的挖掘。未来可以充分利用异构 用重复数据删除技术就要解决这一安全性问题。文多核处理器的特点,进行合理的任务划分和部署 献3提出了一种称为 Random Solution的保证系统安以加块重复数据删除技术的整个过程。 全性的策略。 4)集群重复数据删除 近些年,随着集群存储的快速普及和发展。重 4.总结与展望 复数据删除技术需要考虑其在几十甚至上百个存储 本文对重复数据删除技术的概念、分类、关键节点上的可扩展性问题。在集群节点增加的时候如 指标以及研究现状进行了全面的总结。涉及到的关何维持缩减率水平和吞吐率水平,并且综合考虑到 键技术点有数据划分方法、减轻磁盘索引瓶颈、提负载均衡和容错的要求,需要进一步的探索 高恢复性能、提高重复数据删除系统的可靠性和可 5)主存储去重 扩展性等。重复数据删除技术的应用使得企业能够 在线重复数据删除技术在数据保护领域已经有 更好的应对日益增加的存储空间和网络带宽的压力 非常广泛的应用。几乎所有的存储供应商都推出了 目前对重复数据删除技术的研究已经涵盖到多有去重功能的数据保护产品,将重复数据删除逻辑 个方面,但还有一些问题尚未得到解决。 嵌入到数据保护硬件(如备份平台、VTL、NAS) 1)新型存储介质影响去重发展方向 或者软件中。除了在二级存储上的应用,去重一样 由于磁盘技术的迅速发展,才使磁带备份逐渐可以在主存储领域大有作为,例如虚拟机和虚拟桌 被磁盘备份所取代,从而推动了重复数据删除技术面,项目的共享文件、共享网络卷都存在大量的冗 的研究和应用。而新型存储介质(如SSD、相变存储余数据。尽管以 NetA pp和EMC为代表的存储厂商相 器)的出现,也对重复数据删除技术未来的发展带继推出了主存储去重产品,主存储去重技术的应用 来了新的机遇。 Pure Storage公司已经在其企业级的全现状远不如二级存储广泛,去重引入的读写延迟依 闪存阵列中应用了在线的重复数据删除技术,以帮旧是最大的技术障碍。尽管固态盘技术可以成为解 助用户更好的利用昂贵的闪存。新型存储介质催生决延时的一种方案,但会增加用户的主存储成本。 新型的存储架构,如目前应用广泛的SS和磁盘混合如何克服技术障碍,将去重应用到主存储系统是 存储架构。如何设计适应新型存储架构的重复数据个研究难点。 删除算法,充分利用新型存储介质的访问和存储特 6)安全性问题 性,优化系统的吞吐率和延迟,是一个需要不断研 跨用户的重复数据删除技术会造成安全隐患, 究的问题。 攻击者可以通过查询获取其他用户的数据内容。这 2)去重在其他数据保护领域的应用 现象在云存储中尤其值得考虑。安全性已经成为 目前重复数据删除技术在数据保护领域主要应了限制公有云发展的一个重要问题,如何消除去重 用于备份和归档。而一些更细粒度的数据保护应用系统中由用户共享数据带来的安全隐患需要进一步 (如持续数据保护)也会产生大量的冗余数据,如 研究。 何设计符合应用场景的算法,将重复数据删除技术 重复数据删除技术自产生以来,受到了研究 应用于其他的数据保护应用,也需要进一步的研究 者深入而广泛的探讨。在未来,重复数据删除有望 3)任务划分 在应用程序、文件系统、主存储设备和备份归档软 重复数据删除技术中涉及到大量的分块和哈希硬件多个环节应用,成为数据中心标准配置之 计算操作。通用的处理器(如血lx86处理器)对于重复数据删除技术将与快速发展的云存储技术相结 哈希计算的效率并不高,而一些专用的协处理器(如合,应用场景从二级存储向主存储系统转变,成为 GPU、 PadLock等)在计算哈希的速度上具有明显优存储领域不可或缺的核心技术。 参考文献: 0].I G antz, D. R einsel "the digital un iverse in 2020: big data, bigger digital shadow s and biggest grow th in the far east, IdCIvIeW,sponsoredbyEmcCorporation1-162012),http://www.emc.com/collateravanalyst-reports/idc-the-digitah universe- in-2020 pdf高性能计算技术 45 个研究方向。 跨用户的去重会带来安全性问题，有可能使一 个用户获取另一个用户的文件内容。在云存储中应 用重复数据删除技术就要解决这一安全性问题。文 献[43]提出了一种称为Random Solution的保证系统安 全性的策略。 4. 总结与展望 本文对重复数据删除技术的概念、分类、关键 指标以及研究现状进行了全面的总结。涉及到的关 键技术点有数据划分方法、减轻磁盘索引瓶颈、提 高恢复性能、提高重复数据删除系统的可靠性和可 扩展性等。重复数据删除技术的应用使得企业能够 更好的应对日益增加的存储空间和网络带宽的压力。 目前对重复数据删除技术的研究已经涵盖到多 个方面，但还有一些问题尚未得到解决。 1) 新型存储介质影响去重发展方向 由于磁盘技术的迅速发展，才使磁带备份逐渐 被磁盘备份所取代，从而推动了重复数据删除技术 的研究和应用。而新型存储介质（如SSD、相变存储 器）的出现，也对重复数据删除技术未来的发展带 来了新的机遇。Pure Storage公司已经在其企业级的全 闪存阵列中应用了在线的重复数据删除技术，以帮 助用户更好的利用昂贵的闪存。新型存储介质催生 新型的存储架构，如目前应用广泛的SSD和磁盘混合 存储架构。如何设计适应新型存储架构的重复数据 删除算法，充分利用新型存储介质的访问和存储特 性，优化系统的吞吐率和延迟，是一个需要不断研 究的问题。 2) 去重在其他数据保护领域的应用 目前重复数据删除技术在数据保护领域主要应 用于备份和归档。而一些更细粒度的数据保护应用 （如持续数据保护）也会产生大量的冗余数据，如 何设计符合应用场景的算法，将重复数据删除技术 应用于其他的数据保护应用，也需要进一步的研究。 3) 任务划分 重复数据删除技术中涉及到大量的分块和哈希 计算操作。通用的处理器（如Intel x86处理器）对于 哈希计算的效率并不高，而一些专用的协处理器（如 GPU、PadLock等）在计算哈希的速度上具有明显优 势，并且功耗要远远的低于通用处理器。近年来异 构多核技术发展迅速，而重复数据删除算法的并行 性还没有得到充分的挖掘。未来可以充分利用异构 多核处理器的特点，进行合理的任务划分和部署， 以加块重复数据删除技术的整个过程。 4) 集群重复数据删除 近些年，随着集群存储的快速普及和发展。重 复数据删除技术需要考虑其在几十甚至上百个存储 节点上的可扩展性问题。在集群节点增加的时候如 何维持缩减率水平和吞吐率水平，并且综合考虑到 负载均衡和容错的要求，需要进一步的探索。 5) 主存储去重 在线重复数据删除技术在数据保护领域已经有 非常广泛的应用。几乎所有的存储供应商都推出了 有去重功能的数据保护产品，将重复数据删除逻辑 嵌入到数据保护硬件（如备份平台、VTL、NAS）， 或者软件中。除了在二级存储上的应用，去重一样 可以在主存储领域大有作为，例如虚拟机和虚拟桌 面，项目的共享文件、共享网络卷都存在大量的冗 余数据。尽管以NetApp和EMC为代表的存储厂商相 继推出了主存储去重产品，主存储去重技术的应用 现状远不如二级存储广泛，去重引入的读写延迟依 旧是最大的技术障碍。尽管固态盘技术可以成为解 决延时的一种方案，但会增加用户的主存储成本。 如何克服技术障碍，将去重应用到主存储系统是一 个研究难点。 6) 安全性问题 跨用户的重复数据删除技术会造成安全隐患， 攻击者可以通过查询获取其他用户的数据内容。这 一现象在云存储中尤其值得考虑。安全性已经成为 了限制公有云发展的一个重要问题，如何消除去重 系统中由用户共享数据带来的安全隐患需要进一步 研究。 重复数据删除技术自产生以来，受到了研究 者深入而广泛的探讨。在未来，重复数据删除有望 在应用程序、文件系统、主存储设备和备份归档软 硬件多个环节应用，成为数据中心标准配置之一。 重复数据删除技术将与快速发展的云存储技术相结 合，应用场景从二级存储向主存储系统转变，成为 存储领域不可或缺的核心技术。 参考文献： [1] J. Gantz, D. Reinsel, “The digital universe in 2020: big data, bigger digital shadows, and biggest growth in the far east,” IDC IVIEW, sponsored by EMC Corporation, 1-16 (2012),http://www.emc.com/collateral/analyst-reports/idc-the-digital￾universe-in-2020.pdf