● 摘要
随着社会信息化水平的不断提高，各类非结构化数据呈现出爆炸性增长的趋势。同时，数据中心的海量数据存储和高带宽网络传输需求，以及运维成本及空间和能耗问题，都成为当前大规模分布式存储领域面临的严峻挑战。这些问题在Openstack云计算环境下依然存在。
研究发现，现有大部分存储系统中存在大量的冗余和重复数据，如何去除这些数据中的重复部分，优化网络和存储利用率并降低成本，成为一个热门的研究课题，也是从根本上解决数据“井喷”现象的关键措施之一。
现有的Swift分布式对象存储系统作为Openstack的核心组件之一，为系统提供了存储资源的统一管理，已广泛应用于生产环境。但是，数据迅速膨胀的问题在Swift存储系统也并未完全解决。主要原因在于Swift对象存储系统中，对数据中大量的重复和冗余并未加以处理。从Swift的设计层面来看，其在设计时接口与数据底层存储耦合度高，对设备的抽象不足，为优化存储空间利用率和提高业务灵活性带来了难度。
本文主要关注于在Openstack云环境下对象存储系统的优化方法，具体关注于对分布式对象存储系统的空间和网络性能的优化，主要思想是通过重复数据的删除技术达到这一目的。同时，本文也旨在对系统中热点数据的访问性能进行优化
本文针对Openstack对象存储系统Swift的设计问题，研究了面向存储空间利用率的优化方法，开发了引入数据去重技术的分布式对象存储系统WindChimes，保持与Swift API的兼容，并对底层的数据访问接口进行了重新抽象，解决了位置命名信息变动引起的数据迁移问题。同时，通过基于内容寻址的分布式存储系统完成了底层数据片段的存储，通过存储自动分层技术对系统的性能进行了优化。最终使得WindChimes系统在Openstack云计算环境下，与原有的对象存储系统Swift相比，存储的空间上得到了较大的优化，在网络带宽的利用率上也得到了一定提高。
相关内容
相关标签