● 摘要
数据量的急剧增加使得系统对I/O性能要求越来越高,而分布式文件系统已成为解决其性能瓶颈的一种重要方式。然而随着数据负载变得更加错综复杂以及变大,原来单纯的以HDD为存储介质的分布式文件系统已不能很好的满足当前应用程序的需求,更高性能SSD的逐渐广泛引用为解决此问题带来新的契机。但是SSD相对较高的价格使得其还不能够完全代替HDD。为了解决此问题我们将把SSD与HDD混合作为分布式文件系统的底层存储介质。虽然原先的分布式文件系统仍旧可以运行在SSD与HDD混合存储结构上,却不能充分发挥其性能优势。为了解决此问题,本论文研究了基于SSD与HDD混合存储结构的分布式文件系统性能优化技术,主要的研究内容和成果如下:
(1)设计了一种SSD性能模型
此SSD性能模型是一种黑盒模型。它通过实验发掘出相邻的请求访问的关系,然后根据此关系建立性能模型。我们以实际的实验数据为依托并且对这些数据进行建模最终得出此性能模型。经过试验测得此模型在最差情况下有8%误差率的效果,远远优于目前存在的SSD其他黑盒性能模型。
(2)设计了一种面向SSD和HDD混合存储结构分布式文件系统的文件分配算法
此算法对系统中的所有文件进行重新分配,最终达到整个系统负载均衡和文件平均访问时间最短的目的。我们利用启发式算法,使算法在复杂度和效果上能够实际应用于真实系统。经过测试,此算法相较于其他算法有非常大的性能优势,并且适应性更强。
(3)设计了一种文件监控算法
此算法将能够快速的记录系统中所有文件的访问特性,并且提供某些特定的要求的快速查找功能,其时间复杂度为O(logN)。
(4)面向SSD和HDD混合存储结构分布式文件系统的动态负载均衡算法
此算法将整个系统进行动态负载均衡,包含SSD之间、HDD之间以及SSD与HDD之间,以合理利用SSD与HDD为主要目的,利用同介质和不同介质之间负载迁移来实现。通过对此算法和其他算法比较发现该算法能够使得系统达到真正的平衡,从而使得系统的性能很大提高。
通过以上四个方面的研究,使得基于SSD与HDD混合存储结构的分布式文件系统得到了性能优化,并且通过一系列测试证明了上述各研究方向的有效性。