当前位置:问答库>论文摘要

题目:基于HDFS的云存储关键技术研究

关键词:云存储;Hadoop;HDFS;副本管理;纠删码

  摘要

由于数据产生成本的急速下降,人类产生的数据量正在呈指数级增长。随着信息资源爆炸性增长,云存储凭借高性能、高扩展、高可用、易管理等特点,成为云计算和大数据的存储基石。Hadoop分布式文件系统(HDFS)是可部署在普通硬件上、高度容错的分布式文件系统。它为数据密集型应用提供了高吞吐量的海量数据存储和访问解决方案。这些特点使得基于HDFS构建云存储系统正成为云存储的研究热点之一。本文的研究目标是设计基于HDFS的云存储系统,使其提供高性能、高可用性的数据存储服务。在这个云存储系统中,本文研究了弹性副本管理和纠删码在HDFS中应用这两项关键技术。HDFS采用完全副本技术提升数据访问性能和保障数据可用性。根据数据访问频率,可以将HDFS中的数据分为不同的数据类型。为了实现更好的数据访问性能和存储利用率,本文研究弹性副本管理机制来动态管理HDFS中数据的副本,针对不同的数据类型采用不同的副本策略。HDFS弹性副本管理使用复杂事件处理技术实时判断HDFS中数据的数据类型,然后根据数据类型动态调整数据的副本因子。HDFS弹性副本管理也提出了弹性副本布局策略以适应这种弹性副本管理机制。纠删码在没有增加过量的存储空间基础上,通过合理的冗余编码来保证数据的高可用性。本文研究纠删码技术在HDFS中的应用,以增强HDFS的存储模型。从纠删码选择、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对HDFS中纠删码的设计方案进行了分析和研究。基于这些讨论分析,本文设计并实现了HDFS中纠删码原型系统。在上述研究工作的基础上,本文设计并实现了基于HDFS的云存储原型系统Kangaroo,并对其进行了详细的功能和性能测试。实验结果验证了Kangaroo的弹性副本管理能有效地根据数据类型实时调整数据的副本因子,纠删码系统能有效保障HDFS的数据可用性,并且节省了额外的存储空间。