● 摘要
数据高程模型(DEM)数据是地理信息系统的重要来源,包含了大量的地形结构和特征信息,对其信息的提取和管理对国防建设安全具有重要意义。近年来,随着观测技术的发展,DEM数据呈现出了高精度、大范围、数据量庞大的趋势,传统的研究受限于单一节点计算性能的限制难以满足对海量DEM数据的应用需求,开展并行数字地形分析的研究和应用成为研究热点。但是,目前的研究倾向于对地形分析算法的并行处理,很少开展对DEM数据的并行存储和管理,因此,开展可以并行存储和管理DEM数据的信息系统是急需解决的技术难题。云计算是处理海量数据的主要方法,目前技术已相当成熟,如何基于Hadoop平台管理DEM数据是值得研究的课题。
本文结合项目实际需求,基于Hadoop设计了海量DEM数据的存储和管理方法,实现了一个原型系统,主要的工作包括以下三个方面:
(1)分析了云环境下DEM数据存储和管理需求,介绍了传统金字塔模型的构建方法,在此基础上设计了DEM金字塔的构建方法及模型,并结合HDFS分布式存储模型的原理和特点实现DEM金字塔的并行构建。
(2)对传统空间索引方法进行了对比,结合Hadoop平台下分布式数据库HBase,构建了适合海量DEM数据分布式存储的索引机制,使得地理空间相邻的数据在物理空间上也相邻,并结合DEM数据特点构建Key-Value存储模型,并行存储至HBase数据库,提高查询效率。
(3)结合数据需求和功能需求,设计并实现了DEM云存储管理原型系统。设计了实验,实验结果表明了本文所提方法的有效性和实用性。