当前位置:问答库>论文摘要

题目:基于Hadoop的海量交通数据检索系统的设计与实现

关键词:海量交通数据,Hadoop,MapReduce,存储结构,索引结构

  摘要



随着北京社会经济的快速发展,北京市不断增加常住和流动人口,城市规模不断壮大,公众出行需求迅猛增长,公众对城市交通服务质量的需求在快速提高。只有不断创新城市公共交通管理理念,不断变化管理模式,不断强化管理手段,才能满足公共交通服务的要求。在这种情形下,高效的处理、存储、索引、监控及管理海量交通数据对本文是一个巨大挑战。

针对于这个挑战,国内外已经做了大量的相关研究工作,并取得了卓越的成果,这些工作主要依托在传统关系型数据库构建的海量空间数据检索系统。自从2005年Hadoop的诞生,云计算在互联网界成了无人不晓的高新技术,交通界也不例外,顺应时代的发展,采用大数据平台解决现有问题。因此,本文在高效的数据处理、存储、索引、监控及管理的要求下,从交通应用需求的角度出发,提出了基于Hadoop的海量交通数据检索系统,主要研究工作如下:

1)构建海量交通数据存储结构。搭建Hadoop集群环境,构建分布式的海量交通数据存储平台,设计数据文件存储与压缩方式等。

2)设计与实现海量交通数据处理算法。以MapReduce分布式计算框架为基础,构建分布式的海量交通数据处理算法,主要包括经纬度矫正与路链匹配算法。

3)设计与实现海量交通数据索引结构。根据数据处理的结果,以路链号为索引键建立一级索引,避免全局数据扫描;为道路网络建立二级索引网络图,显著的表示出路链之间的关系,针对GPS数据的时空特性提供可伸缩的基于路链的数据检索功能。

4)设计与实现监控与管理平台。该模块的功能主要是集群监控、数据管理、任务监控等子模块。

本文设计各种验证实验,表明本论文设计的数据存储、处理、索引结构的高效性;利用Hadoop自带的测试方法,测试并证明此平台的可行性与可用性;设计典型应用验证该检索系统的稳定性。