● 摘要
近年来随着通信技术飞速发展，移动用户数也迅猛增长，终端用户对基站无线网络的通信质量要求也日益提高。对此，移动运营商们都大肆开展了无线网络的优化工作来提高用户的体验满意度。而基站信号的分析及处理过程作为网络优化过程中非常重要的组成部分，会直接影响网络优化方案的定制和实施，从而影响到网络运行的质量。而网络侧的数据量是十分巨大的，某省一天基站信号数据就有十亿甚至百亿级别的记录数，几个月就需要几十TB或几百TB存储容量，如此大量的数据，不论存储、处理、管理都需要强大的技术手段和完善的系统功能进行支撑。
针对此问题亿阳信通建立了一个基于Hadoop和Hive平台的基站信号数据处理系统。本文主要描述了基于Hadoop和Hive平台的基站信号数据处理系统的设计与实现的开发方案。该系统实现了海量数据的解析、抽取、清洗、转换，并且将处理过的数据装载到HDFS中，从而可以根据客户的需求完成数据的分析和汇总工作，汇总完的数据通过Sqoop入库和MapReduce入库分别存储到Oracle和Hbase中进行进一步的处理和存储。整个数据的分析处理过程都是通过Oozie的自动调度来智能的完成。
目前该系统的功能已投入使用，经过实际的验证，其各项性能指标都达到了用户的要求。
关键词：海量数据，Hadoop，Hive，数据处理，数据仓库
相关内容
相关标签