题目：基于Hadoop的应用商店统计分析系统的设计与实现

        随着智能手机的普及和移动互联网的发展，移动应用的发展可谓日新月异。开发者若想要在海量的应用中获得一席之地，除了做好产品和推广外，相关的数据支持也是必不可少的。对应用开发者而言，建立自己的应用统计分析系统，可以帮助开发者收集应用的发展情况以及用户在应用内的一些行为；这不仅有利于自己产品的改进，也有利于分析用户动向从而实现精细化运营。然而在实际的统计分析过程中，统计人员不仅面临着数据的爆炸式增长和虚假数据，而且要让数据直观、生动的展现；为此需要解决以下几个问题：

        1.海量日志数据的存储与统计分析；

        2.对数据进行过滤处理，提供真实、有效的数据；

        3.直观、可视化地展现数据。

        本文通过分析应用商店的业务明确了应用商店统计分析系统的需求；然后结合Hadoop在处理海量数据上的优势，设计了本统计分析系统的功能结构。系统分为日志解析模块、日志统计分析模块、Web展现模块。日志解析模块完成了对日志的预处理，并将日志导入到HBase和Hive中，为下一步数据的统计分析做好了准备。日志统计分析模块则利用Hive在处理大数据上的优势，依据实际的业务，对数据进行了多维度的分析统计；同时通过分析用户行为实现了对应用下载量的过滤统计。Web展现模块通过动态趋势图和表格等方式在网页上对分析统计结果进行可视化展现，并提供数据查询和报表下载等功能；该模块采用了Python中目前较流行的Web开源框架Flask来实现。

        本课题作为我在应用汇的项目，目前已经上线。它不仅极大提高了数据的统计效率和降低了开发人员的工作量；更加重要的是为产品、运营人员的决策分析提供了有力的数据支撑。