当前位置:问答库>论文摘要

题目:“街旁网”数据统计系统的设计与实现

关键词:街旁网,数据统计,分布式计算

  摘要



        “街旁网”(jiepang.com)是国内领先的LBS(基于地理位置服务)应用。随着移动互联网的发展,街旁网的用户量和数据量日益增长,对数据的统计工作显得更加重要。出于产品、市场和运营等多方面的业务需求,公司内部急需一个更加整合、稳定、直观的完善的数据统计系统。

        本文的主要研究内容为“街旁网”的数据统计系统的设计与实现,根据公司各部门的业务,从系统的需求分析、架构设计、实现方式及验证过程进行阐述。本系统以Python语言进行开发,主要采用了Spark分布式计算框架及基于其搭建的Shark数据仓库、MySQL/MongoDB等数据的主库从库技术,以及Mako框架和Matplotlib库的数据展现技术。

        根据系统的需求和业务逻辑,本系统划分为用户管理、日常统计任务、临时统计任务和结果查询四个模块。为了保证系统的正常、高效运行,还为系统设计了API服务模块、数据访问模块、权限控制模块、任务管理模块及错误处理模块这五个基础服务模块。本文分别介绍了这些模块的设计与实现方案。

        最终对系统进行详尽的测试,以验证系统的完善性,测试结果表明,“街旁网”数据统计系统达到了设计的目标。