题目：网民浏览行为分析系统的设计与实现

随着互联网的快速发展，各大网站对网民浏览行为的挖掘越来越重视。本文的目标是某第三方数据服务公司在接收各大网站网民浏览行为原始日志的基础建设一套网民浏览行为分析系统，为各个网站的个性化推荐、网站内容服务以及精准营销等服务。

建设网民浏览行为分析系统首先需要对网民浏览行为进行建模，首先要确定要为网民所打标签的定义，其次是如何获得这些标签-标签建模，再次是如何对这些标签进行度量-度量建模。在网民行为建模基础上分析了本系统的功能需求与非功能需求。

确定了本系统的需求以后需要对系统进行总体设计。系统由四层组成，基础架构层、数据服务层、业务逻辑层、交互层。本系统会用到Hadoop大数据分析平台、kafka队列工具、Hive数据仓库等。在这些基础技术的上层，整理业务逻辑，本系统由数据采集与清洗子系统、网页内容抓取子系统、网页内容分析子系统、网民行为合并子系统等组成。

在对系统进行总体设计后，对各个子系统的重点模块进行详细解析与设计，更进一步地剖析网民浏览行为分析系统是如何建立的，并对在各个子系统用到的数据库与数据仓库进行数据库设计。

最后一部分，在系统编码完成后，对系统进行部署与测试，主要对系统进行功能和性能测试。以数据清洗模块、URL提取模块、网页内容爬取模块、兴趣提取模块、网民天行为模块为例进行功能和性能测试。其中兴趣提取模块还与传统的关键词匹配法进行了对比测试。

本系统实现了功能需求中设计的目标，总体设计与系统的实现效果良好，已经给个性化推荐和精准营销业务提供了很大的帮助。当然随着业务的逐渐发展，网民浏览行为分析系统也需要不断演进来使用业务的需要，本系统良好的扩展性设计也为将来的这种需要提供了方便。