题目：基于Hadoop的海量Web日志存储及分析系统的设计与实现

Internet(英特网)在全世界范围内的飞速发展使得Web日志数据的生成量随之也在高速的增长，据有关机构调查统计：Web已经成为全球最大的信息系统。互联网高速发展的结果必然会伴随着随之而来的海量的Web日志数据，所以众多企业面临的一个难题是如何存储和利用这些海量的Web日志数据，来帮助企业更好的作出科学的，有事实依据的决策。传统的基于单节点主机的Web日志数据存储和分析系统已经满足不了对当今海量的日志数据处理的需求，随着云计算的快速发展和兴起，采用基于云计算的方式来对目前的海量Web日志数据进行存储和处理成了必然的趋势。

本文在经过了对当今国际国内云计算平台和现有的Web日志存储及分析系统的充分调研后，针对传统的Web日志存储和分析系统满足不了当今海量日志数据处理需求的问题，提出了采用基于Hadoop平台组建云计算集群来对海量Web日志数据进行存储和分析。本文通过Hadoop平台的HDFS分布式文件系统来将海量Web日志文件分成若干个大小相同的文件块分别存储在集群的各个节点中来对数据进行存储；通过实现MapReduce编程模型来对海量Web日志进行分析处理。本文基于Hadoop平台设计了这样一个海量Web日志存储和分析的系统，并从数据结构设计、程序流程组织等几个方面介绍了这个海量Web日志存储和分析的系统的开发方法和功能。

在本文最后对系统进行了测试和有效性验证，对系统进行了分析，给出了分析结果。整个测试表明，该系统在日志的收集、存储和处理方面较之前的传统的处理方案都有了很大的改进，在该系统中，用户可以自定义的配置数据表，这样增加了报表的可定制性，达到了本文的目的。论文的研究成果对基于Hadoop的海量日志数据研究有一定的参考价值。