● 摘要
极具爆发力的”大数据”将为用户带来更为快速、多样的信息服务，将为企业带来不可限量的机遇，但同时也将为对其起到支撑作用的IT组织带来巨大的挑战。”大数据”拥有大量化、多样化、和快速化三大显著特征，将让现有的IT组织越来越不适应”大数据”带来的新变化。”大数据”为IT组织带来的变化已日渐显著，传统的常规技术手段根本无法应付。任何希望成功从大数据中获取价值的企业，正面临着一次数据管理方式的变革，一个适应”大数据“特点的解决方案将为其在这个即将到来的时代赢得优势。
本文课题所涉及系统的设计与实现使用当下流行的Hadoop、Flume等开源分布式框架技术，具备传统数据平台的基础特征，基于并行数据处理和海量非结构化数据存储技术，提供海量数据汇集、存储、监控和分析功能，能构建一个集hadoop集群管理、日志数据采集、支持数据和分析能力的积累、共享和复用功能于一体的基础数据平台。该数据平台可精简的表示为一个数据集散地、分析驱动器，它是一个能够帮助成熟企业快速搭建具备构建大数据存储和分析能力的一体化解决方案，使企业拥有支撑其数据采集与分析业务的数据平台；持续收集企业成长所关注的大量数据，不断从中挖掘极具商业价值的数据信息；该数据平台可根据企业现有计算能力快速部署，随需扩展，不断满足企业发展壮大的数据分析要求。
该系统来自于企业的一个真实项目，能对同一集团内部不同部门之间的数据进行统一采集与分析，对外部集团或公司也具有适用性。