● 摘要
本课题所设计与实现的“数据集成与分析系统”，是应客户的具体需求所开发，解决了其在对海量数据以及原有不同存储格式的数据的处理、存储和分析问题。在对本系统的设计与实现中主要解决三大问题，分别为对原有结构化和非结构化数据的预处理、对处理后的数据进行集成，以及对集成后的数据进行统计分析。本系统针对这三大问题设计为数据预处理、集成数据集和统计分析三个模块。首先通过数据预处理模块对原有大量的结构化和非结构化数据进行分析汇总整理，将其全部转化为结构化数据，然后将整理完毕的数据经过数据清洗存储于集成数据集中，统计分析模块按照用户的需求对数据进行分析，生成图表和报表，为用户做出正确的决策提供准确的数据支持。其中数据处理模块和统计分析模块为可安装程序。集成数据集为表结构的设计，以脚本的形式导入数据库。本系统的体系结构类似决策支持系统的总体架构。根据客户对数据的准确性及精确度要求较高具体的需求，更侧重于对数据预处理模块——即对原始数据的分析处理和数据清洗方面。目前本系统已投入实际使用，满足了客户的具体需求。而且在对本系统的设计过程中，对数据整理以及数据清洗方面进行了学习和研究，并总结出了一套针对客户原有数据的将非结构化数据转化为结构化数据的方法，也对数据清洗的方法进行了研究，这些方面的经验都为以后开发类似的数据分析处理系统，以及进一步开发更高一层的决策支持系统奠定了基础。