当前位置:问答库>论文摘要

题目:基于Eclipse的ETL系统的设计与实现

关键词:数据仓库,ETL,Eclipse,数据模型,元数据

  摘要


    随着信息时代的来临,各类数据的急剧膨胀,如何通过合理有效地利用好现有的数据资源,现已经成为了各企事业单位应对社会信息化的首要任务。涌现出越来越多与基础数据相关的业务数据,为了能够更好地利用这些业务数据来提升企业的商业价值,并通过现有商业智能的数据分析与数据挖掘技术,使企业对未来发展方向可进行有效预测或帮助企业做出正确的决策,从而使得商业智能技术在这个信息大爆炸的时代得到迅猛地发展。

    企业越来越多地感知到商业智能对企业的重要性,迫切需要利用现有的基础业务数据。但目前各行业各系统乃至同系统之间信息数据的数据格式、标准、编码等并不统一,从而造成诸多的异源异构数据,使得大量基础数据无法得到合理、有效的应用。为了完成统一、规范化、标准化的数据,引入了数据处理ETL技术,即数据处理的抽取(Extract)、转换(Transform)和装载(Load)三个主要过程。在构建商业智能数据仓库的过程中,将充分利用ETL技术,把分布在异构数据源中的数据,例如关系型数据库、文件、网络资源等不同数据源抽取到中间临时数据层后进行数据的清洗、转换、集成操作,最后装载到目标数据仓库中,完成数据的集成工作,为后期联机分析处理、数据挖掘、决策系统等提供统一标准化的数据基础。同时在构建数据仓库过程中,创建ETL数据模型是一项非常重要的任务,其约占据了整个数据仓库构建过程的70%~80%。

    本课题将研究基于Eclipse框架之上,如何设计业务数据模型及业务作业,并高效合理的利用系统资源为业务元数据建立起一套统一的规范化的模型和业务的管理系统,并针对ETL业务的数据处理过程进行调度并监控。