当前位置:问答库>论文摘要

题目:用于银行数据处理的ETL系统的设计与实现

关键词:ETL;数据抽取;数据转换;数据加载;数据源

  摘要

本课题主要来源于日本某银行的一个银行管理系统项目。随着全球信息一体化建设步伐的不断加快,越来越多的企业开始构建自己的数据仓库系统,希望能对历史数据进行具体而又有针对性的分析与挖掘,以期望从中发现客户新的需求和新客户。同时,很多企业开始提供整套的数据仓库解决方案, ETL在此实现过程中发挥了越来越重要的作用。在本研究课题中,ETL为银行中大规模的数据处理工作提供了一整套完整的数据解决方案,并将这些信息作为商品提供给其它企业。ETL已经在大中型企业中被使用,为企业的决策与分析提供了很大帮助。ETL是Extract.Transform.Load的缩写,它主要分为数据抽取(Extract)、数据转换(Transform)、数据装载(Load)三个过程。首先是抽取:将数据从各种原始的业务系统中读取出来,这是所有工作的前提;其次转换:按照预先设计好的转换规则将抽取的数据进行转换,使本来异构的数据格式能统一起来;最后是装载,将转换完的数据按计划增量或全部的导入到数据库中或者数据仓库中。ETL在数据仓库构建过程中的角色,决定了它在商业领域有非常大的市场空间。在技术领域ETL必须能够适应各种复杂的应用环境,具有全面的功能和高的工作效率,并方便用户使用。今天越来越多的企业正在构建数据仓库来满足其战略决策需要,而采用ETL工具进行数据集成,也已成为企业实施数据仓库项目的首选方案。本论文研究内容如下:(1) 按照业务逻辑要求实现从格式化的文件到指定数据库表,数据的抽取,转换和装载过程。将不合法的或者不符合业务逻辑的数据定向到错误文件中,并给于错误提示信息便于用户手动修改,以待二次数据的导入和分析。(2) 按照业务逻辑要求实现从数据库表到数据库表,数据的抽取,转换以及装载过程。将不合法的或者不符合业务逻辑的数据定向的错误文件中,并给于错误提示信息便于用户手动修改错误文件中的数据以待二次数据的导入和分析。