当前位置:问答库>论文摘要

题目:海南农信数据平台ETL设计与实现

关键词:数据平台;ETL;抽取;加载;转换;调度

  摘要


本论文以海南省农村信用社建立集中统一的数据平台为项目背景,数据的来源主要有核心系统、信贷系统、支付系统、网银系统等系统的一些结构化的数据。此项目的主要目的是通过对上述源系统数据的进行ETL过程,从而建立一个集中统一的数据集成平台,这个数据平台可以作为以后全行的数据中心,在此数据平台建设的基础上可以开发前端程序用来展现报表或者灵活查询。而在整个数据平台的建设过程中,ETL差不多预计占用一半以上的项目时间,那么,对ETL流程合理实施,则必然是项目快速部署成功实施的关键因素。在数据数据平台项目上线之前,海南农信各个系统的数据是相互分离的,就像一个个的信息孤立的岛屿,数据分散难于集中管理,通过数据平台项目建设,可以把数据进行集中成一个综合全面信息平台,并且在这个全面的数据平台之上来整合加工各种与生产、管理有关的数据,进而可以构建一个全农信的报表平台,为各类决策支持系统和业务管理系统提供准确而全面的基础数据。数据平台的项目实际上包含了两个大的部分,在项目第一部分中将主要搭建整个农信的、统一的、共享的基础数据平台,建立具有先进性、灵活性和可扩展性的数据管理及报表系统基础数据平台,建立一套完善的ETL体系完成数据抽取、清洗、加载与转换策略;第二部分主要是在基础数据平台上实现主要报表模块,以及灵活查询模块的前端应用。此论文主要说明如何搭建全农信的、统一的、共享的基础数据平台。