当前位置:问答库>论文摘要

题目:银行间市场交易商协会数据仓库的构建与实现

关键词:数据仓库,ODS,雪花模型,ETL

  摘要



本文中利用数据仓库技术将银行间交易商协会各大业务系统以及其相关数据源提取并集中到一个统一的数据中心里,该中心要能够为协会各大业务主题和相关应用分析提供数据上的支撑。为了实现这个目标,本文需要着力解决三大问题:如何保证数据仓库运行的效率、如何确保数据仓库的数据质量,以及怎样满足用户多角度多层次并且稳定的数据查询要求。

数据仓库运行时的效率常常是用户十分关心的问题,当用户进行数据查询时,能否及时反馈数据十分重要,因为这直接影响用户对于应用的体验和用户的工作效率。本文通过两个步骤来提高效率:第一步,在一般的数据仓库架构中添加ODS层(操作数据存储层),用于存储最细粒度的业务数据;第二步,在ODS的内部再额外添加轻粒度数据汇总层,用于事先集成某些会在ETL(数据提取、转换和加载)过程中被多次重复使用的细粒度业务表。本文的第二个问题,数据质量对于银行间交易商协会这类金融监督的组织来说,无疑是跟生命线一样重要。本文通过三种途径来协同提高数据仓库中的数据质量:首先是良好的项目管理,其二是通过数据映射表,最后是在ETL过程的实现中配合进行单元测试和集成测试。对于本文的第三个问题,用户在进行数据查询时,往往要求能够从多个角度、多个层次来查看数据,同时也要保证查询过程的稳定。在本文中,通过在数据仓库模型构建中采用雪花模型,并且使用目前十分流行的前端工具Microstrategy(微策略)完成钻取等前端设计,该款工具可以满足稳定的数据查询,从而达到用户的要求。

文中首先会对项目开发中所使用的技术做一个简单介绍,然后对用户的各项需求进行详细的分析。根据需求分析得到的结果,提出系统的总体架构设计、数据模型和ETL流程的设计方案。在设计方案的基础之上再讨论如何具体实现,最后对系统进行测试,并得到最终测试结果,满足需求和设计的预期结果。

 

关键词: 数据仓库,ODS,雪花模型,ETL