当前位置:问答库>论文摘要

题目:IBM公司ODS系统的设计与实现

关键词:ODS,数据仓库,ETL,DSS,数据存储

  摘要



一般的数据仓库应用系统都具有非常复杂的数据来源,这些数据存放在不同的地理位置、不同的应用和数据库之中,从这些业务系统对数据进行抽取并不是一件容易的事。因此,ODS用于存放业务系统直接抽取出来的数据,这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致,因此在抽取过程中极大降低了数据转化的复杂性,而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。

ODS通常是要面向主题的,在设计ODS的时候,不仅仅考虑要满足一个公司的关于某个主题的需求,同时还要考虑某个特别的功能或应用服务。例如,在设计风险管理系统时,就需要获得整体客户的数据信息。

在企业中,对于已有的系统,我们需要将其中的细节数据通过ETL(数据清洗转换流程)导入到ODS中,使之成为集成的、跨系统的可互相识别的数据。这个数据清洗转换的流程与DW的数据清洗转换流程大致相同。当处理多个原系统的时候,需要解决一些数据标识及数据一致性的问题。例如,多个系统中客户标识信息,比如用什么代码来表示性别。

存储在ODS中的数据应该是可持续性被更新的数据。改变数据的持久性需要一个高频度的不断的数据更新,对已存在的原有系统发生的改变必须能按需要尽量快速的更新到ODS中,更新的速度显得尤为重要。一部分原系统中的数据改变需要实时立即更新到ODS中,其它数据可以通过每天的定期更新将数据更新到ODS中。因此,从原系统到ODS系统的数据更新要求在频率上和更新的瞬时速度上有较高要求。

本文讨论了数据仓库新的技术方向-操作型数据存储ODS,介绍了基本内容以及特点。基于IBM ODS系统探讨了如何建设ODS以及在ODS建设中需要主要的问题,并且详细描述了如何以SAP系统作为数据源,将SAP的业务数据与ODS数据库进行整合。