当前位置:问答库>论文摘要

题目:基于分布式架构的数据仓库工具的设计与实现

关键词:数据仓库,SQL编译,分布式架构

  摘要



当今世界每天产生海量的信息,这么多的信息通过各种方式在全世界范围内进行传播。作为个人或企业都会接触到大量的数据信息,要管理和操纵这些数据信息,数据库就是必不可少的工具。在实际工作中,各种各样的软件都需要连接到数据库来进行数据处理活动,在这些数据库中关系型数据库是最常见的存储、处理数据信息的数据库底层。然而随着数据信息的几何增长,作为单机工作的关系型数据库越来越不能满足各种日益增长的数据处理需求,如何解决对于规模越来越大的数据处理需求,成为一个需要解决的问题。

相对与关系型数据库,基于分布式的数据库系统由于可以多机并行操作,在处理海量数据方面有着很大的优势。但是如果需要将已经开发完成的软件项目进行替换底层数据库的操作,这将意味着大量的重复劳动和资源支出,能不能在基本不改变原本开发软件的前提下,通过使用一个中层数据仓库插件,完成将数据库底层替换为拥有高效数据处理能力的分布式底层的需求就被提了出来。

通过使用关系型数据库底层来处理数据处理任务的软件,大多是使用JDBC接口进行数据库连接,并通过结构化查询语言SQL来进行数据处理。本数据仓库工具通过设计JDBC驱动接口,接受并编译上层应用传入的SQL语句,将其转换为TRS公司开发的分布式全文数据库TRS Database Server数据查询任务,然后将返回的结果进行整理并返回给上层应用程序,满足了上层应用的数据处理需求。

通过本数据仓库工具,即实现了上层应用程序更换更大信息处理效率的数据库的需求,又不需要对上层应用进行重新开发,而且由于JDBC接口的通用性,本工具对于不同的上层应用可以反复使用,满足不同的上层应用。本工具的开发实现了用较低的开发成本实现了数据处理效率的大幅度提升的目标。