● 摘要
随着数据仓库中数据量的不断增大,数据立方体维度和维度层次结构日益复杂,数据立方体物化视图尺寸不断膨胀,产生了数据爆炸,数据立方体压缩技术应运而生,并成为数据立方体技术的重要分支。 本文针对船舶调度系统多维数据查询和分析能力欠缺的问题,将数据立方体压缩技术引入其中,并结合船舶调度运营中的实际数据,对数据立方体压缩技术进行了深入的理论和实验研究,主要内容及创新如下:(1)准备相关文献资料和理论知识,对比当前数据立方体压缩技术的代表性算法,归纳分析船舶调度数据的特点,并以此为依据进行船舶调度系统的压缩算法选择。(2)将选择的Dwarf压缩算法应用于船舶调度系统中,实现了数据立方体的完全物化和压缩存储。实验结果表明,通过消除数据立方体结构中的前缀和后缀冗余,Dwarf压缩算法大大降低了结构的存储空间。(3)结合船舶调度数据的实际特点,对Dwarf算法进行深入分析,发现该算法结构中的可优化之处,提出适合实际应用数据特点的改进的Dwarf算法——I-Dwarf算法。(4)准备数据,设计实验,对改进前后的算法进行测评分析。实验结果显示:I-Dwarf算法相对于Dwarf算法在基本不影响查询响应能力和构造时间的前提下,能够更好的压缩存储所需空间。
相关内容
相关标签