当前位置:问答库>论文摘要

题目:面向Key-Value数据库的多维索引技术

关键词:键值存储;多维数据;索引

  摘要


随着云计算及大数据时代的到来使得,传统的关系数据库难以应对大数据时代海量的数据量,多样的数据类型以及复杂的查询需求带来的挑战。于是NoSQL数据库得到了迅速的发展,产生了例如Hbase,Cassandra,MongoDB等一系列优秀的NoSQL数据库产品。Key-Value数据库作为其中最主要的类型得到了广泛的应用。然而由于目前主要的Key-Value数据库的通常只支持简单的基于主键的查询,而无法高效的处理面向海量多维数据的范围和kNN查询等复杂查询的需求,影响了Key-Value数据库的进一步应用与发展。

本文针对目前Key-Value数据库存在的这一问题,首先研究了Key-Value数据库的特点与相关技术,重点分析和总结了Key-Value数据库索引技术的研究现状,认为导致这一问题的关键是Key-Value数据库缺乏高性能的辅助索引机制。

然后,本文通过研究提出了一个面向Key-Value数据库的分布式索引技术(Sliced Pyramid Index for Key Value Stores,SPKV),该技术的核心是分片金子塔索引机制(SP-Index),该机制核心是针对经典金字塔索引技术的局限性,结合当前应用的特点根据更多维度的信息对多维空间进行了更精细的划分,减少了查询过程中过滤候选点的开销,显著提高了查询性能;在上述研究结果的基础上,本文设计实现了一个面向Key-Value数据库的高可用可扩展的分布式索引系统,并给出了该系统的设计方案与实现细节,使得Key-Value数据库能够高性能的完成在海量多维数据集上的多项复杂查询功能。

最后,本文对分片金字塔索引系统进行了实验验证,实验数据表明本文所提出的索引技术相比其他针对Key-Value数据库的索引技术在查询性能上具有明显的优势。并且将索引带来的额外开销控制在可以接受的范围内。基于多种数据集下的测试结果,本文最后讨论了本技术的参数调整方案和最佳应用场景。