● 摘要
本文将介绍设计和实现一套高性能、可拓展的异构数据分布式存储系统的相关知识 和方案,用于解决大型互联网所需要的高速存储需求。论文着重介绍了结构化数据存储 模块、高速缓存模块、非结构化数据存储模块和通用数据同步模块四个部分,这些内容 覆盖了分布式存储系统中的主要功能,解决了互联网应用所需要面对的主要存储难题。
论文的总体结构是从需求分析出发,由业务需要引申出存储系统需求,并据此分析 实现相关功能所需要解决的关键问题,设计对应的解决方案并进行开发,同时在详细设 计部分分析和介绍了具体的设计思路和实现方法,使读者更加容易了解课题的研究过程 和效果,最后还介绍了系统的测试和运行情况,以验证课题研究的成果。
其中,为了实现结构化数据和半结构化数据的分布式存储,系统分别提供了关系型 数据和缓存数据的解决方案,实现了数据分片、主从备份、热点数据缓存等功能。而为 了应对某些特殊应用场景所设计的高速缓存模块,极大地提高了存取性能。非结构化数 据主要是图片文件的存储,采用了自主研发的图片存储服务,具有高性能、低响应和动 态处理等功能。最后为了解决异构数据拥有多种存储后端,数据难以同步的难题,开发 了通用的数据同步模块,极大地提高了系统适用性。这些模块可以满足绝大部分的存储 需求,组合成为一个完整的异构数据分布式存储系统。
在完成分布式存储系统的各项功能并部署到生产环境之后,展现出优良的效果,包 括极大地降低关系型数据库的压力,提供了良好的负载均衡效果,提高了热点数据的读 写速度,以及使系统获得了很好的容灾能力等,该系统圆满的实现了设计目标。