题目：基于HBase的邮储行凭证及合同管理系统的设计与实现

近些年，伴随着我国社会经济的发展，银行业也跨越式发展。在银行各项业务办理过程中，会产生相当数量的凭证、合同等数据，并需要在给不同部门流转审批、查看。当前各业务部门或自建系统管理，或仍然线下传递，效率低、风险大、且无法共享，严重影响银行业务发展，因此迫切需要规划建设一套全行集中的凭证、合同管理平台。

通过调研发现，在业务办理过程中产生的凭证、合同的扫描件基本都是500K左右的小文件，按业务量估算，需在线管理近1PB的非结构数据，同时还并需满足10%的年增长需求。

如何满足PB级别的海量小文件的高效存储和访问是本系统的关键。在Linux文件系统中，每一个文件对应一个inode，十多亿的小文件会产生等量的inode，既降低系统性能也浪费存储，不适于本场景；在传统关系型数据库中，500K左右的文件可通过大对象进行存储，然而在十多亿条的数据规模下，其读写效率都基本无法满足需求。HBase作为一个分布式的、面向列的开源数据库，其架构设计可用来存储海量小文件，系统在内部自动进行了小文件的合并，并存储到基于HDFS构建的分布式存储技术。

因此，本系统设计通过搭建HBase集群，存储并管理海量小文件，提供在各业务办理过程进行非结构化数据的采集上传以及访问。在存储层，通过预建表、预建region的策略，分散读写压力，提升系统的吞吐量；通过设定rowkey生成规则，避免形成热点，提升检索访问效率；通过文件切分，解决文件大小超过列大小存储的限制。在应用层，通过授权，提供凭证、合同扫描电子件在不同业务条线之间共享访问。

本系统目标是建设一套全行集中的、支持分布式的、可扩展的非结构化数据存储和管理平台，实现对全行凭证、合同的集中管理。