● 摘要
Zecloud是一个分布式文件系统,通过集群扩展为大数据存储用户实现了支持数PB存储容量和数千客户端。该系统服务端的对每块物理磁盘的管理机制是通 过启用一个后台进程与客户端通信,但是如果某台服务器上存在上千个物理磁盘的话,同时会产生上千个后台进程存在。因此,带给了系统服务端的维护压力与客户 端的访问压力,以及系统整体性能优势的下降.
本文在Zecloud系统的基础上,详细地阐述和设计了新的磁盘管理系统——虚拟磁盘管理系统。第一,为了方便用户对物理磁盘的管理功能,同时不影响上层 应用对磁盘数据的正常访问,客户端提供了对物理磁盘的基本操作,例如增加磁盘、删除磁盘、平衡磁盘等。第二,为了减少服务端的维护压力,服务端利用虚拟磁 盘对每台服务器上的物理磁盘进行统一管理,并将数据哈希分布到相应的物理磁盘上,同时对所有物理磁盘状态进行监测,以及包括异常情况下物理磁盘下数据的修 复,进而保证了用户在任何时候对数据的正常读写访问。同时,针对每个虚拟磁盘,启用一个后台进程对当前服务器下所有磁盘进行管理,有效地减少了系统服务端 的维护压力,提升了系统的整体性能.
目前,该系统已成功地投入运行,系统实施后,极大地提高了系统的整体性能优势和运行效率,即系统的读写性能提升了10%左右,运行效率提高了20%左右,同时为降低系统的网络负载压力,起到了促进作用。
相关内容
相关标签