当前位置:问答库>论文摘要

题目:并行文件系统元数据 I/O服务质量保障方法的研究与实现

关键词:并行文件系统,元数据I/O,服务质量,性能需求,保障方法

  摘要



    并行文件系统作为高性能计算系统的重要组成部分,随着服务器、互连网络和存储设备等硬件技术的发展,并行文件系统不仅服务于传统的科学计算应用,同时也向金融计算、文件共享、互联网应用等非科学计算应用。研究表明元数据访问数量占总的I/O请求数量的七成以上,元数据访问性能是影响并行文件系统总体性能的关键因素。并发多类型应用具有多样性的I/O 访问模式和服务质量性能需求,同时访问元数据将会引起存储资源的竞争,比如对于磁盘带宽资源竞争以及缓存资源竞争,应用之间的相互干扰会产生额外的磁盘寻道、缓存换出等开销,从而导致单个或者多个应用的元数据访问性能需求无法得到满足的问题,因此研究多负载共享存储环境下如何保障单一负载的元数据I/O 服务质量(QoS )具有实际意义。

    针对上述问题,本论文从元数据 I/O 服务质量性能需求定量描述以及针对相应存储资源的服务质量保障方法等方面展开研究,具体研究内容和成果如下: 

    (1)提出了一种两层的元数据I/O 性能需求描述和转换框架:上层使用以元数据I/O 操作为粒度的性能需求描述,方便用户指定;下层对于磁盘带宽以及缓存资源分别提取相应的量化指标以描述存储资源需求,基于反馈的转换框架能够透明地将性能需求转换成存储资源需求,为下面的研究做好理论基础。 

    (2)针对服务器磁盘带宽资源的分配,提出一种元数据I/O 服务质量敏感的调度算法(QoSFM):具体包括客户端协同的元数据负载服务时间控制算法以及基于子操作时延需求的EDF 调度算法。在不过载的情况下,QoSFM可以满足吞吐量以及时延的目标,没有让检查点负载占有过多的磁盘带宽资源;相对于未使用QoSFM的情况,使用QoSFM时加权公平系数Ft以及Fd分别下降了52% 和87%,显示了QoSFM对于磁盘带宽资源分配的更加公平合理。 

    (3 )针对服务器端的缓存资源的分配,提出一种多类型负载的缓存空间运行时调整算法(DCSP)。在不过载的情况下,使用DCSP 可以同时满足三个负载的时延需求,并且相对于不划分缓存空间情况,三个负载的平均时延分别下降了 79% ,36% ,8%,加权公平系数Fd 下降了94% ,显示了DCSP 对于缓存资源分配更加公平合理。