● 摘要
近年来，受生物化学，数字风洞，高能物理，材料科学等各方面大规模计算应用的驱动，超级计算机的发展非常迅速，短短几年时间，TOP 500 榜单的计算性能就有了两个数量级地提升。在超级计算领域上，异构并行计算无疑是最突出新技术，特别是针对于大规模并行计算技术。异构并行计算环境由于其高性能，低能耗等特性，在超级计算机中的比重越来越大，已被广泛应用于计算密集型和数据密集型的应用。面对越来越复杂的大规模异构计算环境，动态的任务调度成为了提高系统性能的一个关键性的因素，对于异构的大规模并行系统的任务调度的目标主要是根据处理机的不同计算能力，网络带宽等性能参数来完成计算任务到计算系统的映射，从而尽可能满足用户对计算效率的要求，包括最小计算时间，最小计算功耗，最大计算效率等目标。对于大规模和超大规模计算而言，这个映射是非常困难的，需要考虑复杂的负载均衡，计算可靠性，网络延时等问题，正如并行计算不是简单的串行并行化，大规模计算中规模复杂度远远超过了预期。基于上述思想，针对新药研发和蛋白质折叠数值模拟计算方面总体计算量大、计算任务不规则、网络性能要求高等多方面的问题，本文设计并实现了一个轻量级的并行计算框架方案，并实现了一个初步的原型系统，可以实现大规模生物医药异构计算系统的映射问题，并可以灵活监控管理计算的运行状态，保障计算的顺利运行。在框架结构中，本文主要提出了分群分组，资源优化匹配等策略来缓解大规模下主节点的通信和计算瓶颈。本文主要对原型框架的系统架构做了比较深入的介绍分析，包括分群分组，资源优化匹配机制，主从监控等几个方面进行了讨论，并在对上述机制的原型系统予以实现的。同时，本文对原型系统进行了功能性验证，实验结果证明在大规模的环境下，该系统框架可以有效映射计算任务，主节点CPU 负载，网络负载，IO负载始终保持在较低水平，在计算系统大规模扩展的基础上，可以持续扩展，有效监控。