题目：虚拟化网络计算环境中资源管理关键技术与系统研究

随着互联网技术及其应用的深入发展，网络化应用和服务的种类逐步丰富。围绕着跨域的资源共享和应用集成、网络资源的有效利用以及多样性的应用需求，近年来陆续涌现出了网格计算、对等计算、云计算以及虚拟计算等网络计算模式，分别从不同的视角解读网络资源优化使用、共享和协同等问题。同时，以数据中心代表的网络计算基础设施汇聚了大规模的计算、存储和网络等物理资源，承载了庞大的数据存储和计算需求，成为各种网络化软件和服务的关键支撑。但是，随着基础设施上软硬件资源规模的不断攀升及网络计算模式的不断发展，新的需求和问题对于网络计算环境中资源管理提出了诸多挑战。本文将网络资源管理目前所面临的关键问题归结为：“成本失控”、“运行失效”和“管理失调”三个方面。首先，物理资源投入不断上升但资源平均利用率持续偏低、能耗和运维管理成本随资源规模扩张而快速增长，恶化了硬件资源投入和管理成本的效益。如何实现底层物理资源的一体化管理，优化资源的配置和共享，以避免资源闲置，提升资源利用率，降低无谓的能耗成为网络资源管理亟需解决的问题。其次，保障网络化软件应用的运行效率和持续可用的需求越发强烈。一方面，操作系统的软件隔离和设备边界的物理隔离，均无法有效地化解软件系统对于资源的隔离访问与共享使用这一矛盾，制约了物理资源分配和使用的效率；另一方面，随着网络基础设施规模和复杂性的上升，软硬件异常故障、人为误操作等不确定因素导致软件应用意外失效的风险加大，而软件网络化、服务化趋势以及多软件实例聚合等因素，又进一步放大了软件应用失效所造成的影响和损失。因此，如何在保证安全隔离和持续可用的前提下，提升资源的共享程度，并为软件系统提供通用、高效的故障恢复保障，是当前重要的研究问题。最后，资源管理效率无法有效地跟进并适应软硬件资源规模的快速发展，系统软件对于资源配置的控制和优化能力呈现出明显的不足，直接影响了资源的使用效率和运营管理成本。因此，如何消除软硬件配置上的耦合关系，为软件应用屏蔽底层物理资源的异构性、分布性和动态性，提升资源配置的灵活性和可伸缩性，是实现弹性网络资源管理的关键。虚拟化技术在软硬件层之间引入抽象中间层，具备封装、隔离、透明和特权控制等功能特性，可为复杂、大规模的网络计算环境中软件应用的隔离运行和资源共享提供基础性支撑。同时，虚拟化技术也为资源配置的可伸缩性、软件实例跨设备的可移动性以及透明的容错服务保障，带来了新的解决思路和实现技术。针对上述问题，本文以虚拟化网络计算环境中网络资源管理关键技术为研究目标，围绕着控制运营成本、保障运行效率、弹性资源配置三个核心需求，突破系统虚拟机和网络资源管理的若干关键技术，以形成支持软件执行环境动态构建、隔离运行和灵活调整的技术体系和系统。本文主要研究结果如下：1) 针对弹性网络资源管理以及软件系统隔离运行、灵活资源配置的需求，设计并实现了面向网络计算环境的弹性计算平台iVIC-ECP，给出了iVIC-ECP的设计原理、体系结构和功能特性，并基于iVIC虚拟计算环境实现了原型系统，支持虚拟实例快速的在线部署、在线的节点伸缩、高效透明的迁移以及硬件异常故障后的自动恢复。2) 针对以虚拟集群为代表的虚拟实例部署和运行管理中，磁盘镜像文件管理以及虚拟资源映射两个关键问题，提出了面向虚拟集群自适应部署和实例管理框架Sulcata；设计了基于多播的镜像传输技术，及基于写时复制COW模式的镜像复用、更新技术，在加速集群实例部署过程的同时，简化了虚拟集群应用环境中镜像文件管理和存储问题；提出了基于负载和镜像分布感知的虚拟节点映射机制，进一步提升集群实例部署性能并优化虚拟资源配置；实验结果表明，在平均消减56.95%部署时间开销的同时，Sulcata可显著地优化整体物理资源的利用率及负载分布。3) 面向虚拟网络服务在线的资源约束映射以及服务可靠性保障需求，提出了弹性可恢复虚拟网络服务在线映射机制Pardalis；该机制以最小化物理网络资源消耗为目标，在满足指定的资源约束和运行性能的前提下，通过预先构建备份路径和故障时的路径切换，为虚拟网络服务提供物理故障时失效可恢复的保障；机制以协同的方式处理虚拟节点和虚拟链路的映射问题，同时采用一种基于路径的、故障状态无关的备份路径构建方法；实验结果表明，Pardalis可以减少15%-35%的平均网络带宽开销，并提高14%-40%的服务收益代价比。4) 面向虚拟机在线迁移对于性能和透明性的真实需求，提出并实现了基于内存混合复制方式的虚拟机在线迁移机制Gigantea；该机制利用源宿主机主动推送的方式完成绝大多数的内存数据的一次性复制；而将少数的脏内存数据推迟到虚拟机在目的宿主机上恢复执行之后，通过按需复制或定时推送的方式实现同步；采用了预取页机制、定时推送机制以及避免空闲页处理等关键技术，以优化迁移过程中的内存同步效率；实验结果表明，Gigantea在迁移数据量和总迁移时间等性能参数方面均取得大幅地提升：平均缩减了70%左右的总迁移时间，减少了75%左右的内存迁移数据。5) 针对软件系统高可用保障机制通用性、透明性以及可部署性的需求，提出并实现了基于全系统状态备份的软件高可用保障机制Radiata；该机制通过将软件封装为虚拟机实例，并利用持续状态增量备份实现对虚拟机全系统状态的热备份，为任意类型的软件应用提供透明的高可用保障服务；采用了异步的状态复制、基于写时复制的内存快照以及脏内存页预测三项关键技术，以降低热备份操作所造成的软件系统性能损失；实验结果表明，Radiata能够准确、快速地将软件应用恢复故障前某一时刻的一致性状态，平均故障恢复时间在200ms以内，并且将备份操作造成的性能损失在控制在合理范围内。