● 摘要
近年来,基于传统技术架构设计的分布式计算资源调度系统,在面对海量数据,多任务并行处理时存在很多问题与不足。对于如何应对海量数据与服务带来的挑战,在固有物理资源分配结构,和时间与空间的限制条件下,优化计算资源调度算法,为用户提供安全、快捷的任务服务,是本文研究的主要内容。本课题设计的分布式计算资源调度系统期望实现资源使用率的最大化、分布式计算资源负载均衡和平衡硬件能耗等目标。
本系统是在调研分析贵阳市一期高清视频监控平台后,针对原平台中调度系统存在的计算任务执行效率低下,历史数据复用率不高,和不可承受高并发量计算任务等缺陷与不足,重新设计完成的。
本调度系统在整个平台中的主要功能是将上层用户发送的视频计算任务请求进行预处理后,合理地为其分配各机房的计算资源,以实现计算任务的高效并行计算。针对项目需求和系统环境,本课题设计了资源共享调度组机制、三层系统架构管理模型,资源调度算法和计算任务分层处理等方案,合理有效地管理分布式资源,并将任务进行拆分、分配节点资源、分类执行等一系列操作,以实现计算任务的高效并行处理。这其中涉及多方面的知识,如资源调度,心跳监听,分布式并行计算,任务异步执行和数据安全等等。
在系统开发完成后,本项目实施了一系列系统测试工作,通过建立应用案例模型、搭建部署测试环境、实现功能覆盖测试等来验证本系统的有效性与可行性。经测试环境下的结果分析,本系统有效地克服了原系统的诸多不足,并达到了预期目标。
相关内容
相关标签