● 摘要
伴随着计算机及相关学科的飞速发展，高性能计算、Hadoop分布式处理框架和搜索引擎服务等基于计算机机群的应用和服务正在改变我们的生活。机群性能监控系统通过实时展示应用或服务在机群系统中的运行特征全貌，有助于提高应用运行效率，保证服务稳定可靠。但是随着机群的规模变得越来越大，大规模机群性能监控过程中产生的海量数据对监控的质量和效果提出了挑战。
为了提高大规模机群性能监控的质量和效果，本论文着力于研究监控过程中海量数据的处理，包括海量数据的收集、海量数据的解析和大规模可视化，并在此基础上设计并实现了一个基于消息总线且具有分布式结构的机群性能监控系统。系统由监控代理、消息总线和客户端三部分组成，它能够较好地处理监控过程中的海量数据，满足大吞吐量和高响应速度的监控需求。
消息总线基于分布式消息系统，作为监控代理和客户端之间的缓冲区，它有效地将大规模并发访问压力均衡分摊，解决海量数据收集的问题。
监控代理利用插件系统控制数据采集。在自我调节模式下，它能够根据机器状态动态调整数据采集的频率，从源头控制海量数据的产生。
客户端负责海量数据解析和大规模可视化。整体上客户端采用流水线设计，提高了系统的吞吐量；待解析任务队列是数据请求和数据解析之间的缓冲区，基于无锁算法实现，比传统的有锁算法更加适合线程密集型应用场景；自行设计的基于贪心思想和优先级队列的均衡任务调度算法，充分利用现代处理器的多核特性，提高并行数据解析的效率；并行可视化充分发挥处理器多核心计算能力并行绘制图像，大幅度提高性能。
实验结果显示，本文实现的基于无锁算法的待解析任务队列，在线程密集型应用场景下，较传统有锁队列性能提升显著。通过实验证明，并行可视化模块具有高性能，完全满足现有大规模机群实时可视化的需求。