● 摘要
随着智慧城市建设的不断深入，城市运行管理中大量智能终端产生了海量数据，需要高效一体化平台对数据进行存储、管理和计算。随着hadoop的大量应用，选用hadoop平台管理城市数据。监控管理系统是hadoop平台中的重要组成部分，能够对平台上的资源、数据和作业进行监控和管理，及时发现平台中的问题，进而保障平台上作业的稳健运行。大数据平台监控管理系统不仅能为业务方提供业务运行状态信息，还能为系统管理员优化平台配置、合理安排资源提供参考。目前hadoop平台的监控管理系统不能满足平台上城市数据处理监控需求。因此，研究hadoop平台上运行状态信息的采集方法，设计实现hadoop平台的监控管理系统在城市大数据平台的实际应用中非常有意义。
本文调研基于Hadoop的大数据平台现有的状态信息采集方式，研究hadoop平台中状态信息实时采集模型和分析处理方法，研究hadoop平台资源和作业监控管理架构，设计并实现大数据平台的监控管理系统。
本文取得的主要成果如下：
针对hadoop平台状态信息多来源、多层次的特点，分析了平台运行状态信息和作业运行信息的采集手段，整合不同类型不同来源的监控信息，设计了适应于hadoop平台的运行状态信息的采集模型。
针对了hadoop平台平台状态信息处理和作业状态信息处理，分析了平台运行状态信息的处理方法，设计了状态信息处理方案，处理结果可以为作业优化和集群优化提供直观的依据。
分析平台监控信息的展示方式，通过风格统一的页面，以图表的形式将平台运行状态直观表示出来。针对hadoop平台组件和作业管理困难的问题，设计平台控制管理框架，为管理员和用户提供统一的操作接口，简化集群管理，提高平台的可用性和易用性。
设计并实现了大数据平台监控管理系统，通过网页监控和管理大数据平台，已部署至北航智慧城市实验室，成为研究人员使用平台的主要工具。
关键词：Hadoop，监控管理，大数据，作业监控
相关内容
相关标签