● 摘要
遥感图像理解是一种利用计算机技术通过模拟人类思考和观察过程,对遥感图像做出全面分析的应用。遥感图像理解不仅探索场景中有什么、在哪里等问题,还需要给出场景的语义,描述场景中发生的事件。
本文借助主题语义模型Latent Dirichlet Allocation(LDA),通过研究非监督建模和关系自动挖掘技术,提出一套遥感图像自动理解框架。该框架旨在尽可能减少人对模型的干预,以数据驱动的方式逐步回答遥感图像理解中“学什么”,“怎么学”和“发生了什么”三方面问题。
本文的研究内容和贡献包括以下四个方面:
(1) 提出一种基于词组模型的纹理建模方法,该模型可同时完成地表分割和建模两项任务。同时,该模型可解决对非未知纹理的分类问题。受自然语言启发,本文提出通过词组模型实现纹理建模。而且,词组模型是一种非监督建模方法,它按照纹理的自身特性对纹理进行自动分类和建模。该方法具有在线学习的能力,可分割和建模未知的地表纹理类别。
(2) 提出通过显著性模型自动样本提取方法,并构造遥感图像车辆和屋顶数据库。该方法通过模拟人类视觉注意原理,自主搜索感兴趣的目标并作为建模对象。以此回答“学什么”。针对遥感图像目标建模问题,提出了基于主题语义模型的非监督结构建模方法。本文改进了LDA模型,通过引入对单词的空间约束,实现目标结构信息的描述。该模型是非监督的,可通过非标注的样本学习模型,学习方法可根据样本的复杂度自主调节模型自身的复杂度。该模型也适用于多目标同时建模。解决了“怎么学”的问题。
(3) 提出一种关系语义自动挖掘方法,并通过关系信息描述场景的高层语义,回答了图像场景中“发生了什么”。在传统方法中,关系信息是人为设定的语法规则,这种关系表达方式需要研究人员进行大量干预。本文提出的关系自动挖掘方法,自动从场景中挖掘具有关系的主体及关系的属性。在关系识别的基础上,综合不同场景的关系分布特性,实现场景内容分类。
(4) 提出遥感图像建模、理解的框架。该框架实现了全方面的遥感图像理解内容,包括地表分割分类、样本提取、目标建模和场景分类。该方法以非监督、数据驱动的学习方式,提高模型的表达能力,并极大减少了人的主观性在学习过程的影响。
论文以高分辨率遥感图像中屋顶检测和道路事件分类为应用背景,对提出的模型进行了验证。实验结果表明,本文提出的遥感图像自动理解框架可有效完成从目标发现到高层语义建模的自动化流程。