题目：基于视频内容的事件描述模型研究

视频内容的表达与理解已经成为视频处理、可视计算、增强现实等相关研究领域的国际前沿研究方向，在体育研究分析、社会公共安全、电影电视制作等典型行业领域具有重要的应用价值。本论文围绕视频事件描述与解析，调研分析了相关国内外研究现状及其发展趋势，确定了论文针对的关键问题：如何面向事件的类别描述、过程描述与细节描述，分别构建基于视频内容的事件描述模型。本论文深入开展了基于视频内容的事件描述模型研究，给出了基于视频内容的事件描述方式，提出了基于动作属性的事件类别描述模型、基于与或图的事件过程描述模型、基于概要图的视频事件细节描述模型，主要创新点与研究成果包括：1、给出了基于视频内容的事件描述方式。首先分析视频内容的层次结构，给出基于本体的视频内容知识表达方式；然后结合视频内容的层次结构与知识表达方式，从类别、过程和细节三个方面，给出视频事件的描述方式。在此基础之上，利用经典的对象跟踪和动作识别方法，根据视频事件描述方式，设计并实现了一套视频内容语义标注工具，获得了大量视频事件的类别与属性信息，为开展视频事件描述与解析研究提供了数据基础。2、针对视频事件类别检测问题，以视频摘要自动合成为典型用例，提出了一种基于动作属性的视频事件类别描述模型。首先从语义属性上统计组成视频事件的每个视频动作发生频率，并根据发生频率确定该类事件的核心动作；然后从时间属性上分析其余每个动作与核心动作之间的时序关系，统计动作视觉特征并训练每个动作的最佳发生时间区域。运用视频事件类别描述模型，提取同类事件的视频片段，并自动合成视频摘要。以真实足球比赛视频为实验数据，选取进球和红黄牌两类视频事件为例，验证了视频事件类别描述模型在视频事件检测和提取上的有效性，根据类别描述模型的视频摘要自动合成，具有适用范围广泛和摘要内容可定制的优点。3、针对视频事件过程解析问题，以视频解说文本自动生成为例，提出了一种基于与或图的视频事件过程描述模型。首先根据视频动作为叶节点、视频事件为根节点的与或图构建模型结构；然后利用时间属性与角色属性描述模型结构同层节点之间的关系，并利用语义属性描述模型结构叶节点层的视频动作语义；综合结构、同层节点关系和叶节点语义，构建视频事件过程描述模型每个节点具有的能量。运用视频事件过程描述模型，给出了一种结合自底向上和自顶向下的递归推理方法，以过程描述模型节点能量最大化为目标，从视频动作集合中快速推理出视频事件的具体发生过程。在足球比赛视频数据集上的实验结果表明，运用视频事件过程描述模型能够完成相同视频事件的不同过程推理，使用视频动作信息解析出视频事件的详细过程，并自动生成视频简单描述文本。4、针对视频内容匹配问题，以视频事件检索为典型应用，提出了一种基于概要图的视频事件细节描述模型。首先构建视频事件概要图，记录视频事件中的视频动作及其属性信息；然后分析概要图上的动作语义、时间逻辑、空间上下文以及动作布局，抽取视频事件的细节特征；最后面向视频事件匹配，构建基于细节描述模型的匹配测度，并通过测度参数学习方法衡量每个匹配测度的重要性。运用视频事件细节描述模型，给出了一种视频事件细节匹配方法，计算目标视频事件与待匹配视频事件之间的相似度；并且设计了一种事件画板交互工具，便于用户输入视频事件细节。在监控数据集和足球数据集上的实验表明，运用视频事件细节描述模型能够检索出与概要图细节类似的视频事件，事件画板交互工具能够有效抓住视频事件的细节，有利于改进视频事件检索的输入方式。