题目：基于内容的视频分析及检索方法研究

随着多媒体与网络技术的发展，视频数据迅速增长。如何有效地描述、组织并检索视频数据以便准确迅速地获取用户满意的视频数据已经成为一个亟待解决的问题。基于内容的视频分析与检索的本质就是利用视频的低层与高层特征，对视频结构和内容进行处理、分析和理解，并根据视频内容本身进行视频检索的过程。这种检索方式更看重对视频内容的加工与处理，在索引处理时，除考虑传统的标题和标签之外，还强化了对视频结构和内容的处理。在搜索时，也有效地融合了文件定位和视频帧定位的特点，使搜索定位更加精准和实用。因此，基于内容的视频分析与检索技术的研究将给目前的视频搜索服务注入新的元素，从而推进视频搜索服务的应用和发展。在计算机领域，基于内容的视频分析与检索工作仅始于上世纪九十年代中期。研究者们针对视频特征提取和视频内容分析方法进行了广泛的研究。与此同时，ISO等国际标准化组织也积极将其工作领域拓展到多媒体内容描述领域，并着手制定了相关的国际标准MPEG-7。基于内容的视频分析与检索的一般流程是首先对视频进行结构分析、特征提取，然后进行特征索引，最后接受检索请求，返回满足要求的视频摘要供用户浏览，根据用户反馈逐步求精得到查询结果。目前，基于内容的视频分析与检索的各项技术尚不成熟，许多方面都有待完善和发展，主要的研究热点集中于视频结构分析、视频事件检测、多媒体语义描述和查询接口设计等方面。其中，视频结构分析是进行视频内容分析与检索的前提条件，主要目的是将视频划分为更小的结构单元，便于后续的特征提取和语义分析；一般包括镜头边界检测、镜头聚类和场景分析三个基本步骤。视频事件检测的实质是视频语义特征提取的一种方式，其主要任务是建立视频低级特征与语义概念之间的联系。多媒体语义描述机制的研究主要关注MPEG-7与其它领域元数据描述机制的融合。而查询接口设计则重点研究如何使得用户能够方便地表达视频查询需求。本文在本实验室以往研究的基础上，着重对视频结构分析中的镜头边界检测与镜头聚类、多媒体语义描述机制与原型系统等方面进行了研究。论文的主要贡献包括：1. 对镜头边界检测算法进行了系统性的研究。镜头边界检测是实现视频数据库组织、管理与检索的首要步骤，其主要任务是将视频流划分成一系列镜头。镜头边界类型有很多，而不同类型的镜头边界有着不同的检测算法。在实际的镜头检测应用中，需要将上述检测算法统一在一个框架下，以便于检出不同类型的镜头边界。在对现有镜头边界检测算法分析的基础上，提出了一种级联分类的镜头边界检测算法（CC-SVM），以便对不同类型的镜头边界进行检测。论文给出了详细的实验过程和分析，实验结果表明，本文提出的CC-SVM算法的综合性能指标要优于积聚算法和SVM-TMRA检测算法。相关论文两篇，一篇《一种二级级联分类的镜头边界检测算法》将发表在《计算机辅助设计与图形学报》2008年第5期上，另一篇《A method for fast shot boundary detection based on SVM》将发表在CISP2008论文集上。同时申请发明专利一项（申请号：200810056095.3）。2. 对镜头聚类算法进行了研究。镜头聚类的主要目的是将相似的视频镜头组成一类，从而抽象出视频的整体结构。针对镜头聚类中存在的类别个数选择以及最优解求解问题，提出了一种基于信息瓶颈理论的镜头聚类算法（AIB&SIB），并给出了详细的实验过程和分析。实验结果表明，本文提出的AIB&SIB算法能有效地考虑镜头在特征空间的分布，在性能上要优于K-Means算法及AIB算法。相关研究成果申请发明专利一项（申请号：200710179306.8），另有一篇论文《基于信息瓶颈理论的镜头聚类方法》已投稿于《电子学报》。3. 对多媒体语义描述机制进行了研究。系统地分析了MPEG-7语义描述机制中存在的问题及语义Web在语义描述中的优势，提出了以核心本体法为基础的MPEG-7语义描述与领域本体集成框架；并给出了MPEG-7 XML Schema到OWL的转换方法，核心本体、MPEG-7语义本体与领域本体的集成方法以及MPEG-7语义描述XML文件到RDF文件的转换方法。相关论文一篇《Combine MPEG-7 and Semantic Web to Enhance the Semantic Interoperability in Multimedia Retrieval》已经发表在ACM SIGMOD/CVDB 2007的会议论文集上，并获得了该次会议的最佳学生论文奖。4. 设计了一个符合MPEG-7协议的视频检索原型系统。在对MPEG-7分析研究的基础上，设计了一种MPEG-7与语义Web相结合的视频内容描述方法，提出了一种XQuery与SPARQL相结合的视频内容查询接口，并针对XQuery在基于低级特征的视频查询中的不足进行了扩展。相关论文两篇，一篇《基于MPEG-7协议的视频检索系统设计》已经发表在《北京航空航天大学学报》，另一篇《VexQuery: An XQuery Extension for MPEG-7 Vector-based Feature Query》已发表在SITIS2006会议论文集上。