● 摘要
随着多媒体技术的发展和互联网应用的普及，人们所拥有的视频数据量呈指数级增长，如何管理海量视频数据并对其进行快速检索已成为近年来学术界研究的热点。为了实现对视频数据的自动查询和检索，各国学者对视频数据的低层语义特征和高层语义特征进行了广泛的研究。一般认为，低层语义特征包括对象的形状、颜色、纹理和运动矢量等，高层语义特征包括诸如人脸、文本和语音等。在所有这些语义特征中，视频文本为视频的有效索引和检索提供了十分重要的信息，如新闻发生的时间、地点和人物，电影的导演和演员姓名等。同时，视频文本提取和识别技术还可以广泛应用于各种需要对视频中的文本进行检测、分析和理解的场合，比如智能监控和汽车自动导航系统。视频中的文本往往叠加在复杂背景中，字体大小不一、排列方向不同且颜色各异，使得视频文本的检测、分割和识别非常困难。本文针对上述挑战，对视频中文本的提取和识别技术进行了探索和研究，主要的工作内容如下：1. 针对视频中的文本检测问题，提出了一种基于多特征融合的由粗到精的框架CFM2F2(Coase to Fine Mainframe based on Multi-Features Fusion)来检测和定位视频中的文本。首先，在文本的粗定位过程中，根据文本区域的边缘密度特征以及排列方向的特点，采用形态学操作将将图像边缘连接成文本候选区域；其次，在精定位过程中，利用文本字符间距产生的纹理的周期性特征提取特征向量，利用支持向量机对粗定位的候选区域进行进一步精确分类，区分文本和非文本区域。实验表明，论文提出的基于CFM2F2框架的方法能快速定位文本区域，且不受文本颜色和字体的限制，能检测多个方向的文本行，具有较强的鲁棒性。发表相关研究论文2篇，其中“An Automatic Video Text Detection, Localization and Extraction Approach”已被SITIS2006的论文集收录，“基于词组学习的视频文本区域检测方法”已被《计算机工程》录用。2. 从时域角度对视频文本增强方法进行了研究，提出一种基于Hausdorff距离度量跟踪文本(T2MHD, Text Tracking based on Hausdorff Distance Measurement)的多帧集成MFI(Multi-Frames Integration)文本增强方法。由于视频文本会在相邻帧持续出现，叠加在视频场景中的文本具有运动的背景，通过时域信息可以有效去除背景。运动背景会给相邻帧区域的相似性比较引入较大的误差，在本文的方法中，考虑了文本笔画具有边缘对的特点，在计算区域匹配模板时有效降低了运动背景带来的误差影响。相对于以往研究，本文提出的T2MHD方法对于具有运动背景的文本行具有更好的跟踪效果。相关论文“一种基于多帧视频的文本图像质量增强方法”已被《中国图象图形学报》录用，并申请相关发明专利一项。3. 以边缘两侧颜色分布和文本颜色分布的关系为基础，提出一种基于边缘像素采样(SEPs, Sampling based on Edge Pixels)和k-means聚类的文本分割方法。由于文本边缘处像素颜色分布和整个文本笔画颜色的分布具有相同的扩展方向，论文提出的方法利用文本行的边缘信息对图像中文本和背景的颜色分布进行采样，然后利用k-means聚类的方法估计文本图像的分割种子点和半径。最后，根据文本笔画尺寸的先验知识对分割结果进行连通域分析，得到正确的分割结果。由于论文提出的SEPs方法根据文本的高频边缘特征对图像中文本和背景像素的颜色分布值进行采样，能自动估计进行文本分割的统计值，具有更好的适应性。发表相关研究论文2篇，其中论文“基于边缘和颜色的视频文本图像分割方法”已被《系统仿真学报》录用，论文“Skew Estimation and Segmentation of Text Line in Video Frames”已被WMWA2008录用，并申请相关发明专利一项。4. 针对具有复杂背景车牌图像的车牌定位问题，提出一种新的快速车牌定位方法。车牌具有车牌号码，所以其定位问题可看作是视频文本检测的一个特例，但车牌区域本身具有自身的特点，比如长宽比固定、背景相对简单等。另外，受到在自然场景中存在的背景对象(树木、房屋和行人等)和天气条件的影响(雾和光照)，车牌区域的颜色特征以及对比度特征不是很明显。论文在融合多特征由粗到精分阶段文本检测研究的基础上，针对车牌图像的特点，提出了一种基于灰度形态学Tophat滤波、融合边缘和纹理特征的车牌定位方法。相关研究论文“基于顶帽变换和文字纹理的车牌定位算法”将发表于2008年5月《北京航空航天大学学报》，并申请相关发明专利一项。