● 摘要
随着网络技术的飞速发展以及网络共享社区（如微博、微信、人人网等）的出现，网络上的多媒体信息呈现爆炸式的增长，包括图像、文本、音频、视频等。目前主要的商业信息检索方式包括基于关键词的信息检索和基于内容的图像检索，它们都是利用单一媒体信息检索相同媒体其他信息的方法。为了充分挖掘描述同一内容的不同媒体信息，跨媒体信息检索技术应运而生。跨媒体信息检索旨在应用模式识别技术推断不同媒体信息间的语义相关性，检索出与输入媒体语义相同的其他媒体信息。本文以图像和文本两种媒体为对象，提出了一种跨媒体信息检索方案，并获得了良好的检索结果。
本文首先研究了图像视觉特征的语义表示方法，其中特征包括SIFT特征，特征包模型，还提出了基于以上两种特征和图像类别的图像语义特征，通过对自然场景图像的分类实验验证了最有效的图像语义特征表示方法。
本文针对中、英文的不同语言特点，提出了相应的文本语义主题提取方法，包括对英文文本基于词的主题提取方法，对中文文本基于词和基于字的主题提取方法，以及基于以上特征和文本类别的文本语义特征提取方法，并通过文本分类和跨媒体检索实验证明了中文文本基于字主题特征的有效性。
本文提出了一种主题相关模型，利用图像和文本的语义特征，将两种媒体映射到相同的语义空间。在此空间中，利用概率模型计算测试用例和数据库中数据的相似度，实现不同媒体间的交叉检索。
实验证明，本文提出的跨媒体信息检索模型具有较高的准确度和较简单的结构设计。