● 摘要
随着互联网技术不断的发展，尤其是web2.0以来，人们产生数据的能力已经远远超过了他所能对信息的处理、组织和吸收的能力。互联网上各种社交网络，如Facebook、Twitter、微博、微信等等，都为各式各样的数据（图像、音频、视频、文本）爆炸式的增长提供了有利的平台。数据的异构性（Variety）、大规模（Volume）、快增长（Velocity）、以及潜在的巨大价值（Value），使人们走进了大数据时代！
科技在不断的发展，人们对科技的要求也越来越苛刻：人们希望互联网上各式各样的应用能够像人一样能够理解用户的心思；这样的话，当用户提交请求时，机器就能够善解人意地为他们提供所需要的资源。这就需要科研工作者们要致力于大数据的分析与理解，其中文本的语义相关度计算就是一个非常基础而又重要的方向。基于此，本文提出了大规模文本下语义相关度计算的研究课题，旨在提出有效的模型或算法来提升语义相关度计算的性能，并尽可能应用在相关系统中，给用户带来便利。
本文首先对文本的语义结构作了分析，然后确立了语义相关度计算的两个研究点：一是在维基百科知识库下，显示地构建概念语义空间，将文本映射到此空间下，然后再计算文本的语义相关度；二是在大规模的语料库下，隐含地挖掘主题空间，通过数学的手段找出投影矩阵，然后将文本映射到此空间下，最后再计算它们的语义相关度。
本文从概念结构元的角度审视文本是如何表示的？在维基百科知识库下，我们基于解释语义模型构造了概念语义特征空间，并引入了TF-ODF，基于语用的调权算法，以及带监督器的滑动窗口降维策略，提出了表现语义分析的语义相关度计算模型（Representative Feature Analysis，RFA）。通过与其他模型对比，实验结果表明：RFA在语义相关度计算上有较好的性能。
此外，本文还从文本的主题语义结构元的角度来表征文本，用数学的手段建立了优化模型，并为了更好地刻画文本稀疏性的特点以及尽可能挖掘文本的潜在语义结构，引入了L1/2正则化约束项和每一个元素的非负约束项，提出了一种大规模的非负约束的L1/2正则化潜在语义分析模型，并设计了大规模的分布式并行算法。在大规模数据集上的实验表明：我们提出的改进模型要比当前流行的VSM、RLSI以及NMF表现出更好的性能，并且具有处理大数据的能力。
接着，在前两章的研究基础之上，为了方便用户在目前流行的搜索引擎反馈的众多检索结果中进一步快速地找到想要的资源，设计并开发了基于语义扩展的在线聚类系统。
最后，本文从文本的语义结构和主题模型发展的角度对所做的工作做了总结与展望，并指出了下一阶段的语义相关度计算的研究方向：概率主题模型和深度学习。