● 摘要
“数据”在规模上的持续膨胀和形式上的不断泛化使其在当前信息技术中居于核心地位。数据的高效管理和价值发现是信息处理领域的重要问题也是难点所在。数据活化（Data Vitalization）是一种新型数据组织和处理理论，通过获取、认知、关联、熔接、溯源等方法，实现海量多源异构数据的自我认知、自主学习和主动生长，是一种解决海量高维时空数据管理问题的全新理念和模式。数据活化中的一个基本问题是发现数据之间的相关性，为孤立的数据之间建立联系。文本是互联网时代数量最多、存在最为广泛的数据形式，文本中自然语言的基本属性使其成为典型的高维、无结构化、语义复杂的数据。本论文针对文本数据处理中的难点，从文本数据挖掘的角度出发，对文本数据活化的相关技术进行了探索和研究，主要工作内容如下：
1. 向量空间模型中“Bag of words”（BOW）的文本表示方法不能反映文本特征间的相关性，本论文提出了一种基于频繁词集的文本特征扩展方法以增强原特征空间的语义信息、上下文信息和关联信息。在频繁词集的选取中，为了提高特征的类别区分能力，引入了一个新的约束参数AD-Sup，考虑了频繁词集在各类别中的分布差异性，用于剔除支持度很高但是分布均匀的特征。然后基于原有特征和频繁词集特征共同构成全局特征空间，针对频繁词集特征带来的数据稀疏性问题，提出了基于特征相似度的权重计算方法，有效的降低了文档在新增频繁词集特征上的数据稀疏性。实验结果表明，AD-Sup可以有效的筛选出区分能力较强的频繁词集，全局特征空间的组合策略优于单一使用频繁词集或单词的策略，可获得最好的分类结果。其次，针对短文本的特征扩展问题，提出基于频繁词集构建短文本的背景知识库，从所有候选词集中筛选出频繁的且词集内的单词具有相同类别倾向的二元频繁词集作为扩展背景。实验表明，在训练样本数较少时，从二元频繁词集的背景知识库对原特征进行扩展可以使分类精度得到显著的提升。
2. 基于关联规则挖掘方法，研究了将关联分类规则应用于Web评论的观点分类问题。首先在频繁词集的提取过程中，通过支持度均方差去除低区分能力的频繁词集；然后对关联规则挖掘的算法进行了研究，提出了构造最优关联分类规则集的方法，可有效的降低分类规则集的冗余性；针对单一评价参数在分类问题上的不足，对关联分类规则集的规则权重评价使用了多个参数：最大置信度（Max-conf）、规则覆盖长度（Covered Len）、次要置信度（Minor-conf）和最大单词权重（MTW），其中最大单词权重（MTW）定义为分类目标匹配的规则簇中的最大单词权重均值，反映了匹配规则集中单词的重要性。在此基础上，提出一种多参数投票的评分机制，分类目标的类别由多参数的评分值决定。经实验验证，与多种基于置信度评价的关联规则分类方法相比，本论文提出的多参数评分方法对分类精度有明显的提高。
3. Mean Shift是一种有效的寻找样本数据中心点的算法，通过始终指向密度最大点的向量不断的移动，能够迅速准确的探测到局部极大值。本论文研究了基于Mean Shift算法的Web文档分类方法，首先通过特征选择对文本的特征空间进行降维，然后利用基于带宽自适应的均值漂移向量迭代的寻找样本空间中密度最大的点，该均值漂移向量根据k近邻点的分布动态调整带宽，局部密度越大，带宽越小，最终收敛于样本中心点。最后，找到不同类别的样本数据中心即可通过对比文档和各个质心的距离判定该文档所属的类别。实验结果表明，基于Mean Shift的质心分类方法可以有效的应用在新闻文档和Web评论文档的分类问题上，可以取得较好的分类效果，且具有时间复杂度较低的优势。
4. 在基于划分的文本聚类方法中，随机选择的文档往往包含特征数十分有限，不利于类中心的初始化，针对这一问题，研究了文本文档复杂特征和文档结构性信息的提取，通过挖掘文本位置信息、同义词、共现词集等对随机选择的文档进行特征扩展并按照最大距离原则依次产生初始类中心，基于特征扩展的方法保证了初始类中心可以包含足够多的特征项。在此基础上，研究了类中心在迭代过程中的分裂和合并规则。每次迭代都会对原聚类中心点作重定位，依据样本的偏离程度和候选中心的样本数量来判断是否进行分裂或者合并处理。和其它文本聚类方法相比，这种动态更新的策略不但可以取得较好的聚类结果，而且在初始划分数偏离较大时可以有效的减少聚类效果的下降。