● 摘要
近年来是大数据和移动互联网高速发展的时代，大量的数据信息和不规则的信息充斥其中。文本依然是互联网信息的主要载体，如在微博和微博评论、用户聊天信息、微信以及朋友圈、APP描述、贴吧论坛等口语化信息等信息以及充斥其中的广告信息。如何对这些信息进行处理和分类是急需解决的问题。在传统的文本分类系统中，主要有规则匹配和基于概率的分类器两种方式，但是在实际工作中发现效果并不明显。近年来也提出了许多基于自聚类和半监督的短文本分类系统。[1,2]
本文是在联想研究院实习过程中，结合实际问题提出一种结合基于自聚类的强规则匹配和基于主题词抽取的分类器的文本分类系统，此外在分类器学习的预处理过程中，也需要自聚类的一些成果。在这个系统中总共包括3个模块：预处理模块、监督学习模块和匹配模块。预处理模块主要工作是分词、去停用词以及主题词的提取；监督学习模块是建立监督学习模型；匹配模块是使用提取的主题词，通过词的聚类挖掘出更多的关键词，以此建立规则。在流程上先进入匹配模块，未成功的实例再进入监督学习模块，这样的好处是保证准确率的前提下有提升了召回率。
本文数据是由移动端APP简介和名称构成，其中训练样本1万多条，有33个分类，最后由此分类系统得到分类结果大大提高了传统分类器的准确率，同时又弥补了基于规则匹配的召回率不足的问题，在33个分类中准确都达到80%以上，在一些分类中准确率在90%以上，同时这个结果也在实际检测得到通过，投入到实现运用当中。