● 摘要
伴随着科学技术的不断发展,各个学科领域的研究与实践日益增多,科技文献数据呈现爆炸式增长。科技文献是科研人员进行科学研究必不可少的资源,而传统的基于关键字检索、引用关系匹配等技术的文献检索系统已经难以适应新形势下对海量文献检索的需求。如何对海量文献数据进行更深层次的数据挖掘,发现潜在的、有价值的、对现实具有指导意义的科学规律和方法,是知识发现与数据挖掘领域目前研究的热点内容。本文将主题模型应用到海量文献挖掘的研究和应用中,取得了如下成果:
1)将经典主题模型和增量主题模型应用到海量文献挖掘。对海量文献数据进行了有效的数据预处理,基于有效数据实现了LDA(Latent Dirichlet Allocation)主题模型,实现了对热门研究话题的挖掘;针对文献数据总量巨大、更新频繁、模型运算开销大的情况,实现了增量主题模型,并通过模型评价证明该模型在保证主题模型处理效果的前提下显著提高了数据更新时的模型运算效率。
2)提出文献及其作者、机构的挖掘模型—CAI(Customized-Author-Institute)模型。将语言模型(Language Model)与LDA主题模型结合,并将用户的多样化检索需求作为参数纳入模型,实现了满足个性化需求的文献检索,并基于公共数据集与经典检索算法进行对比,评价结果证明了文献检索算法的优秀性能。利用主题模型建立文献、作者和机构之间的关系,实现研究热点和作者、机构之间的双边关系检索,评估结果显示了模型的有效性。
3)基于本文所提出的模型实现了科技资源挖掘系统。将本文实现的增量主题模型和CAI模型应用到海量文献挖掘,系统功能包括:热门主题分析及其随时间的变化趋势分析、满足用户个性化需求的文献检索、热门主题与作者和机构之间的双向检索、合作者网络等,对研究者分析研究热点的变化趋势、依据自身需求完成文献和作者机构检索、发现相关甚至是潜在的热门主题等都具有重要的实践价值。