题目：网页自动文摘系统的设计与实现

 

随着互联网的发展，网页的信息量也爆炸式增长，多样化的网页数据拓宽了人们获取信息的渠道，但如何快速、精准地从海量数据中找到真正自己想要的信息成为一大难题，自动文摘技术应运而生。

自动文摘技术可以分为基于统计的机械文摘和基于语义的理解文摘，前者根据空间向量模型，把文本视为句子的线性组合，把句子看作分词的线性组合。通过分词的权值来计算句子的权值，设定阈值，把高出阈值的句子输出作为文摘句。后者运用人工智能和自然语言处理学科的知识，构建相关领域的知识语义库，对文章生成的语法树进行逻辑推理，形成有逻辑和语义的句子。文摘质量较高，但应用领域有限且难于实现。

本文研究并设计了基于网页的自动文摘系统，属于基于统计的文摘。能够对用户提供的网页链接进行文本自动解析，运用统计的方法，结合语义结构分析，文本聚类技术，为语句设计一套综合计算权值的模型，选出权值较高的语句作为文摘句，并做了语句的冗余处理，自动生成250字以内的文摘。经过测试，自动文摘效果较为理想。

系统采用B/S模式的MVC架构实现。

系统运用以下关键技术，解决现有的自动文摘系统存在网页解析困难，文摘语义不连贯性，主题覆盖不全面，语义冗余等问题。

1.    基于行块密度的网页自动解析：实现对网页标题及正文的自动抽取。

2.    语句结构分析：消除语句指代不明，语义不够连贯现象。

3.    文本段落聚类：对文章按照不同的子主题进行聚类，提高文摘对文章主题的覆盖度。

4.    语义冗余处理：在文摘语句选择时，选取对文章主题概况度最高，且与已选文摘句语义相似度小的语句，消除语义重复现象。