当前位置:问答库>论文摘要

题目:基于统计模型的垃圾邮件过滤技术研究

关键词:垃圾邮件过滤 朴素贝叶斯 最小风险 风险因子 特征选取

  摘要


电子邮件己经成为人们日常生活中通信、交流的重要手段之一。但电子邮件给用户带来便利的同时,也遭到了一些人的滥用,结果就是有大量的垃圾邮件充斥Internet,给用户和ISP造成了巨大的损失。因此,反垃圾邮件成为Internet目前亟待解决的问题。

目前常用的反垃圾邮件技术主要有:基于信件源的技术和基于内容的技术两类。其中基于内容的技术主要是将数据挖掘和机器学习的理论引入到垃圾邮件内容过滤中来,又可分为基于规则和基于统计两类。在众多基于统计的方法中,朴素贝叶斯(Naïve Bayes,NB)是一种简单的机器学习方法,它通过区分垃圾邮件(Spam)和正常邮件(Ham)的特征构建统计模型进行自学习。在新邮件到来时,由分类器根据训练学习的统计规律预测新邮件为垃圾邮件或正常邮件的可能性,将邮件归入可能性最大的那一类。NB以其运算速度快、易于实现等特点在垃圾邮件过滤中得到了广泛的应用。
NB垃圾邮件过滤模型(NBF)中的关键问题有:邮件文本的形式化描述,特征词选取方法,概率计算模型等。本文针对这些问题进行了深入的研究,在分析传统方法的基础上,对其进行了有效的改进,并做出了一些大胆的尝试。
本文主要研究了以下内容:
1)   概述了垃圾邮件过滤问题的研究现状,包括垃圾邮件的定义、危害、特征分析以及常用的过滤技术;
2)   介绍并详细分析了通用的邮件语料库以及评价体系;
3)   详细分析了传统的NBF模型的实现方法及关键问题;
4)   将文本分类中常用的特征词方法引入NBF模型中,综合分析各种方法的特点,通过实验发现在Ling-Spam语料上采用CHI方法能使NBF过滤效果最优;
5)   针对期望交叉熵(ECE)特征词选取方法的不足,提出了改进的期望交叉熵(AECE)选取方法;
6)   综合分析了NBF中现有的概率计算模型,通过实验比较,选出了最优计算模型,在计算模型的最优选择和特征词选取方法优化的基础上,提出了在分类时通过特征词加权的方法,提高过滤精度,从而实现了改进Naïve Bayes的垃圾邮件过滤模型(A-NBF);

7)   综合分析了传统的基于最小风险的Naïve Bayes过滤模型的特点,提出一种新的过滤模型—基于直线几何分割的贝叶斯邮件过滤模型(LGDNBF),定义了新的风险因子,以更加准确地描述风险,从而提高了过滤精度。