基于主题模型的垃圾邮件过滤系统的设计与实现

摘要：

垃圾邮件过滤技术在保证信息安全、提高资源利用、分拣信息数据等方面都发挥着重要作用.然而,垃圾邮件的出现影响了用户的体验,并且会造成不必要的经济与时间损失.针对现有的垃圾邮件过滤技术的不足,基于多个主题词理论,构建了基于朴素贝叶斯的垃圾邮件分类方法.在邮件主题获取中,采用主题模型LDA得到邮件的相关主题及主题词;并进一步采用Word2Vec寻找主题词的同义词和关联词,扩展主题词集合.在邮件分类中,对训练数据集进行统计学习得到词语的先验概率;基于扩展的主题词集合及其概率,通过贝叶斯公式推导得到某个主题和某封邮件的联合概率,以此作为垃圾邮件判定的依据.同时,基于主题模型的垃圾邮件过滤系统具有简洁易应用的特点.通过与其他典型垃圾邮件过滤方法的对比实验,证明基于主题模型的垃圾邮件分类方法及基于Word2Vec的改进方法均能有效提高垃圾邮件过滤的准确度.

关键词：文本分类、垃圾邮件、主题模型、贝叶斯原理

所属期刊栏目：33

分类号：TP393(计算技术、计算机技术)

在线出版日期：2018-01-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：73-82