主题相似度与链接权重相结合的垃圾网页排序检测

摘要：

针对因Web中存在由正常网页指向垃圾网页的链接,导致排序算法(Anti-TrustRank等)检测性能降低的问题,提出了一种主题相似度和链接权重相结合,共同调节网页非信任值传播的排序算法,即主题链接非信任排序(TLDR).首先,运用隐含狄利克雷分配(LDA)模型得到所有网页的主题分布,并计算相互链接网页间的主题相似度;其次,根据Web图计算链接权重,并与主题相似度结合,得到主题链接权重矩阵;然后,利用主题链接权重调节非信任值传播,改进Anti-TrustRank和加权非信任值排序(WATR)算法,使网页得到更合理的非信任值;最后,将所有网页的非信任值进行排序,通过划分阔值检测出垃圾网页.在数据集WEBSPAM-UK2007上进行的实验结果表明,与Anti-TrustRank和WATR相比,TLDR的SpamFactor分别提高了45％和23.7％,F1-measure(阈值取600)分别提高了3.4个百分点和0.5个百分点,spam比例(前三个桶)分别提高了15个百分点和10个百分点.因此,主题与链接权重相结合的TLDR算法能有效提高垃圾网页检测性能.

关键词：垃圾网页检测、链接作弊、排序算法、主题相似度、非信任值传播

所属期刊栏目：36

分类号：TP181(自动化基础理论)

资助基金：四川省学术和技术带头人培养资助项目.This work is supported by the Academic and Technological Leadership Foundation of Sichuan Province,China

在线出版日期：2016-06-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：735-739