基于改进内容分析算法的网页正文提取

摘要：

针对内容分析算法,即Readability算法,在正文抽取中易丢失部分正文字段、锚文本、结构数据(表格、列表)的缺点,提出一种改进的网页正文提取算法.基于网页正文的结构特征,在原算法基础上评估非p标签节点的文本特性;引入节点相对距离过滤文本特性较强的网页噪音;重新定义剪枝范围,避免剪枝过度,使Readability算法的正文内部信息丢失问题得到较好地的改善.对国内各大博客、新闻、科普、专业类网站进行正文提取实验,实验结果表明,该算法结果优于Readability算法,正文提取准确率达到95％以上.

关键词：内容分析算法、Readability算法、数据丢失、节点相对距离、正文提取

所属期刊栏目：39

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家973重点基础研究发展计划基金项目2013CB328903-2

在线出版日期：2018-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1017-1021