10.16208/j.issn1000-7024.2018.04.021
基于改进内容分析算法的网页正文提取
针对内容分析算法,即Readability算法,在正文抽取中易丢失部分正文字段、锚文本、结构数据(表格、列表)的缺点,提出一种改进的网页正文提取算法.基于网页正文的结构特征,在原算法基础上评估非p标签节点的文本特性;引入节点相对距离过滤文本特性较强的网页噪音;重新定义剪枝范围,避免剪枝过度,使Readability算法的正文内部信息丢失问题得到较好地的改善.对国内各大博客、新闻、科普、专业类网站进行正文提取实验,实验结果表明,该算法结果优于Readability算法,正文提取准确率达到95%以上.
内容分析算法、Readability算法、数据丢失、节点相对距离、正文提取
39
TP391.1(计算技术、计算机技术)
国家973重点基础研究发展计划基金项目2013CB328903-2
2018-06-08(万方平台首次上网日期,不代表论文的发表时间)
共5页
1017-1021