基于文本特征值的正文抽取方法

摘要：

针对现有Web正文抽取方法适用性差、准确率低的问题,提出了一种基于文本特征值的正文抽取方法.该方法通过对Web页面的代码进行预处理,再解析转换成DOM树;通过遍历DOM树,以节点的文本长度和标点符号权重计算DOM树各节点的文本特征值,并通过标准差消除噪声;通过高斯函数为节点的文本特征值进行平滑处理,缓解节点文本特征值的突变,降低短文本节点丢失的可能.实验测试结果表明,该方法不依赖标签,也无需训练数据,具有较好的通用性和较高的正文抽取准确率.

关键词：正文抽取、主题网页、文本特征值、高斯平滑

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

资助基金：广西自然科学基金2015GXNSFGA139007;广西无线宽带通信与信号处理重点实验室基金GXKL061510, GXKL0614110;广西可信软件重点实验室基金KX201622;桂林电子科技大学研究生教育创新计划YJCXS201524

在线出版日期：2017-06-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：106-110