基于节点属性与正文内容的海量Web信息抽取方法

摘要：

为解决大数据场景下从海量Web页面中抽取有价值的信息，提出了一种基于节点属性与正文内容的海量Web信息抽取方法。将Web页面转化为DOM树表示，并提出剪枝与融合算法，对DOM树进行简化；定义DOM树节点的密度和视觉属性，根据属性值对Web页面内容进行预处理；引入MapReduce计算框架，实现海量Web信息的并行化抽取。仿真实验结果表明，提出的海量Web信息抽取方法不仅具有更好的性能，还具备较好的系统可扩展性。

关键词：Web信息、抽取、MapReduce、DOM树

所属期刊栏目：37

分类号：TP393.07(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目No.61201163, No.61672297；“六大人才高峰”基金资助项目No.2013-JY-022；江苏省“333高层次人才培养工程”基金资助项目Foundation Items:The National Natural Science Foundation of China61201163,61672297;Six Talent Peaks Project in Jiangsu Province2013-JY-022;333 High Level Personnel Training Project in Jiangsu Province

在线出版日期：2016-11-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：9-17