一种基于节点密度分割和标签传播的Web页面挖掘方法
获取Web页面中的重要内容如文本和链接,在许多Web挖掘研究领域有着重要的应用价值.目前针对该问题主要采用Web页面分割和区块识别的方法.但现有的方法将Web页面中重要文本和链接的识别视为两个相互独立的问题,这种做法忽略了Web页面中文本和链接的内在语义关系,同时降低了页面处理的效率.文中提出了一种Web页面重要内容挖掘的统一框架,该框架主要由3个部分组成:第一,先将Web页面转换为DOM树表示,然后采用节点密度熵为度量将DOM树分割为不同的页面块;第二,采用基于K最近邻标签传播的半监督方法自动扩展页面块训练集;第三,在扩展的页面块训练集上对SVM分类器进行训练,并用来对页面块进行分类.采用该框架可以将Web页面块区分为多种类型,并且该框架独立于Web页面的类型和布局.我们在真实的Web环境下进行了广泛的实验,实验结果表明了该方法的有效性.
页面分割、节点密度、标签传播、DOM树、块分类、社会计算、社交网络
38
TP391(计算技术、计算机技术)
the National Natural Science Foundation of China under Grant No.61272109 and No.61202285,National Spark Program under Grant No.2012GA750007,Basis and Cutting-Edge Research Project of Science and Technology Department of Henan Province under Grant No.122300410378,Key Projects of Science and Technolog61272109,61202285;国家星火计划项目2012GA750007;河南省科技厅基础与前沿技术研究项目122300410378;河南省教育厅科学技术研究重点项目13A520032
2015-04-30（万方平台首次上网日期，不代表论文的发表时间）
共16页
349-364
