针对开源论坛网页的信息抽取研究

摘要：

互联网上大量论坛使用开源软件生成,针对这类论坛,提出了针对论坛网页信息抽取的基于模板的信息抽取方法.首先给出了基于网页结构相似度的簇划分策略,并通过实验证明了该策略优于直接基于软件版本号等直观类别的划分策略;其次提出了基于开源软件特征的聚类算法,能够根据网页相似度将大规模开源软件生成的论坛网页进行有效的自动划分,形成可标注类别.实验表明,该方法不仅保持了基于模板的抽取方法所具有的高准确率的优点,同时弥补了其模板配置与维护代价高的缺点.

关键词：记录定位、网页聚类、模板抽取

所属期刊栏目：11

分类号：TP181(自动化基础理论)

资助基金：The National Basic Research Program of China under Grant Nos.2012CB316303,2013CB329602国家重点基础研究发展计划973计划;the National High Technology Research and Development Program of China under Grant Nos.2015AA015803,2014AA015204国家高技术研究发展计划863计划;the National Natural Science Foundation of China under Grant Nos.61232010,61173064,61173008;the National Key Technology Support Program of China under Grant No.2012BAH46B04;the Technology Innovation and Transformation Program of Shandong Province under Grant No.2014CGZH1103;the Medical Imaging Program of Chinese Academy of Sciences under Grant No.KGZD-EW-T03-2;the 7th Technology Framework Program of European Union under Grant No.PIRSES-GA-2012-318939欧盟第七科技框架计划FP7项目

在线出版日期：2017-05-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：114-123