基于结构驱动的网络论坛采集路径研究

摘要：

网络论坛中蕴涵着大量具有实用价值和商业价值的信息,是搜索引擎和问答系统信息的重要来源.针对论坛结构复杂、链接种类繁多,以及容易陷入采集陷阱等问题,提出了一种基于结构驱动的采集路径选择方法.首先根据用户标注的少量类型数据,利用DOM树对采样网页基于网页结构进行结构聚类；其次根据各节点的评价进行采集路径选择；最后对翻页链接进行有效的识别和处理.实验表明,该方法采集的覆盖率和有效率明显优于传统算法,并且应用在中国科学院计算所舆情监测平台上取得了良好的效果.

关键词：信息检索、论坛采集、结构驱动、聚类、路径选择

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60873166;国家教育部科学技术研究重点资助项目109028;北京市教育科学基金资助项目AHA09110

在线出版日期：2012-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：3284-3287