Deep Web数据采集查询构造方法研究

摘要：

网络大数据的大规模、多源异构、动态更新、高噪声给知识的获取带来了很大的挑战。特别地，很多网站隐藏在HTML表单后端的Web数据库中的Deep Web数据，只能通过提交表单查询的方式进行动态访问，网络爬虫难以通过页面之间的链接关系采集到这些数据，影响了获取到的知识资源的覆盖率，如何高效地采集这些数据并加以利用非常具有挑战性。为此对现有的Deep Web数据采集的查询构造方法进行了详细分析，分别介绍了针对不同类型的表单对应的Deep Web数据采集查询构造方法；总结了现有表层化方式的Deep Web数据采集查询构造方法的优缺点，并对Deep Web数据采集查询构造方法的未来工作进行了展望，以推动Deep Web数据采集技术的进一步发展。

关键词：Deep Web、查询接口、查询构造、网络爬虫

分类号：TP319(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant Nos.61173008,61232010,61303244,61402442;the National Basic Research Program of China under Grant Nos.2014CB340401,2013CB329602国家重点基础研究发展计划973计划;the Science and Technology Nova Program of Beijing under Grant No. Z121101002512063;the Natural Science Foundation of Beijing under Grant No.4154086

在线出版日期：2015-09-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1025-1033