基于分类关键词词频模型的地缘政治主题爬虫设计

摘要：

针对词频-逆文档频率模型应用于主题爬虫时存在的非结构化问题,设计基于分类关键词词频(CKTF)模型的主题爬虫.利用网页文档结构特征和主题词语的分布信息将网页映射为五维向量,根据维基百科中文语料库和搜狗全网新闻数据语料库选择关键词并计算其与地缘政治主题的相关度,使用支持向量机实现网页向量的学习和分类.实验结果表明,与传统主题爬虫相比,该主题爬虫能够挖掘地缘政治主题中的丰富内容,有效衡量网页与主题的相关度,具有较高的爬准率和稳定性.

关键词：主题爬虫、分类关键词词频模型、词向量、支持向量机、相关度

所属期刊栏目：42

分类号：TP393(计算技术、计算机技术)

资助基金：四川省应急测绘与防灾减灾工程技术研究中心开放基金资助项目K2015B014

在线出版日期：2016-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：45-50