基于优势率的改进二元特征提取方法

摘要：

主题网络爬虫研究中一个重要问题是文本特征的提取,其好坏会直接影响主题特征的提取及网页的相关性计算.在研究了文本分类特征提取方法的基础上,分析优势率特征提取方法的优缺点,把频度、分散度作为判断要素加以考虑,提出一种改进的二元分类特征选择方法EOR,并使用得到的EOR值结合词频TF即TF-EOR来计算文档特征词的权重,应用于主题网络爬虫.仿真实验证明,EOR在中低维数下能提升文档分类准确率达5%,而TF-EOR权重计算方法好于TF-IDF方法,实验中提高了网络爬虫的抓取准确率和查全率达4%.

关键词：特征提取、优势率、主题网络爬虫、频度、分散度

所属期刊栏目：19

分类号：TP3;X82

在线出版日期：2010-04-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：106-109,105