基于多尺度的n-grams特征选择加权及匹配算法

摘要：

n-grams语言模型作为文本分类中常用的特征,具有结构简单、易筛选、携带语义量大以及对分类贡献值高等优点.但由于其固有的结构特点,在使用普通的选择加权及匹配算法时会造成权值区分不明显,并产生大量稀疏数据,使得建立的分类模型不准确,进而导致最终分类结果的偏差.为解决上述问题,根据词性、语义及词汇的内在偏序关系,提出一种结合词汇、词性和语义的特征选择加权及匹配算法,使n-grams特征权值区分明显的同时避免在训练和测试过程中产生大量稀疏数据.在美国当代英语语料库和北京BBC汉语语料库中的实验结果表明,与传统的n-grams特征选择加权及匹配算法相比,基于多尺度的n-grams特征选择加权及匹配算法中得到的n-grams特征权值区分明显且稀疏数据大幅减少,在支持向量机(Support Vector Machine,SVM)中的分类效果更好.

关键词：n-grams、特征选择、特征加权、偏序集、词性、语义近似度

所属期刊栏目：10

分类号：TP391.1(计算技术、计算机技术)

资助基金：校企协作基于现代学徒制的校内实训基地的研究;建设

在线出版日期：2020-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：61-66