融合统计信息与语义相似度的特征扩展算法

摘要：

通过分析短文本的高维性和稀疏性,提出一种融合特征词间统计信息与语义相似度的短文本特征扩展算法.根据词的贡献度对候选特征集进行筛选,得到扩展集合初始值.计算特征词之间的统计相关度,构建二元相关词对集合.利用外部知识库知网中的语义关系获取相关词对的义项集合并计算语义相似度,将满足条件的义项扩展为短文本的特征词,得到扩展后的特征集.实验结果表明,使用该算法对短文本进行特征扩展后,可显著提升分类器的分类效果.

关键词：短文本、统计相关度、语义相似度、知网、特征扩展

所属期刊栏目：43

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金61163039;甘肃省青年科技基金1606RJYA269,145RJYA259;甘肃省高等学校科研项目2015A-008;西北师范大学青年教师科研能力提升计划骨干项目NWNU-LKQN-14-5,NWNU-LKQN-16-20

在线出版日期：2017-07-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：177-181