改进的频繁词集短文本特征扩展方法

摘要：

针对短文本结构短小、语义不足、难以建模的特点,提出一种利用改进频繁词集进行短文本特征扩展的方法.通过计算单词集的支持度和置信度,挖掘出具有共现关系和类别同向关系的频繁二元词集,并在挖掘出的频繁词集基础上定义关联关系对所选词集进一步扩充.同时,在TF-IDF的基础上引入词语信息增益表示词语在文本集合中的类别分布信息,以加强词语权重.由频繁词集通过改进后的词语权重构造出词语相似性矩阵,利用非负矩阵分解技术将其扩展至短文本特征空间,从而得到短文本模型.实验结果表明,该方法构造的短文本模型能显著提升短文本的聚类性能.

关键词：词语权重、信息增益、频繁词集、关联关系、非负矩阵

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61363058;甘肃省青年科技基金资助项目145RJYA259;甘肃省自然科学研究基金资助项目145RJZA232,1606RJYA269;甘肃省互联网计算应用创新创业众创空间基金资助项目1505JTCA007;西北师范大学2013年度青年教师科研能力提升计划基金资助项目NWNU-LKQN-12-23

在线出版日期：2016-12-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：213-218