基于深度神经网络的嵌入式向量及话题模型

摘要：

在对文档集合进行话题分析的过程中,为描述文档中单词间的依赖关系,提高话题分析的效果,提出一种基于反馈递归神经网络的嵌入式向量生成及话题模型.在将单词表示为One-hot向量后,采用递归神经网络将文档嵌入在低维的向量空间.在文档的嵌入式向量计算过程中,采用LSTM(long short-term memory)描述单词间的前向依赖关系,提出一种反馈神经网络用于描述单词间的后向依赖关系.在话题分析模型中,采用原文档和变异文档对作为正样本,采用原文档和随机文档对作为负样本进行模型的训练.实验结果表明,该方法时间和空间复杂度低,具有更好的话题分析效果.

关键词：话题模型、递归神经网络、深度学习、反馈机制、嵌入式

所属期刊栏目：37

分类号：TP391(计算技术、计算机技术)

资助基金：河南省高等学校重点科研基金项目15A520054;河南省科技厅科技计划课题基金项目112102310550

在线出版日期：2017-01-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3384-3388,3399