基于神经网络的文本表示模型新方法

摘要：

提出了一种改进的文本表示模型提取文本特征词向量方法.首先构建基于词典索引和所对应的词性索引的double word-embedding列表的word-embedding词向量,其次,利用在此基础上Bi-LSTM循环神经网络对生成后的词向量进一步进行特征提取,最后,通过mean-pooling层处理句子向量后且使用了softmax层进行文本分类.实验验证了Bi-LSTM和double word-embedding神经网络相结合的模型训练效果与提取情况.实验结果表明,该模型不但能较好地处理高质量的文本特征向量提取和表达序列,而且比LSTM、LSTM+context window和Bi-LSTM 这3种神经网络有较明显的表达效果.

关键词：神经网络、词向量、Bi-LSTM、文本表示

所属期刊栏目：38

分类号：TP183(自动化基础理论)

在线出版日期：2017-06-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：86-98