联合无监督词聚类的递归神经网络语言模型

摘要：

研究表明，在递归神经网络语言模型的输入层加入词性标注信息，可以显著提高模型的效果。但使用词性标注需要手工标注的数据训练，耗费大量的人力物力，并且额外的标注器增加了模型的复杂性。为了解决上述问题，本文尝试将布朗词聚类的结果代替词性标注信息加入到递归神经网络语言模型输入层。实验显示，在Penn Treebank语料上，加入布朗词类信息的递归神经网络语言模型相比原递归神经网络语言模型困惑度下降8~9%。

关键词：递归神经网络、词性标注、布朗词聚类、语言模型

分类号：TP3;TP2

在线出版日期：2014-06-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：101-106