基于时序卷积网络的词级语言模型研究与应用

摘要：

提出一种卷积神经网络——时序卷积神经网络.将该网络应用于语言模型,时序卷积神经网络的基本结构由输入层、扩大卷积层、因果卷积层、Relu层、Dropout层、输出层组成,将扩大卷积应用在语言模型中.实验结果表明,将语言模型的复杂度降到83.21,误差降到3.87,该网络同RNN比较复杂度下降14％、误差下降0.69,该网络同LSTM比较复杂度下降13％、误差下降0.4,综合复杂度、误差两个指标,时序卷积网络优于其它基准模型.

关键词：语言模型、扩大卷积、时序卷积神经网络、因果卷积、复杂度

所属期刊栏目：42

分类号：TP39(计算技术、计算机技术)

资助基金：辽宁省教育厅科学技术研究基金项目 ;辽宁省教育厅科学研究基金项目 ;辽宁省博士启动基金项目

在线出版日期：2021-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：449-454