基于卷积神经网络的自适应权重multi-gram语句建模系统

摘要：

如今信息量呈爆炸式增长,自然语言处理得到了越来越广泛的重视.传统的自然语言处理系统过多地依赖昂贵的人工标注特征和语言分析工具的语法信息,导致预处理中语法信息的错误传递到系统训练和预测过程中.因此,深度学习的应用受到了学者们的关注.因为它能实现端对端预测并尽可能少地依赖外部信息.自然语言处理领域流行的深度学习框架为了更好地获取句子信息,采用multi-gram策略.但不同任务和不同数据集的信息分布状况不尽相同,而且这种策略并没有考虑到不同n-gram的重要性分布.针对该问题,提出了一种基于深度学习的自适应学习multi-gram权重的策略,从而根据各n-gram特征的贡献为其分配相应的权重;并且还提出了一种新的multi-gram特征向量结合方法,大大降低了系统复杂度.将该模型应用到电影评论正负倾向判断和关系分类两种分类任务中,实验结果证明采用的自适应multi-gram权重策略能够大大改善模型的分类效果.

关键词：深度学习、自然语言处理、自适应权重、multi-gram

所属期刊栏目：44

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目:基于机器学习的多模态医学影像信息处理与分析U1201258;山东省自然科学杰出青年基于机器学习的生物特征识别研究JQ201316

在线出版日期：2017-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：60-64