基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

摘要：

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务.BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型.在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建.同时,该文提出了该模型的两种调优方法:锁定模型参数的训练方法、使用区分大小写的预训练模型版本.在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能.实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.883 3和0.925 1的句子级准确率.

关键词：任务导向对话系统、自然语言理解、BERT

所属期刊栏目：34

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家重点研发计划;软件开发环境国家重点实验室课题;北京成像理论与技术高精尖创新中心项目

在线出版日期：2020-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：82-90