利用知识强化语言模型的口语理解方法

摘要：

基于预训练的语言模型在口语理解(SLU)任务中具有优异的性能表现.然而,与人类理解语言的方式相比,单纯的语言模型只能建立文本层级的上下文关联,缺少丰富的外部知识来支持其完成更为复杂的推理.提出一种针对SLU任务的基于Transformer的双向编码器表示(BERT)的联合模型.引入单词级别的意图特征并使用注意力机制为BERT融合外部知识.此外,由于SLU包含意图检测和槽填充2个相互关联的子任务,模型通过联合训练捕捉2个子任务间的关联性,充分运用这种关联性增强外部知识对于SLU任务的性能提升效果,并将外部知识转化为可用于特定子任务的特征信息.在ATIS和Snips 2个公开数据集上的实验结果表明,该模型句子级别的语义准确率分别为89.1％和93.3％,与BERT模型相比,分别提升了0.9和0.4个百分点,能够有效利用外部知识提升自身性能,在SLU任务中拥有比BERT更为优秀的性能表现.

关键词：口语理解、外部知识、语言模型、意图检测、槽填充、联合训练

所属期刊栏目：49

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;富媒体数字出版内容组织与知识服务重点实验室项目

在线出版日期：2023-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：73-79