基于重建误差的任务型对话未知意图检测

摘要：

现有未知意图检测模型通常将语句映射到向量空间,并使用局部异常因子算法定义密度较小的特征点为未知意图,但经交叉熵损失训练的已知意图特征簇更加狭长,簇内的整体间距、密度和分散情况不均匀,进而增加了检测难度.针对上述问题,提出一种基于自动编码器重建误差的未知意图检测模型.在训练阶段,使用融入标签知识的联合损失函数训练已知意图分类器,使已知意图特征类间距离大且类内距离小,并利用这些特征训练一个仅能获取已知意图信息的自动编码器.在测试阶段,利用自动编码器将重建误差较大的样本视为未知意图,其余样本视为已知意图正常分类.在SNIPS数据集上的实验结果表明,在已知意图占比为25％、50％、75％时,该模型的Macro F1得分相比于表现最优的增强语义的高斯混合损失基线模型分别提升了16.93％、1.14％和2.37％,能够检测到更多的未知意图样本,同时在类别分布极不平衡的ATIS数据集上也有较好的性能表现.

关键词：意图识别、任务型对话、未知意图检测、损失函数、自动编码器、重建误差

所属期刊栏目：49

分类号：TP391.1(计算技术、计算机技术)

资助基金：中国科学院“西部之光”人才培养引进计划;新疆维吾尔自治区重大专项;新疆维吾尔自治区天山青年计划项目;新疆维吾尔自治区天山雪松计划

在线出版日期：2023-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：54-60