基于双向长效注意力特征表达的少样本文本分类模型研究

摘要：

[目的]针对当前文本分类任务中存在的训练数据匮乏以及模型泛化性能低等问题,在少样本环境下研究文本分类问题,提出一种少样本文本分类模型.[方法]基于元学习中的分段训练机制将文本分类任务划分为多个子任务;为了捕捉每个子任务中文本的长效上下文信息,提出双向时间卷积网络;为了捕获辨别力更强的特征,联合双向时间卷积网络和注意力机制提出双向长效注意力网络;利用一种新的神经网络模型度量每个子任务中查询样本与支持集的相关性,从而实现少样本文本分类.[结果]在ARSC数据集上进行实验,实验结果表明,在少样本环境下,该模型的分类准确率高达86.80％,比现有先进的少样本文本分类模型ROBUSTTC-FSL和Induction-Network-Routing的准确率分别提高了3.68％和1.17％.[局限]仅针对短文本分类问题,对于篇幅较长的文本,其分类能力有限.[结论]双向长效注意力网络克服了训练数据匮乏问题且充分捕获文本的语义信息,有效提高了少样本文本分类性能.

关键词：少样本文本分类、注意力机制、少样本学习、双向时间卷积网络

所属期刊栏目：4

分类号：TP393(计算技术、计算机技术)

资助基金：本文系天津市教委科研计划项目“基于免疫原理的营养均衡量化配餐推荐算法的研究”;天津市自然科学基金项目“物联网环境中的上下文感知关键技术研究”;天津市自然科学基金项目“面向智能交通基于智能手机的车辆检测技术及其应用研究”

在线出版日期：2021-02-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：113-123