10.16208/j.issn1000-7024.2022.03.018
自注意力机制的短文本分类方法
针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型.将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制层对语义信息进行加权强化;经过softmax函数使损失率极小化.将该方法与其它模型方法比较,实验结果表明,该方法有效提高了短文本分类的准确度.
深度学习;自注意力机制;短文本分类;对抗训练;多层双向长短期记忆网络
43
TP391(计算技术、计算机技术)
山西省自然科学基金;山西省应用基础研究基金项目
2022-03-28(万方平台首次上网日期,不代表论文的发表时间)
共7页
728-734