ALBERT结合双向网络的文本分类

摘要：

针对目前多标签文本分类算法不能有效利用文本深层信息的缺陷,提出一种利用ALBERT模型进行文本深层信息的特征提取,使用双向LSTM网络进行特征训练,并结合注意力机制强化分类效果,完成分类的模型——ABAT模型.在百度发布的DuEE1.0数据集上进行实验,相对于各对比模型,该模型的各项性能均达到最优,Micro-Precision达到0.9625,Micro-F1达到0.9033,同时模型汉明损失下降到0.0023.实验结果表明,改进的ABAT模型能较好地完成多标签文本分类的任务.

关键词：多标签、ALBERT预训练、双向网络、注意力机制

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;重庆市研究生教改重点项目;重庆师范大学研究生项目;重庆师范大学教改项目

在线出版日期：2022-10-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：8-12,18