基于XLNet的多层增强型注意力的电力文本分类

摘要：

信息技术的发展使得电力企业由纸质化资源管理逐步过渡到数字资源管理,为提高数字资源管理效率,更迅速地反应客户需求,针对电网客户反应地电单文本,提出了基于XLNet的多层增强型注意力的电单文本分类.在此模型中,将中文字符通过XLNet预训练模型生成具有丰富上下文信息的词向量表征,残差网络结构获得词向量的丰富词义信息,双向长短时记忆网络实现上下文联系,多层注意力机制使得模型关注词义信息表征和上下文联系信息,并使用多层感知机进行多种类型的分类.为了验证模型的有效性,在电力客服文本数据集上进行验证,并取得了 97.1％的文本分类准确度.

关键词：XLNet、注意力机制、文本分类

所属期刊栏目：38

分类号：TP391.1(计算技术、计算机技术)

在线出版日期：2023-06-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1-4,27