多神经网络协作的电力文本类型识别

摘要：

电力企业为实现数字资产管理,提高行业运行效率,促进电力信息化的融合,需要实施有效的数据组织管理方法.针对电力行业中的数据,提出了基于字级别特征的高效文本类型识别模型.在该模型中,将字符通过BERT预训练模型生成电力客服文本动态的高效字向量,字向量序列输入利用融合注意力机制的双向长短期记忆网络(BiLSTM),通过注意力机制有效捕捉文本中帮助实现类型识别的潜在特征,最终利用Softmax层实现对电力文本的类型识别任务.本文提出的模型在电力客服文本数据集上达到了 98.81％的准确率,优于CNN,BiLSTM等传统神经网络识别方法,增强了 BERT模型的应用,并有效解决了电力文本类型识别任务中语义的长距离依赖问题.

关键词：BERT模型、双向长短期记忆网络(BiLSTM)、注意力机制、深度学习、自然语言处理

所属期刊栏目：31

分类号：TP391;TP183;TP273

资助基金：国家重点研发计划2021YFE0102400

在线出版日期：2022-07-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：149-157