多注意力机制BERT分类模型及其在电力运维中的应用
万方数据知识服务平台
应用市场
我的应用
会员HOT
万方期刊
×

点击收藏,不怕下次找不到~

@万方数据
会员HOT

期刊专题

10.3979/j.issn.1673-825X.202109050317

多注意力机制BERT分类模型及其在电力运维中的应用

引用
为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果,针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题,提出了一种基于多注意力机制的BERT分类模型.对BERT模型框架中后四层的每一层输入向量,设计词向量注意力机制,捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层,设计层向量注意力机制,将这四层上由自适应权重计算得到的每一层输出向量进行融合,获得最终的BERT模型输出向量,更好地提升模型的特征抽取能力.在公开数据集IMDB和THUCNews上的实验表明,提出的模型相较于其他基线模型性能有明显提升.在电力系统运维项目管理的实际应用中,该模型也取得了比基线模型更好的效果,较好地解决了电力运维规模预测混乱问题.

分类、多注意力机制、电力运维系统、特征抽取

35

TP391.1(计算技术、计算机技术)

国家自然科学基金;国家重点研发计划;国家重点研发计划

2023-03-06(万方平台首次上网日期,不代表论文的发表时间)

共8页

156-163

相关文献
评论
暂无封面信息
查看本期封面目录

重庆邮电大学学报(自然科学版)

1673-825X

50-1181/N

35

2023,35(1)

相关作者
相关机构

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn