融合注意力机制与孪生神经网络的更新日志主题学习模型

摘要：

为进一步挖掘更新日志信息,提出了基于注意力机制的孪生双向LSTM网络模型,对更新日志进行分类以实现主题标注,并辅助定位代码缺陷位置.该模型提出了具有安全特色的分词工具实现日志预处理,借助双向LSTM网络学习更新日志语义信息,通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集,提升泛化能力.针对多语句组成的更新日志进行序列化训练,通过注意力机制对语句影响性进行区分.针对缺陷修复类的部分日志基于LLVM工具进行改进,生成映射表进行日志内容搜索,定位源码中缺陷模块的位置.大量实验结果表明,所提模型分类效果具有强泛化能力,且较其他文本分类通用方法在准确率、F1值等指标提升近10％,具有理想的日志分类效果与主题学习效果.

关键词：更新日志、孪生神经网络、注意力机制、双向LSTM

所属期刊栏目：40

分类号：TP399(计算技术、计算机技术)

资助基金：国家重点研发计划;国家重点研发计划;国家自然科学基金;国家自然科学基金;安徽省自然科学基金资助项目

在线出版日期：2023-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：349-353,393