结合注意力机制的深度神经网络综述

摘要：

注意力机制已成为改进神经网络学习能力的研究热点之一.鉴于注意力机制受到的广泛关注,本文旨在从注意力机制的分类、与深度神经网络的结合方式,以及在自然语言处理和计算机视觉领域的具体应用3个方面对深度神经网络中的注意力机制给出较全面的分析和阐述.具体地,分析比较了软注意力、硬注意力和自注意力这3种机制的优缺点;并分别讨论了递归神经网络和卷积神经网络中结合注意力机制的常用方式及其代表性模型结构;然后,以自然语言处理、计算机视觉领域为例,说明了其应用情况;最后,分析了注意力机制的发展趋势,期望为后续研究提供线索和方向.

关键词：注意力机制、深度学习、神经网络、注意力模型

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61573001

在线出版日期：2023-04-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：40-49,57