深度学习中注意力机制研究进展

摘要：

对注意力机制的主流模型进行了全面系统的概述.注意力机制模拟人类视觉选择性的机制,其核心的目的是从冗杂的信息中选择出对当前任务目标关联性更大、更关键的信息而过滤噪声,也就是高效率信息选择和关注机制.首先简要介绍和定义了注意力机制的原型,接着按照多个层面对各种注意力机制结构进行分类,然后对注意力机制的可解释性进行了阐述同时总结了在各种领域的应用,最后指出了注意力机制未来的发展方向以及会面临的挑战.

关键词：注意力机制;全局/局部注意力机制;硬/软注意力机制;自注意力机制;可解释性

所属期刊栏目：43

分类号：TP181(自动化基础理论)

资助基金：中国石油大学北京科研基金资助项目2462020YXZZ023

在线出版日期：2021-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1499-1511