视觉Transformer研究的关键问题:现状及展望

摘要：

Transformer所具备的长距离建模能力和并行计算能力使其在自然语言处理领域取得了巨大成功并逐步拓展至计算机视觉等领域.本文以分类任务为切入,介绍了典型视觉Transformer的基本原理和结构,并分析了 Transformer与卷积神经网络在连接范围、权重动态性和位置表示能力三方面的区别与联系;同时围绕计算代价、性能提升、训练优化以及结构设计四个方面总结了视觉Transformer研究中的关键问题以及研究进展;并提出了视觉Transformer的一般性框架;然后针对检测和分割两个领域,介绍了视觉Transformer在特征学习、结果产生和真值分配等方面给上层视觉模型设计带来的启发和改变;并对视觉Transformer未来发展方向进行了展望.

关键词：视觉Transformer、图像分类、目标检测、图像分割、计算机视觉

所属期刊栏目：48

分类号：TP391;TS262.3;F062.9

资助基金：广东省重点领域研发计划;广州市智能网联汽车重大科技专项;国家自然科学基金;英特尔智能网联汽车大学合作研究中心资助

在线出版日期：2022-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共23页

页码：957-979