2020年深度学习技术发展综述

摘要：

对深度学习领域的研究进行综合评述,并对其进一步发展方向进行分析.首先分析围绕注意力机制的深度学习技术最新研究成果,以及在自然语言处理领域取得突破性进展的巨型预训练模型的特点与发展路径;随后概述开源深度学习市场的火热局面及其对技术升级的推动作用;最后分别从香农定律、冯·诺依曼架构、摩尔定律三个角度探讨深度学习技术的未来发展方向.综述表明,注意力机制和预训练范式在当前计算机视觉和自然语言处理等深度学习重点应用领域中取得长足技术突破,开源深度学习市场的兴起有效推动产学研用各领域深度学习技术落地,在今后很长一段时间里,深度学习依然具有很广阔的发展空间.

关键词：深度学习;注意力机制;预训练;神经网络;开源;人工智能

所属期刊栏目：4

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金;中国电科新一代人工智能专项行动计划项目;全国一体化国家大数据中心先导工程

在线出版日期：2021-10-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1-7