自然语言处理中的注意力机制研究综述

摘要：

[目的]总结注意力机制在自然语言处理领域的衍化及应用规律.[文献范围]以“attention”和“注意力”为检索词,分别检索WoS、The ACM Digital Library、arXiv以及中国知网,时间跨度限定为2015年1月至2019年10月,制定标准人工筛选自然语言处理领域的文献,最终获得68篇相关文献.[方法]在深入分析文献的基础上,归纳注意力机制的通用形式,梳理其衍生类型,并基于数据对其在自然语言处理任务中的应用情况进行述评.[结果]注意力机制在自然语言处理中的应用集中于序列标注、文本分类、推理以及生成式任务,且任务和注意力机制的类型之间存在一定的适配规律.[局限]部分注意力机制和任务间的适配结论是通过模型整体表现数据间接得出的,不同注意力机制间的性能差异有待进一步研究.[结论]注意力机制的研究切实推进了自然语言处理的发展,但其作用机理尚未明了,提高其可解释性并使之更加接近人类的真实注意力是未来的研究方向.

关键词：注意力机制、自注意力、机器翻译、机器阅读理解、情感分析

所属期刊栏目：4

分类号：TP391.1(计算技术、计算机技术)

资助基金：本文系国家社会科学基金重大项目“中国近现代文学期刊全文数据库建设与研究1872-1949”项目编号:17ZDA276的研究成果之一

在线出版日期：2020-08-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1-14