基于CNN⁃Head Transformer编码器的中文命名实体识别

摘要：

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题.提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现.在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性.

关键词：命名实体识别、自注意力机制、Transformer编码器、卷积神经网络、残差连接

所属期刊栏目：48

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;国家重点研发计划;新疆维吾尔自治区重大专项;西部之光"人才培养计划;中国科学院青年创新促进会项目

在线出版日期：2022-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：73-80