基于强化学习和注意力机制的朝鲜语文本结构发现

摘要：

将注意力机制与深度强化学习相结合,利用标签信息研究如何自主学习出有效的朝鲜语文本结构化表示,提出了两种结构化表示模型:信息蒸馏注意力模型(ID-Attention)和层次结构注意力模型(HS-Attention).ID-Attention选择与任务相关的重要单词,而HS-Attention在句中发现短语结构.两种表示模型中的结构发现是一个顺序决策问题,使用强化学习中的Policy Gradient实现.实验结果表明:ID-Attention能够识别朝鲜语重要单词;HS-Attention能够很好地提取出句子结构,在文本分类任务上有很好的性能表现,同时,两模型的结果对语料库的标注有很好的辅助作用.

关键词：人工智能、深度强化学习、注意力机制、文本结构发现、朝鲜语自然语言处理

所属期刊栏目：51

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家语委科研项目;延边大学外国语言文学一流学科建设项目

在线出版日期：2022-05-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1387-1395