面向音素序列的黏着语词干提取研究

摘要：

针对当前的黏着语词干提取任务难以处理具有上下文信息的句子级语料的问题,本文将维吾尔语作为研究对象,提出了一种句子上下文和字符特征相融合的,由BiLSTM、注意力机制(Attention)和CRF构成的词干提取模型.首先以句子级别的字符特征向量为输入,使用BiLSTM模型获取正向和反向的上下文序列特征,并在此模型上加入注意力机制进行权重学习,通过提取全局特征信息来捕获词干和词缀边界;最后添加CRF使其从序列特征中学习更多信息,从而更有效地描述上下文信息.为验证上述模型的有效性,将本文模型在两种不同的数据集上进行了实验,并且将本文模型跟传统模型进行了对比.实验结果表明,本文模型对于句子级语料的效果更好,可以更有效地提取词干.此外,本文提出的模型优于其他传统模型,能全面考虑数据特征,具有一定的优越性.

关键词：黏着语、维吾尔语、词干提取、上下文、注意力机制、BiLSTM-Attention-CRF

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划2017YFC0820603

在线出版日期：2023-10-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：2362-2368