字符序列标注的维吾尔语词干提取方法

摘要：

词干提取是形态丰富语言信息处理中的基础任务,对其他自然语言处理任务有着重要的影响.该文将词干提取任务看作序列标注问题,以字符为切分粒度来表征维吾尔语单词的构成机制,结合条件随机场模型,实现基于字符序列标注的维吾尔语词干提取方法.首先使用词典查询方法进行词干提取,然后结合字符的弱化发音特征、音类特征以及语音特征,针对受限数据和非受限数据采用条件随机场训练模型及预测结果.实验结果表明,该方法在非受限数据集上效果较佳,且能广泛应用到其他语言.

关键词：词干提取、序列标注、条件随机场、特征提取、模型训练、预测结果

所属期刊栏目：43

分类号：TN912.34-34;TP391

资助基金：新疆多语种信息技术实验室开放课题;国家自然科学基金资助项目;国家自然科学基金资助项目;国家语委科研项目

在线出版日期：2020-06-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：151-154,160