融合无监督特征的藏文分词方法研究

摘要：

藏文分词是藏文信息处理的基础性关键问题,目前基于序列标注的藏文分词方法大都采用音节位置特征和类别特征等.该文从无标注语料中抽取边界熵特征、邻接变化数特征、无监督间隔标注等无监督特征,并将之融合到基于序列标注的分词系统中.从实验结果可以看出,与基线藏文分词系统相比,分词F值提高了0.97％,并且未登录词识别结果也有较大的提高.说明,该文从无标注数据中提取出的无监督特征较为有效,和有监督的分词模型融合到一起显著提高了基线分词系统的效果.

关键词：藏文、分词、序列标注

所属期刊栏目：31

分类号：TP391(计算技术、计算机技术)

资助基金：国家社科基金青年项目15CYY043;国家自然科学基金61262054;甘肃省高等学校科研项目2016B-007;甘肃省民族语言智能处理重点实验室开放基金;西北民族大学中央高校基本科研业务费专项资金31920140064,31920150089

在线出版日期：2017-06-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：71-75,85