利用领域外数据对口语风格短文本的相近语种识别研究

摘要：

该文以维吾尔语和哈萨克语这一组相近语言为例,在哈语语料受限的情况下,使用领域外语料增补原始语料,经同化后提高了在口语风格短文本上进行语种识别的精确度.该文分析了维、哈两种语言的词形学特点,设计了多种特征,构建了一个最大熵分类器,在测试集上识别维语和哈语口语风格短文本的精确度达到95.7％,而CNN分类器的精确度仅为69.1％.实验结果证明该系统对其他语种口语风格短文本的语种识别亦具有适用性.

关键词：相近语种识别、领域外数据、口语风格短文本、字符的形态学特征

所属期刊栏目：33

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金11590771 ,11590770-4 ,11722437 ,61650202 ,U1536117 ,61671442 ,11674352 ,11504406 , 61601453;国家重点研发计划2016YFB0801203 ,2016YFC0800503 ,2017YFB1002803;新疆维吾尔自治区重大科技专项2016A03007-1;中国科学院声学研究所青年英才计划QNYC201603

在线出版日期：2019-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：71-78