网络维吾尔文判别及其文本长度下界的探讨

摘要：

将维吾尔文从阿拉伯文、哈萨克文、柯尔克孜文等以阿拉伯字母为基础书写的类似文字中识别出来,是维文信息处理的基础.作者对维吾尔字符的编码优化后使用N元语法模型实现了维吾尔文的快速语种判别,准确率超过98％.经过错误分析,发现错误判别的文本主要集中在论坛和微博客中,这些文本有效字符数太少,语言特征不充分.最后作者计算了四种语言真实网络文本中的所有公共子串,并对文种判别所需要的最短字符串长度进行了分析.

关键词：老维文、语种识别、最大公共子串

所属期刊栏目：26

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60903139,60873243;自然基金重点资助项目60933005;国家863计划重点资助项目2010AA012502,2010AA012503

在线出版日期：2013-01-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：109-115