维吾尔语的N-gram语言模型研究

摘要：

针对基于维吾尔语的N-gram模型统计数据稀疏问题造成统计模型识别性能降低,研究针对政府文献和报告领域的语料进行了1到3元文法统计,采用加法、线性插值、Witten-Bell和Kneser-Ney平滑算法进行了约束.结果表明,本实验中Kneser-Ney平滑技术可以大大降低统计维吾尔语的N-gram模型的困惑度.

关键词：语言模型、平滑算法、困惑度、维吾尔语-汉语双语语料

所属期刊栏目：7

分类号：TP393(计算技术、计算机技术)

在线出版日期：2011-12-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：4177-4179