N-gram模型综述

摘要：

N-gram模型是自然语言处理中最常用的语言模型之一,广泛应用于语音识别、手写识别、拼写纠错、机器翻译和搜索引擎等众多任务.但是N-gram模型在训练和应用时经常会出现零概率问题,导致无法获得良好的语言模型,因此出现了拉普拉斯平滑、卡茨回退和Kneser-Ney平滑等平滑方法.在介绍了这些平滑方法的基本原理后,使用困惑度作为度量标准去比较了基于这几种平滑方法所训练出的语言模型.

关键词：N-gram模型、拉普拉斯平滑、卡茨回退、Kneser-Ney平滑、困惑度

所属期刊栏目：27

在线出版日期：2018-11-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：33-38