最大熵方法中特征选择算法的改进与纠错排歧

摘要：

对应用最大熵原理建立语言模型的特征选取方法作了改进.用特征模板从训练样本中获得候选特征集,应用频次与平均互信息相结合的方法从候选特征集中选取特征.在选择有效特征时,对候选特征集中出现频次大于某一限值的特征或平均互信息很大的特征直接加入有效特征集,且不是每选一个特征都调用参数的求解过程,从而加快了特征选择的速度.将改进的算法应用于文本纠错建议的排歧,实验证明,所改进的特征选择算法有效.

关键词：最大熵方法、特征选择、语言建模、纠错排歧

所属期刊栏目：26

分类号：TP391(计算技术、计算机技术)

资助基金：科技部科研项目2004CB318102;国家科技攻关项目2001AA114210;2002AA117010

在线出版日期：2006-04-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：36-40