基于记忆的自适应汉语语言模型的研究

摘要：

基于记忆的自适应语言模型虽然在一定程度上增强了语言模型对不同领域的适应性,但其假设过于简单,即认为一个在文章的前面部分出现过的词往往会在后面重复出现,它没有考虑到常用词的影响,以及不同单词间的相互影响.本文针对这一问题从两个方面对原有模型进行了改进,一是采用TFIDF公式代替了原有的简单频率统计法;二是建立了一种基于记忆的扩展二元模型,并采用权重过滤法以节省模型计算量.实验表明这两种改进在很大程度上提高了原有模型的性能,增强了模型的自适应性.

关键词：计算机应用、中文信息处理、语言模型、自适应、TFIDF公式、扩展二元模型

所属期刊栏目：17

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金69983009;国家高技术研究发展计划863计划2001AA114040

在线出版日期：2004-03-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：13-18,40