面向信息检索的近邻语言模型

摘要：

面向信息检索的语言模型对单篇文档构建语言模型,存在较严重的数据稀疏问题.该文认为利用文档的近邻信息能够更合理地反映词在文档中的分布,有助于数据稀疏问题的解决,因此将文档的近邻信息加入语言模型的平滑算法中,提出近邻语言模型.该文在TREC评测的典型文档集美国能源署文件(DOE)和<华尔街日报>(WSJ)数据集上测试了在不同近邻选择来源上近邻语言模型的性能.实验结果表明,近邻语言模型对检索性能有一定的提升.

关键词：信息检索、语言模型、近邻信息

所属期刊栏目：25

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金重点资助项目60736044;国家自然科学基金面上资助项目60873105;黑龙江省教育厅科学技术研究项目11541287;哈尔滨市科技局青年创新人才项目2009RFQXG213

在线出版日期：2011-06-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：66-70