统计与词典相结合的领域自适应中文分词

摘要：

基于统计的中文分词方法由于训练语料领域的限制,导致其领域自适应性能力较差.相比分词训练语料,领域词典的获取要容易许多,而且能为分词提供丰富的领域信息.该文通过将词典信息以特征的方式融入到统计分词模型(该文使用CRF统计模型)中来实现领域自适应性.实验表明,这种方法显著提高了统计中文分词的领域自适应能力.当测试领域和训练领域相同时,分词的F-measure值提升了2％；当测试领域和训练领域不同时,分词的F-measure值提升了6％.

关键词：中文分词、CRF、领域自适应

所属期刊栏目：26

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目61133012;国家自然科学基金资助项目60803093;国家863重大项目2011AA01A207;核高基重大专项2011ZX01042-001-001;哈尔滨工业大学科研创新基金HIT.NSRIF.2009069;中央高校基本科研业务费专项资金HIT.KLOF.2010064

在线出版日期：2012-05-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：8-12