归一化的邻接变化数方法在中文分词中的应用

摘要：

该文提出了一种无监督和有监督相结合的中文分词方法: 将邻接变化数(Accessor Variety,AV)引入基于条件随机场的中文分词系统中.针对邻接变化数在处理较少的训练数据时存在的缺陷,提出了一种归一化的改进方法,以减轻计算AV值时产生的波动.基于Bakeoff-4的中文分词实验表明,归一化的邻接变化数方法无论对于封闭测试,还是开放测试,都带来了性能的提升.

关键词：计算机应用、中文信息处理、无监督分词、条件随机场、归一化的邻接变化数方法

所属期刊栏目：24

分类号：TP391(计算技术、计算机技术)

资助基金：高等学校学科创新引智计划资助项目B08004;国家支撑计划资助项目2007BAHo5B02-04

在线出版日期：2010-04-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：15-19