基于规则和统计的日语分词和词性标注的研究

摘要：

日语分词和词性标注是以日语为源语言的机器翻译等自然语言处理工作的第一步.该文提出了一种基于规则和统计的日语分词和词性标注方法,使用基于单一感知器的联合分词和词性标注算法作为基本框架,在其中加入了基于规则的词语的邻接属性作为特征.在小规模测试集上的实验结果表明,这种方法分词的F值达到了98.2%,分词加词性标注的F值达到了94.8%.该文所采用的方法已经成功应用到日汉机器翻译系统中.

关键词：人工智能、机器翻译、日汉机器翻译系统、日语分词、日语词性标注、联合分词

所属期刊栏目：24

分类号：TP391(计算技术、计算机技术)

资助基金：国家863计划重点资助项目2006AA010109

在线出版日期：2010-04-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：117-122