一种词法分析与字标注分词结合的方法

摘要：

提出了一种新的字位置信息标记,使用该标记可以实现字标注分词和词性分析的一体化.通过设计一套包含了词性信息的字位置信息标记,在训练前对训练语料进行改造,将训练语料转化成用新标记标注的语料,然后根据转化的结果进行训练,并用训练产生的隐马模型(HMM)对待分词字符串进行字标注,最后找出最大概率路径作为分词结果,该分词结果同时也包含了词法分析的结果.该文将隐马模型中的viterbi算法修改成N-viterbi算法,采用N-viterbi算法可以实现查找分词图中的前N条最大概率路径.实验表明,该模型可以较准确的完成分词操作,同时可以产生有一定引导作用的词法分析结果.

关键词：分词、词法分析、字标注、N-viterbi、隐马模型、一体化

所属期刊栏目：8

分类号：TP301(计算技术、计算机技术)

在线出版日期：2012-07-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1814-1817,1820