基于条件随机场的词结构分析方法

摘要：

传统的基于词边界划分的中文分词已经难以满足实际应用的需要.通过深入分析词的内部结构,提出了一种基于条件随机场的词结构分析方法.根据伪未登录词(POOV)组成成分的特点及词的内部子结构表示,提出了词的结构特征来提高未登录词(OOV)的识别率及词结构的识别性能.从词的内部结构表示形式推导出一般化的词结构标记集,很好地统一了词边界标记和词内部结构标记.它不仅适用于传统的中文分词任务中词边界的标注,而且也适用于词结构分析任务中词的内部结构的标注.该方法能够同时分析得到词的边界和内部结构信息,解决了语料库之间分词标准不一致的问题,满足了应用的不同需求.实验结果表明,该方法在整体性能和各层次结构的识别上都比现有方法有所提高.

关键词：词结构分析、条件随机场、词结构特征、词结构标记集

所属期刊栏目：63

分类号：TP391.1(计算技术、计算机技术)

资助基金：江苏省自然科学基金BK20161249;软件工程国家重点实验室自主研究课题SKLSE-2015-A-04-03

在线出版日期：2017-08-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：251-258