基于统计和规则的未登录词识别方法研究

摘要：

介绍了一种基于统计和规则的未登录词识别方法.该方法分为2个步骤:(1)对文本进行分词,对分词结果中的碎片进行全切分生成临时词典,并利用规则和频度信息给临时词典中的每个字串赋权值,利用贪心算法获得每个碎片的最长路径,从而提取未登录词;(2)在上一步骤的基础上,建立二元模型,并结合互信息来提取由若干个词组合而成的未登录词(组).实验证明该方法开放测试的准确率达到81.25%,召回率达到82.38%.

关键词：未登录词识别、贪心算法、二元模型、互信息

所属期刊栏目：33

分类号：TP18(自动化基础理论)

资助基金：江苏省自然科学基金BK2003030;江苏省教育厅自然科学基金04KKB320134

在线出版日期：2007-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：196-198