基于CRFs和歧义模型的越南语分词

摘要：

通过对越南语词法特点的研究,把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs),提出了一种基于CRFs和歧义模型的越南语分词方法.通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料.越南语中交叉歧义广泛分布在句子中,为了克服交叉歧义的影响,通过词典的正向和逆向匹配算法从训练语料中抽取了5 377条歧义片段,并通过最大熵模型训练得到一个歧义模型,并融入到分词模型中.把训练语料均分为10份做交叉验证实验,分词准确率达到了96.55％.与已有越南语分词工具VnTokenizer比较,实验结果表明该方法提高了越南语分词的准确率、召回率和F值.

关键词：条件随机场模型、越南语分词、词法、基本特征、最大熵、歧义模型

所属期刊栏目：32

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金61262041,61472168,61562052;云南省自然科学基金重点项目2013FA030

在线出版日期：2017-07-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：636-642