基于深度学习的藏文分词方法

摘要：

重点研究将深度学习技术应用于藏文分词任务,采用多种深度神经网络模型,包括循环神经网络(RNN)、双向循环神经网络(BiRNN)、层叠循环神经网络(StackedRNN)、长短期记忆模型(LSTM)和编码器-标注器长短期记忆模型(Encoder-Labeler LSTM).多种模型在以法律文本、政府公文、新闻为主的分词语料中进行实验,实验数据表明,编码器-标注器长短期记忆模型得到的分词结果最好,分词准确率可以达到92.96％,召回率为93.30％,F值为93.13％.

关键词：深度学习、藏文分词、循环神经网络、长短期记忆、编码器-标注器

所属期刊栏目：39

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61303165、61540057、61132009;青海省自然科学基金项目2016-ZJ-Y04、2016-ZJ-740;国家语委重点基金项目ZDI135-17

在线出版日期：2018-04-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：194-198