基于双向长短期记忆神经网络的老挝语分词方法

摘要：

作为语言最小独立运行且有意义的单位,将连续型的老挝语划分成词是非常有必要的.提出一种基于双向长短期记忆BLSTM神经网络模型的老挝语分词方法,使用包含913487个词的人工分词语料来训练模型,将老挝语分词任务转化为基于音节的序列标注任务,即将老挝语音节标注为词首(B)、词中(M)、词尾(E)和单独成词(S)4个标签.首先将老挝语句子划分成音节并训练成向量,然后把这些向量作为BLSTM神经网络模型的输入来预估该音节所属标签,再使用序列推断算法确定其标签,最后使用人工标注的分词语料进行实验.实验表明,基于双向长短期记忆神经网络的老挝语分词方法在准确率上达到了87.48％,效果明显好于以往的分词方法.

关键词：神经网络、音节、双向长短期记忆、老挝语分词

所属期刊栏目：41

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金61662040,61562049

在线出版日期：2019-07-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1312-1317