基于表示学习的中文分词算法探索

摘要：

分词是中文自然语言处理中的一个关键基础技术.通过基于字的统计机器学习方法学习判断词边界是当前中文分词的主流做法.然而,传统机器学习方法严重依赖人工设计的特征,而验证特征的有效性需要不断的尝试和修改,是一项费时费力的工作.随着基于神经网络的表示学习方法的兴起,使得自动学习特征成为可能.该文探索了一种基于表示学习的中文分词方法.首先从大规模语料中无监督地学习中文字的语义向量,然后将字的语义向量应用于基于神经网络的有监督中文分词.实验表明,表示学习算法是一种有效的中文分词方法,但是我们仍然发现,由于语料规模等的限制,表示学习方法尚不能完全取代传统基于人工设计特征的有监督机器学习方法.

关键词：表示学习、中文分词

所属期刊栏目：27

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61070106,61272332,61202329;国家高技术研究发展计划资助项目863计划2012AA011102;国家重点基础研究发展计划资助项目973计划2012CB316300;网络文化与数字传播北京市重点实验室开放课题资助项目ICDD201201

在线出版日期：2013-11-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：8-14