基于词干单元的维-哈语文本关键词提取研究

摘要：

提出了基于词干单元的维吾尔语和哈萨克语(以下称维-哈语)文本关键词提取方法.维-哈语属于资源缺乏的派生类语言,词素结构分析和词干提取方法能有效地减少派生类语言的粒度容量,并且可以提高其覆盖率.从网上下载维-哈语文本,并切分成词素序列,用word2vec训练词干向量以分布式表示文本内容,再用TF-IDF算法对其词干向量进行加权处理.根据训练集关键词干向量和测试集词干向量相似度来提取关键词.实验结果表明,基于词素切分及词干向量表示的方法是在维-哈语等派生类语言关键词提取任务中的重要步骤,通过这个步骤,能够提高关键词提取的准确率.

关键词：维-哈语、词干向量、关键词提取、形态学

所属期刊栏目：42

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金61662078

在线出版日期：2020-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：131-137