基于Python语言的中文分词技术的研究

摘要：

Python作为一种解释性高级编程语言,已经深入大数据、人工智能等热门领域.Python在数据科学领域具有广泛的应用,比如Python爬虫、数据挖掘等等.将连续的字序列划分为具有一定规范的词序列的过程称为分词.在英文中,空格是单词间的分界符,然而中文比较复杂.一般来说对字、句子和段落的划分比较简单,但中文中词的划分没有明显的标志,所以对中文文本进行分词的难度较大.运用Python爬虫对网页数据进行抓取作为实验文本数据,使用python强大的分词库jieba对中文文本进行分词处理.对分词结果分别采用TF-IDF算法和TextRank算法进行提取关键词,实验结果明显优于基于词频的分词算法.最后采用词云的方式对关键词进行展现,使得分词结果一目了然.

关键词：python、文本分词、jieba、词云、数据可视化

所属期刊栏目：52

分类号：TP312(计算技术、计算机技术)

资助基金：山东省自然科学基金项目ZR2013FL015;山东省研究生教育创新资助计划SDYY12060

在线出版日期：2019-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1612-1619