基于分类词典的文本相似性度量方法

摘要：

针对现有基于语义知识规则分析的文本相似性度量方法存在时间复杂度高的局限性,提出基于分类词典的文本相似性度量方法.利用汉语词法分析系统ICTCLAS对文本分词,运用TF×IDF方法提取文本关键词,遍历分类词典获取关键词编码,通过计算文本关键词编码的近似性来衡量原始文本之间的相似度.选取基于语义知识规则和基于统计两个类别的相似性度量方法作为对比方法,通过传统聚类与KNN分类分别对相似性度量方法进行效果验证.数值实验结果表明,新方法在聚类与分类实验中均能取得较好的实验结果,相较于其他基于语义分析的相似性度量方法还具有良好的时间效率.

关键词：文本挖掘、语义分析、分类词典、关键词提取、词语编码、相似性度量、聚类、分类

所属期刊栏目：12

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金项目61300139;福建省自然科学基金项目2015J01581;华侨大学中青年教师科研提升计划项目ZQN-PY220;华侨大学研究生科研创新能力培育计划项目1511307006

在线出版日期：2017-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：556-562