面向论文相似性检测的数据预处理研究

摘要：

[目的]探究论文相似性检测中数据预处理的数据问题及相关方法.[方法]对数据进行细致的分析,采用基于规则的方法、基于统计的方法、基于语义的方法进行预处理.[结果]揭示论文相似性检测中原始数据存在的数据质量问题,并在此基础上给出数据预处理模型.[局限]语料规模有限,且暂未考虑对语料中图表内容的预处理.[结论]数据预处理有助于提高论文相似性检测结果的准确性;有效结合基于规则、统计、语义的三种方法有助于提高数据预处理效果.

关键词：相似性检测、抄袭检测、数据预处理、数据质量、数据清洗

分类号：TP311.13(计算技术、计算机技术)

资助基金：本文系国家自然科学基金管理学部青年项目“基于CSSCI的句法级汉英平行语料库构建及知识挖掘研究”项目编号:71303120和江苏省社会科学基金项目“大数据环境下汉英短语级平行语料标注及知识挖掘研究”项目编号:13XWC017的研究成果之一.

在线出版日期：2015-05-28（万方平台首次上网日期，不代表论文的发表时间）

页码：50-56