大规模代码克隆的检测方法

摘要：

代码克隆检测在剽窃检测、版权侵犯调查、软件演化分析、代码压缩、错误检测，以及寻找bug，发现复用模式等方面有重要作用。现有的代码克隆检测工具算法复杂，或需要消耗大量的计算资源，不适用于规模巨大的代码数据。为了能够在大规模的数据上检测代码克隆，提出了一种新的代码克隆检测算法。该算法结合数据消重中的基于内容可变长度分块（content-defined chunking，CDC）思想和网页查重中的Simhash算法思想，采用了对代码先分块处理再模糊匹配的方法。在一个包含多种开源项目，超过5亿个代码文件，共约10 TB代码内容的数据源上，实现了该算法。通过实验，比较了不同分块长度对代码克隆检测率和所需要时间的影响，验证了新算法可以运用于大规模代码克隆检测，并且能够检测出一些级别3的克隆代码，达到了较高的准确率。

关键词：代码克隆、检测、大规模代码数据

分类号：TP18;TP311(自动化基础理论)

资助基金：The National Natural Science Foundation of China under Grant Nos.91118004,61073016;the National Basic Research Program of China under Grant No.2011CB302604国家重点基础研究发展计划973计划;the Joint Funds of the National Natural Science Foundation of China under Grant No. U1201252;the National High Tech-nology Research and Development Program of China under Grant No.2012AA011202国家高技术研究发展计划863计划

在线出版日期：2014-04-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：417-426