基于Token语义构建的代码克隆检测

摘要：

传统的基于Token的克隆检测方法利用代码字符串的序列化特性,可以在大型代码仓中快速检测克隆.但是与基于抽象语法树(AST)、程序依赖图(PDG)的方法相比,由于缺少语法及语义信息,针对文本有较大差异的克隆代码检测困难.为此,提出一种赋予语义信息的Token克隆检测方法.首先,分析抽象语法树,使用AST路径抽象位于叶子节点的Token的语义信息;然后,在函数名和类型名角色的Token上建立低成本索引,达到快速并有效地筛选候选克隆片段的目的.最后,使用赋予语义信息的Token判定代码块之间的相似性.在公开的大规模数据集BigCloneBench实验结果表明,该方法在文本相似度较低的Moderately Type-3和Weakly Type-3/Type-4类型克隆上显著优于主流方法,包括NiCad、Deckard、CCAligner等,同时在大型代码仓上需要更少的检测时间.

关键词：代码克隆检测、抽象语法树、语义信息、高效索引、源代码

所属期刊栏目：31

分类号：TP311.5;H136;H313

资助基金：国家自然科学基金;国家外专局111引智计划

在线出版日期：2022-11-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：60-67