基于关联规则的海量重复数据消除系统设计

摘要：

结合传统消除系统中重复数据吞吐量不可控、相似判断完成时间长的问题,利用关联规则,改进设计了海量重复数据消除系统.为增强相似数据搜索速度、保证消除可靠性,对系统的总体框架进行设计,依据框架将硬件部分重新划分为重复数据检测、总吞吐量提升、消除可靠性保证、系统安全四个主要模块.应用TCP/IP,NetBEUI,IPX/SPX三种协议相结合的方式代替传统系统的NetBEUI传输协议作为核心运行基础,建立基础数据序列关联规则优化重复数据检测编码,确保海量重复数据消除流程的高效性和稳定性,完成消除系统设计.采用传统系统和改进系统对比的方式进行实验,实验结果表明,该系统的重复数据吞吐量始终维持在可控范围内,且相似判断完成时间可缩短至传统系统的12左右.

关键词：关联规则、数据消除、系统框架、冗余纠正、通信接口、数据序列、检测编码、消除流程

所属期刊栏目：41

分类号：TN911-34;TP393

资助基金：福建省自然科学基金项目2017J01406;福建省中青年教师教育科研项目JA15527;武夷学院高级引进人才科研启动项目YJ201607

在线出版日期：2018-12-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：27-31