基于差分压缩的大规模日志压缩系统

摘要：

大型信息系统的日志数据规模呈现快速增长趋势,导致线速压缩与存储大规模日志数据成为当今数据管理的一大挑战.对大量的网络系统日志进行了研究,发现日志数据存在冗余的结构模式,在内容上存在时间局部相似性.提出了基于模板的细粒度日志差分压缩架构,针对具体日志数据,可配置与其相适应的细粒度差分策略.实验结果表明,与gzip工具相比,所提日志压缩系统在压缩速度上提高了2～10倍,压缩率比gzip更低,可达到10％.

关键词：日志、差分压缩、细粒度、模板

所属期刊栏目：36

分类号：TP302(计算技术、计算机技术)

资助基金：中科院战略性先导科技专项基金资助项目XDA06031000Special Pilot Research of the Chinese Academy of Sciences XDA06031000

在线出版日期：2016-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：197-202