网络安全设备联动系统中小文件存储优化方法研究

摘要：

网络系统在运行过程中会产生大量日志，采用Java编程技术将各安全设备日志转换为XML文件。在对日志文件存储过程中，现有的存储系统硬件成本高，扩展能力差，数据并行访问效率低，难以满足网络安全设备联动系统的需求。因此，该文采用基于HDFS的云存储系统对日志文件进行存储。为了提高基于HDFS的云存储系统中小文件存储效率，该文设计了云存储系统中小文件存储的优化方案，主要在小文件合并和小文件检索方面做了优化。该方案结合网络安全设备联动系统中日志文件的特点，首先是根据不同设备的文件进行分类，然后根据小文件在合并后的大文件中的偏移量进行检索。最后采用3组文件集合对优化方案进行了测试，实验结果表明，在不影响存储系统运行状况的基础上，该方案提高了小文件的存储效率和读取效率。

关键词：网络安全、小文件、Hadoop、存储优化

分类号：TP393(计算技术、计算机技术)

在线出版日期：2016-04-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：10-11