大量气象数据小文件自适应优化传输

摘要：

为满足气象实时资料传输中大量气象数据小文件的高时效传输需求，对其中的数据传输服务进行优化，提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术，通过获取网络传输线路上的实时参数，实时调整压缩参数和网络传输参数以优化传输性能。在自适应压缩时，通过试验分析和归纳，确立了气象数据小文件标准为文件小于50 KB；根据网络实时状况，设计了基于实时网络状况自适应调整压缩等级的算法。在自适应传输参数调优中，研究了 TCP 缓冲区大小和 TCP 并发连接数在 GridFTP 协议中的重要性，针对实时网络状况，分别设计了自适应调整 TCP 缓冲区大小和 TCP 并发连接数的算法，算法提升传输性能65％。对以上提出各自适应参数调整算法进行试验验证表明，融合压缩和网络传输的自适应调优方法能显著提升气象小数据文件的传输性能近500倍。

关键词：气象数据、小文件、压缩、传输优化

分类号：O1 ;TN9

资助基金：江苏省教育厅青蓝工程中青年学术带头人项目“基于云计算的气象数据共享平台”，江苏省“六大人才高峰”高层次人才项目2012-WLW-022

在线出版日期：2014-09-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：629-637