结合密集残差结构和多尺度剪枝的点云压缩网络

摘要：

目的 点云是一种重要的三维数据表示形式,已在无人驾驶、虚拟现实、三维测量等领域得到了应用.由于点云具有分辨率高的特性,数据传输需要消耗大量的网络带宽和存储资源,严重阻碍了进一步推广.为此,在深度学习的点云自编码器压缩框架基础上,提出一种结合密集残差结构和多尺度剪枝的点云压缩网络,实现了对点云几何信息和颜色信息的高效压缩.方法 针对点云的稀疏化特点以及传统体素网格表示点云时分辨率不足的问题,采用稀疏张量作为点云的表示方法,并使用稀疏卷积和子流形卷积取代常规卷积提取点云特征;为了捕获压缩过程中高维信息的依赖性,将密集残差结构和通道注意力机制引入到点云特征提取模块;为了补偿采样过程的特征损失以及减少模型训练的动态内存占用,自编码器采用多尺度渐进式结构,并在其解码器不同尺度的上采样层之后加入剪枝层.为了扩展本文网络的适用范围,设计了基于几何信息的点云颜色压缩方法,以保留点云全局颜色特征.结果 针对几何信息压缩,本文网络在 MVUB(Microsoft voxelized upper bodies)、8iVFB(8i voxelized full bodies)和 Owlii(Owlii dynamic human mesh sequence dataset)3个数据集上与其他5种方法进行比较.相对 MPEG(moving picture experts group)提出的点云压缩标准 V-PCC(video-based point cloud compression),BD-Rate(bjontegaard delta rate)分别增加了 41％、54％和 33％.本文网络的编码运行时间与 G-PCC(geometry-based point cloud compression)相当,仅为V-PCC的2.8％.针对颜色信息压缩,本文网络在低比特率下的YUV-PSNR(YUV peak signal to noise ratio)性能优于G-PCC中基于八叉树的颜色压缩方法.结论 本文网络在几何压缩和颜色压缩上优于主流的点云压缩方法,能在速率较小的情况下保留更多原始点云信息.

关键词：深度学习、点云压缩、自编码器、稀疏卷积、点云注意力机制、密集残差结构、多尺度剪枝

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;浙江省自然科学基金项目

在线出版日期：2023-08-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：2105-2119