基于GPU和UNITY的嵌入式图像实时传输方法

摘要：

智能化无人矿山对作业现场环境的可视化要求较高,现有的可视化方法仍存在诸多问题:数据采集方式单一,存在监控盲区;数据传输线缆布设困难且易被损坏,传输延时较高;表现形式不够全面立体,并且不能用于VR/AR、SLAM、机器人定位避障等应用场景.为了满足智能矿山建设的可视化需求,本文结合当前传感技术、矿用机器人以及5G技术的发展,探讨了从数据采集、服务器部署到接收显示的详细步骤.针对全景及深度影像这类新型三维数据,提出一种基于GPU和UNITY的嵌入式视频实时传输方法,包括实时编码、异步传输、轻量级的嵌入式流媒体系统、利用UNITY实时处理以及元数据的同步传输.借助UNITY平台,将三维可视化任务从CPU转移至GPU,仿真实验表明,最高渲染帧率为60 fps时,GPU占用率在35％以下.最后,以全景和深度传感器为例进行了测试,对数据编码、位移贴图、纹理纠正进行有效性验证,并从延迟、帧率、CPU占用率3个方面评估性能.结果表明,所提关键技术均可有效提高运行效率、减少资源占用,相比FFplay延时更低.全景影像的可视化代替了视角固定的传统监控,深度数据为智能矿山巡检机器人定位及避障提供实时数据源,传输方法整体向下兼容.不仅解决传统方法视角单一、布线困难的问题,而且考虑到了智能矿山建设过程中的新需求.

关键词：智能矿山;全景视频;深度图像;实时传输;嵌入式

所属期刊栏目：45

分类号：P209(一般性问题)

资助基金：国家重点研发计划2018YFC0604405

在线出版日期：2022-02-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：25-29