空间感知通道注意力引导的高动态图像重建
目的 通过融合一组不同曝光程度的低动态范围(low dynamic range,LDR)图像,可以有效重建出高动态范围(high dynamic range,HDR)图像.但LDR图像之间存在背景偏移和拍摄对象运动的现象,会导致重建的HDR图像中引入鬼影.基于注意力机制的HDR重建方法虽然有一定效果,但由于没有充分挖掘特征空间维度和通道维度的相互关系,只在物体出现轻微运动时取得比较好的效果.当场景中物体出现大幅运动时,这些方法的效果仍然存在提升空间.为此,本文提出了空间感知通道注意力引导的多尺度HDR图像重建网络来实现鬼影抑制和细节恢复.方法 本文提出了一种全新的空间感知通道注意力机制(spatial aware channel attention mechanism,SACAM),该机制在挖掘通道上下文关系的过程中,通过提取特征通道维度的全局信息和显著信息,来进一步强化特征的空间关系.这有助于突出特征空间维度与通道维度有益信息的重要性,实现鬼影抑制和特征中有效信息增强.此外,本文还设计了一个多尺度信息重建模块(multiscale information reconstruction module,MIM).该模块有助于增大网络感受野,强化特征空间维度的显著信息,还能充分利用不同尺度特征的上下文语义信息,来重构最终的HDR图像.结果 在Kalantari测试集上,本文方法的PSNR-L(peak signal to noise ratio-linear domain)和SSIM-L(structural similarity-linear domain)分别为41.1013、0.9865.PSNR-μ(peak signal to noise ratio-tonemapped domain)和SSIM-μ(structural similarity-tonemapped domain)分别为43.4136、0.9902.在Sen和Tursun数据集上,本文方法较为真实地重构了场景的结构,并清晰地恢复出图像细节,有效避免了鬼影的产生.结论 本文提出的空间感知通道注意力引导的多尺度HDR图像重建网络,有效挖掘了特征中对重构图像有益的信息,提升了网络恢复细节信息的能力.并在多个数据集上取得了较为理想的HDR重建效果.
多曝光图像融合、高动态范围(HDR)、注意力、多尺度、鬼影抑制
27
TP391.4(计算技术、计算机技术)
国家自然科学基金62161015
2022-12-26（万方平台首次上网日期，不代表论文的发表时间）
共15页
3581-3595
