基于Transformer的多分支单图像去雨方法

摘要: 雨纹会严重降低拍摄图像的质量，影响后续计算机视觉任务。为了提高雨天图像的质量，提出了一种基于Transformer的单图像去雨算法。首先，该算法通过具有窗口机制的transformer获得大范围的感受野，进而获取雨纹特征的上下文信息，提高模型提取雨纹特征的能力；其次，该算法通过多分支模块提取和融合不同种类、不同层次的特征，提高模型对复杂雨纹信息的表征能力；最后通过残差连接融合浅层特征和深层特征，补全深层特征中缺失的细节信息，增强网络表达能力。在公开数据集Rain100L，Rain100H和私有数据集Rain3000上的实验结果表明，该方法相较于现有算法，能更有效的去除雨纹，同时更好的恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度(PSNR/SSIM)分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。