Command Palette

Search for a command to run...

4 个月前

感知图像超分辨率的自编码监督

MinKyu Lee Sangeek Hyun Woojin Jun Jae-Pil Heo

感知图像超分辨率的自编码监督

摘要

本工作针对感知超分辨率(Perceptual Super-Resolution, SR)中的保真度目标展开研究。具体而言,我们聚焦于基于生成对抗网络(GAN)的超分辨率框架中,像素级 LpL_\text{p}Lp 损失(Lpix\mathcal{L}\text{pix}Lpix)所存在的固有缺陷。众所周知,Lpix\mathcal{L}\text{pix}Lpix 与感知质量之间存在权衡关系,因此以往方法通常采用乘以较小缩放因子或引入低通滤波器等间接手段进行缓解。然而,本工作指出,这些方法未能触及导致模糊现象的根本原因。为此,我们提出两个关键思路:1)精确识别 Lpix\mathcal{L}\text{pix}Lpix 中导致模糊的子成分;2)仅基于不受该权衡关系影响的因子进行引导。我们发现,这一目标可通过一种预先使用 Lpix\mathcal{L}\text{pix}Lpix 训练的自编码器(Auto-Encoder, AE)以出人意料的简洁方式实现。据此,我们提出一种新型损失函数——自编码引导最优惩罚损失(Auto-Encoded Supervision for Optimal Penalization, LAESOPL_\text{AESOP}LAESOP),该损失在自编码器的解码器输出空间(而非瓶颈层)中度量特征距离,而非直接在原始像素空间中进行。通过简单地将 Lpix\mathcal{L}\text{pix}Lpix 替换为 LAESOPL\text{AESOP}LAESOP,即可在不损害感知质量的前提下,提供高效且精确的重建指导。本方法设计简洁,易于集成至现有超分辨率框架中。实验结果表明,AESOP 能够在感知超分辨率任务中取得优异性能。

基准测试

基准方法指标
image-super-resolution-on-bsd100-4x-upscalingAESOP
DISTS: 0.1072
LPIPS: 0.1385
PSNR: 25.93
SSIM: 0.6813
image-super-resolution-on-div2k-val-4xAESOP
DISTS: 0.0459
LPIPS: 0.0893
PSNR: 29.137
SSIM: 0.8023
image-super-resolution-on-general-100-4xAESOP
DISTS: 0.0762
LPIPS: 0.071
PSNR: 30.401
SSIM: 0.8328
image-super-resolution-on-manga109-4xAESOP
DISTS: 0.0328
LPIPS: 0.0461
PSNR: 30.061
SSIM: 0.888
image-super-resolution-on-set14-4x-upscalingAESOP
DISTS: 0.0819
LPIPS: 0.1027
PSNR: 27.421
SSIM: 0.7438
image-super-resolution-on-urban100-4xAESOP
DISTS: 0.0742
LPIPS: 0.0945
PSNR: 26.148
SSIM: 0.7884

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供