Command Palette

Search for a command to run...

6 个月前

U-GAT-IT:用于图像到图像翻译的无监督生成注意力网络与自适应层实例归一化

Junho Kim Minjae Kim Hyeonwoo Kang Kwanghee Lee

U-GAT-IT:用于图像到图像翻译的无监督生成注意力网络与自适应层实例归一化

摘要

我们提出了一种新的无监督图像到图像转换方法,该方法以端到端的方式集成了一个新的注意力模块和一个新的可学习归一化函数。注意力模块通过辅助分类器获得的注意力图引导模型关注源域和目标域之间更为重要的区域。与之前的基于注意力的方法不同,这些方法无法处理域之间的几何变化,我们的模型可以同时转换需要整体变化和需要大范围形状变化的图像。此外,我们新提出的AdaLIN(自适应层-实例归一化)函数通过根据数据集学习的参数,帮助注意力引导模型灵活控制形状和纹理的变化程度。实验结果表明,与现有的具有固定网络架构和超参数的最先进模型相比,所提出的方法具有显著的优势。我们的代码和数据集可在以下网址获取:https://github.com/taki0112/UGATIThttps://github.com/znxlwm/UGATIT-pytorch

代码仓库

基准测试

基准方法指标
fundus-to-angiography-generation-on-fundusU-GAT-IT
FID: 24.5
Kernel Inception Distance: 0.00131
image-to-image-translation-on-anime-to-selfieU-GAT-IT
Kernel Inception Distance: 11.52
image-to-image-translation-on-cat2dogU-GAT-IT
Kernel Inception Distance: 7.07
image-to-image-translation-on-dog2catU-GAT-IT
Kernel Inception Distance: 8.15
image-to-image-translation-on-horse2zebraU-GAT-IT
Kernel Inception Distance: 7.06
image-to-image-translation-on-photo2portraitU-GAT-IT
Kernel Inception Distance: 1.79
image-to-image-translation-on-photo2vangoghU-GAT-IT
Kernel Inception Distance: 4.28
image-to-image-translation-on-portrait2photoU-GAT-IT
Kernel Inception Distance: 1.69
image-to-image-translation-on-selfie-to-animeU-GAT-IT
Kernel Inception Distance: 11.61
image-to-image-translation-on-vangogh2photoU-GAT-IT
Kernel Inception Distance: 5.61
image-to-image-translation-on-zebra2horseU-GAT-IT
Kernel Inception Distance: 7.47

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
U-GAT-IT:用于图像到图像翻译的无监督生成注意力网络与自适应层实例归一化 | 论文 | HyperAI超神经