随手涂鸦摇身一变成为名画

GauGAN

还记得之前的CycleGanPix2pixGan吗,使用这两种GAN我们可以转化或者生成从来不存在的图像(从黑夜到白天,从涂鸦到图画)。

但是眼下由英伟达的研究人员Taesung Park、Ming-Yu Liu、Ting-Chun Wang和Jun-Yan Zhu(朱俊彦)共同完成的新的可生成图像的GAN:GauGAN

《随手涂鸦摇身一变成为名画》

正式介绍一下英伟达出品的GauGAN:我们画一幅涂鸦,用颜色区分每一块对应着什么物体,它就能照着我们的空间布局思路,合成以假乱真的真实世界效果图。

在AI界这叫做叫“语义布局”。

要实现这种能力,GauGAN靠的是空间自适应归一化合成法SPADE架构。

这种算法的论文Semantic Image Synthesis with Spatially-Adaptive Normalization已经被CVPR 2019接收,而且还是口头报告(oral)。

可以看到这个GAN与前辈的比较,同样的涂鸦,生成的结果却相差很大。

《随手涂鸦摇身一变成为名画》

在基于语义合成图像这个领域里,这可是目前效果最强的方法。

技术简介

本篇论文中提出了一种新的方法,叫做空间适应标准化(SPatially-Adaptive (DE)normalization),简称SPADE。

这是一种条件归一化层,它通过学习到的空间适应变换,用语义布局调节激活函数,让语义信息在整个网络中有效传播,避免语义信息流失。

《随手涂鸦摇身一变成为名画》

SPADE与批标准化(Batch Normalization)类似,激活函数channel-wise是标准化的,但在很多标准化技术中,实际标准化操作后就应用到了学习过的仿射层(Affine Layer)。

但在SPADE中,仿射层是从语义分割图中学习的。这类似于条件标准化,不过所学习的仿射参数现在需要空间自适应,也就是对每个语义标签使用不同的缩放和偏差。

《随手涂鸦摇身一变成为名画》

就这样一个小小的改变,让语义信号可以作用于所有层输出,不会在生成图像中丢失语义信息。

此外,因为语义信息是通过SPADE层提供的,因此随机向量成为神经网络的输入,所以,你还能随心改变图像的画风。

项目地址

项目地址 : https://nvlabs.github.io/SPADE/

Github相关地址: https://github.com/NVlabs/SPADE

  点赞 查看往期