Conditional Generation by GAN

李宏毅老师 GAN 课程的第二讲

有监督条件 GAN

条件 GAN 与一般的 GAN，区别主要在于，输入数据是成对出现的，即（条件，X）。

训练时，只有当图像质量较好并且条件正确才会认为整体较好。对应算法流程如下：

常见的架构如下：

生成大图

分阶段提升分辨率

无监督条件 GAN

1.直接转换

• 方法 1

生成器是无监督方式训练的。如果生成器 G 并不是很深，那么 G 无需约束，也会有比较好的效果。

• 方法 2

使用预训练模型，分别提取 X 和 Y 的特征向量，计算相似度，约束生成图像与原图尽量相似。

• 方法 3

使用生成的图作为输入，训练新的生成器恢复原图，这也是约束生的图与原图有更多相似的特征。假如它没有那么多相似的特征，那么就不太可能生成原来的图像。

Cycle GAN

把这个过程反过来再做一遍，就是 Cycle GAN 了。但它存在问题，中间结果可能会隐藏人眼看不到的信息，再恢复时会显现出来，那么这就失去了起初创建他的意义了。

房顶上的特征，在中间结果是看不到的，在还原时又显示出来了。所以，这种约束不一定会起作用。

StarGAN

在多个域之间进行相互转换，相互部分利用的是 CycleGAN 思想。

生成器那块圈圈是利用了 CycleGAN 约束的思想。

2.