Mask Guided Discovery of Semantic Manifolds in Generative Models

方法

本文方法主要实现是使用 mask 引导目标区域改变，同时保持 mask 之外的区域保持不变。使用基于优化的方法进行控制。为了能够得到平滑的结果，同时采样了多个相似的 latent code，同时进行优化。公式如下：

D 表示距离度量函数，M 表示矩形 mask 区域， $\vec{x}_{M}^{*}$ 表示基于 M 在图像 $\vec{x}^{*}$ 上裁剪的 mask 区域。 $\vec{x}_{\bar{M}}^{*}$ 表示 M 之外的图像。c 是改变因子，根据需要确定。文中使用 L2 pixel-wise distance 和 LPIPS preceptual loss 作为距离度量函数。
为了让动画变的更平滑，对原始的 w 进行了采样得到 n 维矩阵 $Z=\left[\vec{z}_{1}, \ldots, \vec{z}_{n}\right]^{T} \in \mathbb{R}^{n \times w}$ 。采样这个矩阵要求他们相邻的 verctor 像素，但也不能过于相似，文中采用如下函数优化：

文中实验采用 $k=1,2$ 。最后各个损失联合进行优化，优化器使用的是 L-BFGS 算法：

总结

该方法直接控制 w 进行优化得到 w+，个人觉得能够取得效果和只对一张图进行优化有很大关系，对于多张图同时优化，未必能够找到合适的 W+。