学习基于流的特征变形以实现照明正面不一致的人脸正面化

摘要

尽管基于深度学习的人脸正面化方法最近取得了进展，但是由于训练过程中的大姿势和照度差异，真实感和保持光照的正面人脸合成仍然具有挑战性。我们提出了一种新颖的基于流的特征变形模型（FFWM），该模型可以学习在照度不一致的监督下合成逼真的，照度良好的正面图像。具体而言，提出了一种照明保存模块（IPM），以从照明不一致的图像对中学习保存照明的图像合成。IPM 包括两个途径，以确保合成的正面图像保持照明并具有精细的细节。此外，引入了弯曲注意模块（WAM）以减少特征级别上的姿势差异，从而更有效地合成正面图像并保留轮廓图像的更多细节。WAM 中的注意力机制有助于减少轮廓和正面图像之间的位移引起的伪像。定量和定性的实验结果表明，我们的 FFWM 可以合成照片级逼真的和照明保留的正面图像，并且对最新技术的结果表现良好。
关键字：人脸正面化、光照保持、光流、Guided Filter、注意力机制

引言

定量和定性的实验结果证明了我们的 FFWM 在合成具有大姿势的逼真和照明保持脸部方面的有效性，并且优于测试基准上的最新结果。我们的贡献可以概括为：

提出了一种基于流的特征变形模型（FFWM），以解决人脸正面化中的挑战性问题，即照片逼真和保持照明的图像合成。
提出了一种配备有导向滤镜和流场的保光模块，以实现保光图像合成。WarpAttention 模块（WAM）使用注意机制在流量估计的显式和有效指导下有效减少特征级别中的姿态差异。
定量和定性结果表明，提出的 FFWM 优于最新方法。

方法

FFWM 采用 U-net 作为 backbone，内置 IPM 模块和 WAM 模块。FFWM 使用光流场，该流场被输入到 IPM 和 WAM 进行正面化。具体来说，我们计算正向和反向流场，以分别将轮廓扭曲到正面视图，反之亦然。

Bi-directional Flow Fields Estimation

可以将面部正面化视为面部旋转变换，并且流场可以通过在轮廓和正面之间建立像素级别的对应关系来对此旋转进行建模。传统的光流方法[4,14]采用两个帧作为输入。但是，我们仅使用一个侧面图像作为输入。在这项工作中，我们采用 FlowNet2 [14]中的 FlowNetSD 作为流量估计网络，并将输入通道从 6（两帧）更改为 3（一幅图像）。为了保持光照和人脸正面化，我们从侧脸图像分别估计反向流场$\Phi^{\prime}$和正向流场$\Phi$。

Training details for Flow Estimation Networks

手动获得两个图像$I$和$I^{gt}$之间的流场是非常昂贵的事。取而代之的是，我们引入了 landmark loss[16], sampling correctness loss[20]和 regularization term[20]，去训练双向流场估计网络。对于 landmark loss，我们使用dense landmark detection 方法检测$I$和$I^{gt}1000个面部关键点。然后，我们在垂直和水平方向上移动面部轮廓界标，并在上述$I$和$I^{gt}$之间的区域中标记新的界标和对应关系。这样，我们可以使其他面部区域变形。（例如，头发，脖子和耳朵）。在我们的实验中，预训练 4 个 epochs，然后所有网络进行端到端的训练。