你瞧，那个一直面无表情说话的人，自始至终都露出了笑容；原本40、50岁的人突然变成了20多岁的人：

另一边，正笑着唱着歌的“赫敏”突然生气了，甚至变成了几岁孩子的脸：

奥巴马也是如此，他的面部状态有4种版本触手可及，甚至连性别都给出了女性：

无论面部表情和状态如何变化，这些视频都不会给人任何违和感，整个过程是那么的顺利~

哦对了，除了真人，动漫视频里的脸也可以P：

有点厉害了。

基于GAN的视频面部编辑

该模型来自以色列特拉维夫大学。

众所周知，GAN 能够在其潜在空间中编码丰富的语义，并已广泛用于面部编辑。

然而，在视频中使用它仍然有点挑战：一是缺乏高质量的数据集，二是需要克服时间一致性的基本障碍。

然而，研究人员认为，第二个障碍主要是人为的。

由于原始视频具有时间一致性，因此编辑后的视频发生了变化。部分原因是编辑管道中某些组件处理不当。

他们提出的视频人脸语义编辑框架相比目前的技术水平有了显着的改进：

仅使用标准的非序列StyleGAN2来分析GAN编辑管道中的不同组件，确定哪些组件是一致的，并使用这些组件进行操作。

整个过程不涉及任何额外的操作来保持时间一致性。

具体流程分为六步：

1、首先将输入视频分帧，对每帧中的人脸进行裁剪和对齐；

2.使用预训练的e4e编码器将每个裁剪后的人脸反转到预训练的StyleGAN2的潜在空间中；

“众所周知，视频是不能编辑的”，GAN：真的吗？

3.使用PTI（一种新提出的视频人脸编辑方法）对所有并行帧中的生成器进行微调，纠正初始反转中的错误，恢复全局一致性；

4. 通过使用固定方向和步长线性操作其枢轴潜在代码，对所有帧进行相应编辑；

5.再次微调生成器，将背景和编辑后的脸部“缝合”在一起；

6. 反转对齐步骤并将修改后的脸部粘贴回视频中。

注意脖子上有很多瑕疵，在最后一步已经完全修复了。

和SOTA模型对比

这个模型效果怎么样？我们对比一下就知道了：

第一个是变年轻，第二个、第三个是变老。

可以清楚地看到，当前的SOTA模型（Latent Transformer）和PTI模型中的人脸会“抽搐”并且存在一些伪影，但这个新模型避免了这些问题。

此外，研究人员还进行了时间一致性测试。

该指标包含两个：

局部时间一致性（TL-ID）通过现成的一致性检测网络评估两个相邻帧之间的一致性。 TL-ID分数越高，该方法产生的效果越平滑，没有明显的局部抖动。全局时间一致性（TG-ID），也使用一致性检测网络来评估所有可能的帧（不一定是相邻的）之间的相似性。 1 分表示该方法成功地保持了与原始视频的时间一致性。结果如下：

可以看到，这款新车型在两项指标上都略胜一筹。

最后，代码将于2 月14 日发布。有兴趣的朋友可以看看~

论文地址：https://arxiv.org/abs/2201.08361

项目主页：

https://stitch-time.github.io/

– 超过-