🎑V-Express：通过逐步训练和条件性丢弃操作生成高质量人像视频

• 简单重定向

• 头部偏移重定向

• 面部固定

1. 预备阶段：首先，V-Express使用变分自编码器（VAE）将输入图像编码到潜在空间中。这个过程称为扩散过程，其中逐步向潜在表示中引入高斯噪声，直至完全退化为噪声。

2. 模型架构：V-Express的模型基于去噪U-Net，该网络在条件控制下逐步去除噪声并生成清晰的视频帧。网络包含四个注意力层：自注意力层、参考注意力层、音频注意力层和运动注意力层。这些层分别处理时间序列内的视频帧之间的空间和时间关系。

3. 逐步训练策略：
• 第一阶段：专注于单帧生成，只训练ReferenceNet、V-Kps Guider和去噪U-Net，而音频和运动注意力层的权重不更新。
• 第二阶段：进行多帧生成训练，只更新Audio Projection、音频注意力层和运动注意力层，其他模块参数保持固定。
• 第三阶段：全局微调，所有参数都进行更新。

4. 训练技巧：
• 口部损失权重：为了加速唇部与音频同步的收敛，对嘴部区域的去噪损失赋予更大的权重。
• 条件性丢弃：为了避免模型直接复制参考图像，随机将某些帧的参考特征和V-Kps特征置零，迫使这些帧依赖运动注意力层的指导。

5. 推理过程：在推理阶段，给定音频和预定义的视频帧率，V-Express生成相应数量的帧。如果提供的V-Kps序列与参考图像的关键点不匹配，V-Express会使用简单的重定向方法来调整V-Kps，以匹配参考图像。

6. 生成过程：生成的视频帧以多个片段进行，相邻片段之间有一些重叠帧。这些重叠帧的潜在表示在解码前会被平均处理，以确保视频的连贯性。

7. 控制信号的整合：V-Express通过调整不同控制信号（如音频、参考图像和V-Kps图像）的注意力权重，可以改变这些信号对生成过程的影响强度。例如，增加音频注意力权重可以使嘴部运动更加明显。

摘要

• 人像视频生成领域中，使用单幅图像生成视频越来越普遍。

• 控制信号（如文本、音频、参考图像、姿势、深度图等）的强度不同，弱信号（如音频）常因强信号（如关键点和参考图像）的干扰而难以有效。

• 论文提出V-Express方法，通过逐步训练和条件性丢弃操作平衡不同控制信号，特别强调音频信号的有效控制。

• 实验结果表明，V-Express能有效地生成由音频控制的高质量人像视频。

1. 引言

• 近年来，扩散模型在图像生成领域占据主导地位，推动了生成质量和控制的提升。

• 人像视频生成尤其有价值，如虚拟化身、数字娱乐和个性化视频内容创作。

2. 方法

• V-Express旨在生成受参考图像、音频和一系列V-Kps图像控制的“说话头”视频。

• 使用Latent Diffusion Model (LDM)生成视频帧，结合ReferenceNet、V-Kps Guider和Audio Projection高效处理各种控制输入。

• 通过逐步训练和条件性丢弃策略减轻强信号的主导作用，让弱条件（尤其是音频）有更明显的影响。

2.1 预备知识

• 利用变分自编码器（VAE）在潜在空间内执行扩散和逆扩散过程。

• 训练模型时，给定潜在z0和条件c，使用去噪损失进行训练。

2.2 模型架构

• V-Express的骨干是一个去噪U-Net，包含四个注意力层，包括自注意力层、参考注意力层、音频注意力层和运动注意力层。

• 引入三个关键模块：ReferenceNet、V-Kps Guider和Audio Projection。

2.3 逐步训练策略

• 训练分为三个阶段：单帧生成、多帧生成和全局微调。

2.4 训练技巧

• 为了加速唇部同步的收敛，对嘴部区域的去噪损失赋予更大的权重。

• 使用条件性丢弃来平衡不同控制强度的条件。

2.5 推理

• 给定音频和预定义的视频帧率，生成相应数量的帧。

3. 实验

• 使用HDTF、VFHQ等视频训练V-Express，总训练数据约300小时。

• 实验中与Wav2Lip和DiffusedHeads两种方法进行比较。

4. 结论

• V-Express通过逐步训练和条件性丢弃操作，有效平衡了不同强度的控制信号，生成了与音频输入同步的高质量人像视频。

未来工作

• 计划解决的不足包括多语言支持、减少计算负担和显式面部属性控制。