Slicedit 是一种创新的零样本文本到视频编辑方法，它突破了传统视频编辑技术的限制，允许用户仅通过文本提示来实现视频内容的自动编辑。Slicedit 利用了预训练的文本到图像扩散模型，通过观察到自然视频中的时空切片与自然图像具有相似特性，将这些模型应用于视频的时空切片上，从而增强了视频编辑中的时间一致性。

Slicedit 的核心优势在于它能够在保留原始视频结构和运动的同时，根据文本描述对视频进行精确编辑，例如将视频中的人物替换为机器人，同时保持背景和其他区域不变。通过广泛的实验验证，Slicedit 在真实世界视频的编辑任务中表现出色，与现有方法相比具有明显的优势。

Slicedit 的应用潜力巨大，它不仅可以用于娱乐和创意产业中的视频内容创作，还可以在教育、新闻制作和电影后期制作等领域发挥重要作用。然而，作者也指出了Slicedit的局限性，特别是在处理需要全局编辑的任务时，如将自然视频帧转换为绘画风格。此外，Slicedit主要适用于结构保持的编辑任务，对于创建完全脱离原始视频结构和内容的全新视频，该方法可能面临挑战。

技术解读

Slicedit 的特点在于其独特的处理方式和对现有技术的显著改进。它采用了扩展注意力机制，通过在多个帧之间建立联系，提升了视频帧之间的连贯性。此外，Slicedit通过在视频的时空切片上应用预训练的T2I去噪器，实现了对视频内容的有效编辑，而无需对模型进行额外的微调。这种方法不仅提高了编辑的准确性和效率，还确保了编辑过程中对原始视频内容的最大程度保留。

Slicedit 的生成过程结合了文本到图像扩散模型与视频编辑方法，整个过程分为以下几个步骤：

视频去噪模型的扩展：首先，Slicedit将预训练的文本到图像（T2I）扩散模型扩展为适用于视频编辑的模型。这包括将模型中的自注意力模块转换为扩展注意力模块，使其能够处理多帧视频数据，从而在帧与帧之间建立联系。

DDPM反演：使用扩展后的去噪模型进行DDPM（Denoising Diffusion Probabilistic Models）反演。这一步骤从输入视频I0开始，通过逐步添加噪声并逆向去噪，提取出每个扩散时间步的噪声体积和注意力图。在这个过程中，去噪器根据源文本提示psrc进行条件化，以保留原始视频的结构和内容。

时空切片处理：Slicedit的一个创新之处在于它对视频的时空切片进行处理。具体来说，它将视频视为一个(x, y, t)的时空体积，并从中提取x-t或y-t切片。这些切片与自然图像具有相似性，因此可以使用相同的预训练T2I去噪器对它们进行去噪，增强视频的时间一致性。

结合多轴去噪结果：将扩展注意力去噪器处理得到的帧与时空切片去噪器处理得到的切片结果结合起来，形成最终的预测噪声体积。这一结合通过加权平均的方式完成，其中平衡参数γ用于调整两种去噪结果的贡献度。

DDPM采样与视频生成：在得到预测的噪声体积后，Slicedit使用DDPM采样方法重新生成视频。这一步骤中，去噪器根据目标文本提示ptar进行条件化，生成与文本描述相符的视频内容。同时，将原始视频中提取的扩展注意力图注入到生成过程中，以保持原始视频的结构和运动。

结果输出：最终，Slicedit生成一个既符合目标文本描述，又保留了原始视频结构和运动的新视频。这个视频在未指定的区域保持不变，而在指定的区域根据文本提示进行了编辑。

整个过程是零样本的，意味着不需要对模型进行额外的训练或微调，就能够直接应用于视频编辑任务。这种方法在处理复杂运动、遮挡以及长视频时表现出了优越的性能和效率。

论文解读

本文介绍了一种名为"Slicedit"的零样本文本到视频编辑方法，该方法利用预训练的文本到图像扩散模型处理视频编辑任务。

以下是论文内容要点：

引言：介绍了文本到图像（T2I）扩散模型在高质量图像合成方面的显著能力，以及将这些模型应用于视频编辑的挑战，尤其是在处理长视频和复杂非刚性运动时。

Slicedit方法：提出了一种新颖的视频编辑方法，通过观察到自然视频中的时空切片与自然图像具有相似特征，利用预训练的T2I模型作为视频编辑的强先验。

相关工作：讨论了现有方法在视频编辑中如何利用T2I模型，包括对模型架构的修改和零样本编辑方法。

预备知识：简要介绍了去噪扩散概率模型（DDPMs），这是一种通过逐步去噪过程来近似数据分布的生成模型。

方法详解：

扩展注意力：将原始的自注意力模块转换为扩展注意力模块，以处理多帧视频并保持帧间的动态关系。

时空切片：利用预训练的T2I去噪器处理视频的时空切片，以增强时间一致性。

视频编辑：通过DDPM反演方法提取输入视频的噪声体积，然后使用用户提供的文本提示重新生成视频。

实验：

实现细节：描述了如何使用Stable Diffusion v2.12模型的官方权重，并处理不同长度的视频。

比较：将Slicedit与现有的视频编辑方法进行比较，包括Pix2Video、Rerender A Video、TokenFlow和ControlVideo等。

定性评估：展示了Slicedit在复杂视频编辑任务中的结果，包括相机运动和复杂非刚性物体运动。

定量评估：使用编辑保真度、结构保持和时间一致性等指标对Slicedit进行评估，并与竞争方法进行比较。

用户研究：通过用户研究评估Slicedit在保持原始视频本质方面的性能。

消融研究：分析了Slicedit中各个组件的重要性，包括时空切片去噪、扩展注意力注入、DDPM反演与DDIM反演的比较，以及整体体积反演与逐帧反演的比较。

结论：总结了Slicedit的优势，包括在不改变视频结构的情况下成功编辑视频的能力，并指出了该方法在全局编辑任务中的局限性。

社会影响：讨论了该方法可能被用于创建虚假或有害内容的风险，并强调了开发用于检测使用生成AI方法编辑的视频的工具的重要性。

致谢：感谢支持该研究的机构和基金会。

附录：提供了额外的结果、视觉比较、比较方法的详细信息、运行时间、度量比较、用户研究界面截图、消融研究的详细结果和超参数的讨论。

算法伪代码：为使用Slicedit进行视频编辑提供了算法伪代码，包括DDPM反演和编辑过程。

Meta的新AI模型基准测试有点误导性 Reddit联手Google Gemini升级AI搜索工具，用户体验大提升！