由来自浙江大学、FABU、宁波港和腾讯数据平台的研究人员联合发布了一项创新的文本到视频（T2V）合成技术，它通过将传统的大规模视频数据训练和生成过程，转变为结合搜索和生成的方式，有效降低了成本。研究团队没有选择扩展模型训练规模，而是利用互联网上丰富的现有视频资源，将其作为运动先验数据库。这种方法不仅提高了视频合成的质量，而且通过在单个GPU上完成所有操作。

该方法在与现有最先进T2V模型的比较中表现出色，无论是在视觉质量、运动质量还是视频与文本的对齐方面，都获得了用户的高评价，这证明了该方法在生成与文本描述高度一致的视频方面的有效性。

这种方法不仅提高了视频合成的质量，同时也为视频合成的多样性和灵活性提供了可能，为文本到视频合成领域提供了一个有前景的新方向。

技术解读

该方法首先通过文本向量化提取输入提示的核心语义，然后在现有文本-视频数据集中搜索与输入提示运动特征最为相似的视频。这些视频随后被处理并提取运动先验，用于微调预训练的T2V模型，最终根据输入提示生成目标视频。

该方法的特点是其搜索算法的设计，它专注于从视频数据集中搜索与对象运动特征相关的视频。通过分析输入提示，算法能够提取动作（如动词）和对象（如名词）的语义特征，并与数据集中的文本进行匹配，选择与原始输入最为相似的运动信息。此外，该方法还包括关键帧提取和运动蒸馏技术，确保从检索到的视频中提取最能代表提示信息的视觉帧，并将这些帧作为先验信息嵌入到视频合成过程中。

该方法的处理和生成过程分为两个主要步骤：视频检索和调整合成。

视频检索：首先，针对给定的文本提示，系统进行文本向量化处理，将其抽象为语义向量。接着，系统执行匹配过程，利用提取出的向量在现有文本-视频数据集中寻找与输入提示运动语义最相似的文本-视频对。选择的文本-视频对中的相关视频将作为参考视频，用于后续的合成过程。

调整合成：

关键帧提取：从检索到的参考视频中提取最能代表提示信息的关键帧。这包括使用语义单元匹配来识别视频中与输入文本紧密相关的部分，并使用目标检测来确定目标对象出现的关键时间片段和图像区域。

运动蒸馏：采用时间注意力适应技术从关键帧中提取运动信息，并将其微调到预训练的T2V模型中。这个过程通过最小化对齐损失函数来优化模型参数，提升生成器捕捉和再现文本提示所需运动模式的能力。

视频合成：使用微调后的模型，根据输入文本提示执行文本到视频的合成，生成最终的视频输出。这个过程可以形式化为 𝑉 gen = 𝐺 𝜃 ∗ ( 𝑃 ) V gen =G θ ∗ (P)，其中 𝐺 𝜃 ∗ G θ ∗ 是微调后的生成器， 𝑃 P 是输入的文本提示， 𝑉 gen V gen 是生成的视频。

整个过程的创新之处在于，它不是简单地扩展模型训练规模，而是通过搜索和利用现有的真实视频资源作为运动先验，来增强合成视频的真实感和动态表现。

论文解读

本文提出了一种新的文本到视频（Text-to-Video, T2V）合成方法，其主要内容包括：

摘要：介绍了视频扩散模型在文本到视频合成领域取得的进展，以及现有模型在生成复杂动态时的局限性。提出了一种基于搜索的生成流程，使用现有视频作为运动先验数据库，以降低成本。

引言：讨论了扩散模型在视频合成中的作用，以及现有模型在生成真实世界运动动态时的问题。

相关工作：

3.1 讨论了文本到视频合成的早期工作和最新进展。

3.2 探讨了视频编辑领域的研究，包括无需训练的方法和基于关键帧的方法。

3.3 讨论了视频运动定制任务，包括基于参考视频调整预训练模型权重的研究。

预备知识：

4.1 介绍了去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM）。

4.2 描述了视频扩散模型，包括3D U-Net网络结构和训练过程。

方法论：提出了一个基于搜索的流程，包括视频检索和调整合成两个步骤。详细介绍了文本向量化、语义匹配、关键帧提取和运动蒸馏等技术。

实验：

6.1 描述了实现细节，包括使用的数据集和预训练模型。

6.2 提供了与现有方法的定性比较和用户研究结果，显示了所提方法在视觉质量、运动质量和文本-视频对齐方面的优越性。

6.3 进行了消融研究，分析了视频检索和运动提取算法对结果的影响。

结论：总结了所提出方法的优势，讨论了其在降低成本的同时实现高质量视频合成的潜力，并指出了未来工作的方向。

限制和未来工作：讨论了方法的一些局限性，如文本检索中的语义歧义、关键帧提取可能遗漏的更广泛动态以及VMC运动蒸馏方法无法学习抽象动作的问题。

此外，论文还包含了一些补充材料，如项目网页、消融分析的详细讨论、用户研究的详细信息，以及对社会影响和保障措施的讨论。

请扫码查看[ - ]DeepSeek“越狱”提示词