VideoTetris 通过引入空间-时间组合扩散技术，能够在视频生成过程中精确地遵循复杂的文本语义。这一技术通过操作去噪网络的注意力图，实现了在空间和时间上的组合，从而生成忠实于复杂或逐步变化指令的视频。VideoTetris 的核心是其增强的视频数据预处理流程，这一流程通过增强运动动态和提示理解来提升长视频生成模型的能力。此外，为了保持视频内容的一致性，VideoTetris还提出了一种新的参考帧注意力机制。这种机制能够在保持内容连贯性的同时，接受任意图像输入，并确保不同帧和位置中多个对象的一致性。

VideoTetris 的文本到视频的转换过程主要步骤如下：

空间-时间组合扩散（Spatio-Temporal Compositional Diffusion）：

这个过程的首要任务是将输入的文本提示在时间和空间上进行分解。文本提示被分解成不同的帧内容，每个帧再进一步分解为多个子对象及其相应的区域掩码。

对于每一帧中的每个子对象，VideoTetris计算其交叉注意力值，这是通过将文本编码器的输出与潜在帧特征的查询（Q）、键（K）和值（V）进行交互来实现的。

使用大型语言模型（LLM-based Automatic Spatio-Temporal Decomposer，可选步骤）：

为了自动化上述的时空分解过程，VideoTetris可以利用大型语言模型（LLMs）来生成基于文本提示的帧特定提示和区域掩码。这些模型利用上下文学习（In-Context Learning, ICL）和思维链（Chain-of-Thought, CoT）推理来提高分解的质量和自然性。

子对象的空间-时间组合：

在计算出所有子对象的交叉注意力值后，VideoTetris将这些值在空间上合并，并通过加权求和的方式与原始组合提示的交叉注意力值结合，以确保不同区域之间的一致性和背景与实体之间的无缝集成。

增强视频数据预处理（Enhanced Video Data Preprocessing）：

为了提高长视频生成的质量和一致性，VideoTetris通过过滤和重新描述视频数据来增强训练数据集。这包括选择具有一致运动动态的视频，并通过多模态LLMs进行重新描述，以确保视频与复杂的组合提示更好地对齐。

参考帧注意力（Reference Frame Attention）：

为了保持视频中对象特征的一致性，VideoTetris引入了参考帧注意力机制。该机制通过在每个注意力块中计算当前对象与参考对象之间的交叉注意力来补充现有的注意力块，确保在不同帧中同一对象的特征保持一致。

生成过程：

在所有上述步骤完成后，VideoTetris将这些处理后的信息输入到视频生成模型中，生成与文本提示相符的视频。这个过程可以是直接应用于现有的文本到视频模型，也可以是用于长视频生成的自回归模型。

整个过程的关键在于如何精确地处理和组合文本中的语义信息，以及如何在视频帧中保持对象的一致性和动态变化。VideoTetris通过这些步骤实现了高质量的视频生成，这些视频不仅在视觉上吸引人，而且在叙事上与输入的文本紧密相连。

论文解读

本文介绍了一个名为VideoTetris的新型框架，旨在实现组合式的文本到视频（T2V）生成。

以下是论文内容要点：

摘要(Abstract)：

提出了VideoTetris框架，它是一个新颖的基于扩散模型的文本到视频生成方法，特别针对复杂场景和长视频生成。

通过空间-时间组合扩散技术，精确处理复杂的文本语义，并通过增强的视频数据预处理和参考帧注意力机制提高视频生成的连贯性。

1. 引言(Introduction)：

现有扩散模型在文本到视频生成方面取得了显著进展，但在处理组合性提示和长视频生成时仍面临挑战。

2. 相关工作(Related Work)：

概述了文本到视频扩散模型、长视频生成和组合视频生成的相关研究进展。

3. 方法(Method)：

3.1 空间-时间组合扩散(Spatio-Temporal Compositional Diffusion)：提出了一种无需训练的方法，通过直接调整去噪网络的交叉注意力值来实现自然组合生成。

3.2 增强视频数据预处理(Enhanced Video Data Preprocessing)：通过过滤和重新描述视频数据，增强模型对复杂语义的理解和生成动态场景的能力。

3.3 参考帧注意力(Consistency Regularization with Reference Frame Attention)：提出一种新的一致性正则化方法，通过参考帧注意力模块保持视频内容的一致性。

4. 实验(Experiments)：

4.1 实验设置(Experimental Setups)：介绍了实验的两个场景和所用的数据集。

4.2 评估指标(Metrics)：使用了扩展的T2I-CompBench来评估组合视频生成。

4.3 组合提示下的视频生成结果(Video Generation with Compositional Prompts)：VideoTetris在定性和定量结果上均优于现有模型。

4.4 长视频生成结果(Long Video Generation for Progressive Compositional Prompts)：VideoTetris在长视频生成方面展现出更好的性能和一致性。

4.5 消融研究(Ablation Study)：研究了增强视频数据预处理和参考帧注意力对模型性能的影响。

5. 结论和讨论(Conclusion and Discussion)：

总结了VideoTetris框架的贡献，并讨论了其局限性和未来工作方向。

强调了技术可能带来的社会影响，明确表示不支持恶意使用。

扫码查看每日AI播客[-]DeepSeek“越狱”提示词