TIE框架的这些特点使其在图像编辑任务中表现出色，特别是在理解和执行复杂文本提示方面。TIE框架的另一个显著优势是其对操作成本的优化。通过使用小型语言模型执行CoT过程，TIE在保持强大推理能力的同时，显著降低了资源消耗。这种方法不仅提高了效率，还为图像合成研究提供了新的视角和工具，推动了该领域的进一步发展。

技术解读

TIE 框架首先通过精心设计的CoT过程，包括指令分解、区域定位和详细描述，确保对复杂文本提示的深入理解。然后，利用这一理解来微调轻量级的多模态LLM——LISA模型，使其能够生成与编辑指令和图像掩模相匹配的高质量图像。这一过程不仅提高了对指令的理解，还保证了生成图像与原始图像在风格和内容上的一致性。

TIE 的指令处理和图像生成过程如下：

指令分解（Instruction Decomposition）：TIE首先将复杂的文本编辑指令分解为多个简单的子指令。这一步骤通过多模态大型语言模型（MLLM）来实现，模型将复杂的提示拆解为易于理解和操作的基本单元，例如将“在桌子上放置一瓶啤酒、一个花瓶和一杯苏打水”这样的复杂指令，分解为放置啤酒、选择一个花瓶和放置苏打水等简单任务。

区域定位（Region Localization）：接下来，TIE使用MLLM来识别输入图像中与每个子指令相对应的特定区域。这一阶段，模型会对图像进行分析，确定需要编辑的具体位置，例如确定桌子的空位以放置苏打水杯，或者识别图像中已有的花瓶位置以进行数量上的调整。

详细描述（Detailed Description）：在确定了需要编辑的区域后，TIE进一步提供这些区域的详细描述，包括它们在图像中的位置、颜色、形状等特征。此外，模型还会根据掩模区域和周围图像内容，想象编辑后的内容，并生成与之语义对齐的填充提示。

生成输出（Generating Output）：最后，TIE将输入图像、生成的掩模和文本提示一起输入到一个高级的图像填充模型（如Kandinsky-2.2-decoder-inpaint）中，以生成最终的高保真度图像。这个填充过程是TIE的核心，它综合了前面步骤中的推理结果和掩模，确保生成的图像不仅遵循了复杂的文本提示，而且在风格和内容上与原始图像保持一致。

整个过程的关键在于CoT（Chain-of-Thought）推理过程，它使得TIE能够深入理解复杂的文本提示，并精确地定位和编辑图像中的特定区域。通过这种方式，TIE能够生成与用户意图高度一致的图像，同时保持了图像的高质量和原始特征。

论文解读

本文提出了一个名为TIE（Text-based Image Editing）的创新图像编辑框架。

论文要点概括如下：

摘要：介绍了TIE框架，它使用多模态大型语言模型（MLLM）的Chain-of-Thought（CoT）推理和局部化能力，辅助扩散模型生成更精细的图像，以解决传统模型在复杂提示理解和图像一致性保持方面的限制。

1. 引言：讨论了生成模型在人工智能领域的重要性，特别是文本引导的图像模型的能力，同时指出了现有模型在处理复杂指令和生成高保真度图像方面的不足。

2. 相关工作：回顾了文本引导的图像生成（T2I）和多模态大型语言模型（MLLM）基于理解和生成的研究进展。

3. 方法：

3.1 Chain-of-Thought Pipeline：介绍了CoT过程，包括指令分解、区域定位和详细描述三个阶段。

3.2 Chain-of-Thought Fine-tuing：讨论了使用GPT-4V生成CoT响应，并用这些响应来微调LISA模型的方法。

4. 实验：

4.1 数据集：使用了MagicBrush数据集构建新的管道数据集。

4.2 实施细节：遵循LISA模型的原始训练配置，并对LISA-13B模型进行了微调。

5. 结果：通过与现有最先进模型的比较，展示了TIE模型在复杂提示理解和高保真度图像生成方面的优越性能。

6. 消融研究：分析了CoT过程和微调的有效性，证明了这些方法在提高图像编辑质量方面的重要性。

7. 讨论：讨论了数据集的局限性和修复能力，以及模型的潜在改进方向。

8. 结论：总结了TIE框架的主要贡献，强调了其在处理复杂文本提示和生成高保真度图像方面的优势。

附录/补充材料：提供了用于指令分解、区域定位和详细描述的GPT-4V提示模板，以及用于LISA-13B的上下文学习提示模板。

Meta的新AI模型基准测试有点误导性 Reddit联手Google Gemini升级AI搜索工具，用户体验大提升！