GECO 的核心特点在于其高效的两阶段生成流程，能够在不到一秒钟的时间内，通过前馈网络生成3D高斯数据，显著提升了3D内容创建的速度和效率。与传统的得分蒸馏方法和基于重建的方法相比，GECO在处理速度和质量上都取得了平衡。它首先通过单步多视图生成模型进行得分蒸馏，然后应用第二阶段蒸馏来解决多视图预测中的视图一致性问题。这种方法不仅优化了3D生成的质量，同时也保证了生成过程的高效率。

GECO 的生成过程主要分为两个阶段：

第一阶段：多视图得分蒸馏（Multi-view Score Distillation）：GECO使用变分得分蒸馏（VSD）技术来训练一个单步多视图生成模型。这个过程的目标是直接从预训练的多视图扩散模型中学习，生成与真实数据分布相匹配的多视图图像。具体来说，该阶段涉及以下步骤：

使用随机高斯噪声作为输入，通过可学习的参数化图像生成器产生多视图图像。

将生成的多视图图像与预训练的多视图扩散模型的输出进行比较，通过最小化KL散度来优化生成器的参数。

训练一个“学生模型”来估计学习到的3D模型的得分函数，这个得分函数将用于反向传播以学习3D分布。

第二阶段：3D一致性蒸馏（3D Consistent Distillation）：GECO通过一个称为3D一致性蒸馏的过程来解决多视图生成中的视图一致性问题，并从多视图图像中估计物体的3D表示。这个过程包括：

使用第一阶段训练出的多视图生成器和预训练的3D重建模型，联合微调以生成伪真实图像。

利用多步扩散模型和预训练的LGM模型生成3D高斯表示，即Splatter Images。

从随机视点渲染伪真实图像，创建一组用于训练的图像集合。

最终，通过最小化生成器输出的渲染图像与对应的伪真实图像之间的RGB损失和LPIPS损失来微调最终的生成器。

GECO 生成过程的特点：

GECO的整个生成过程是前馈的，这意味着一旦模型训练完成，生成新的3D模型就不需要迭代优化步骤，从而实现实时生成。

该方法利用了大规模预训练的2D图像扩散模型的丰富先验知识，通过多视图图像扩散阶段很好地处理了3D生成的不确定性问题。

通过联合学习多视图图像生成器和重建器，GECO进一步提高了3D生成的一致性和质量。

GECO通过这两个阶段的蒸馏过程，实现了从单张图片到3D模型的快速且高质量的生成，同时保持了对不确定性的有效处理。

论文解读

本文是一篇关于3D生成模型的研究论文，以下是内容要点：

摘要(Abstract)：

论文提出了GECO，一种新颖的3D生成方法，能在一秒钟内从随机噪声生成3D高斯数据。

现有技术如得分蒸馏方法虽然能产生显著结果，但需要大量的场景优化，影响时间效率。而基于重建的方法虽然效率高，但因处理不确定性能力有限而牺牲了质量。

GECO通过两阶段方法解决了这些问题，第一阶段训练单步多视图生成模型，第二阶段解决多视图预测中的视图一致性问题。

实验表明GECO以前所未有的效率实现了高质量的图像到3D生成。

引言(Introduction)：

3D数字资产在多个领域中扮演关键角色，但生成3D资产通常是劳动密集型的，且通常限于熟练专业人员。

论文研究了使用单个输入图像高效生产高质量3D资产的问题，旨在快速且忠实地再现图像中的原始对象。

方法(Method)：

GECO是一个新颖的图像到3D生成模型，它在给定单个物体图像和随机噪声的情况下，学习单步生成器以输出3D表示。

该模型使用两阶段蒸馏方法进行有效学习，首先基于变分得分蒸馏(VSD)学习高效的多视图生成器，然后使用3D一致性蒸馏算法微调完整模型。

实验(Experiments)：

实验在Objaverse数据集的LVIS子集上进行，包含大约46,000个对象。

实验包括实现细节、评估数据集和指标、基线比较、定性比较、定量比较、多样性展示以及文本到图像到3D生成的扩展。

实验结果显示GECO在主要指标上取得了优越的结果，并且能够从不同的随机种子生成多样化的3D高斯。

相关工作(Related Work)：

论文回顾了加速扩散模型、使用扩散模型进行3D生成以及基于得分蒸馏的高效3D生成方法的相关研究。

结论与未来工作(Conclusion and Future Work)：

GECO是一个为3D内容生成而设计的生成框架，通过使用中间表示和多视图图像生成及重建框架，很好地解决了3D生成的不确定性问题。

尽管GECO实现了高质量和高效率的3D生成，但仍存在一些限制，包括训练过程的两个阶段以及结果可能受到多视图扩散模型多步采样结果的限制。

未来的工作可以考虑学习一步3D生成模型，直接从3D表示生成，无论是从头开始训练还是从扩散模型中提取。

扫码查看每日AI播客[-]DeepSeek“越狱”提示词