Real3D 是由德克萨斯大学奥斯汀分校的研究团队开发的一种创新的大型重建模型（LRM），它能够利用单视图真实世界图像进行训练。这一系统突破了以往依赖合成3D资产或多视图捕获数据的训练方法的限制，通过自训练框架有效地结合了现有的合成数据和真实世界的图像。Real3D在多个不同的评估设置中表现出色，无论是在真实数据还是合成数据上，无论是领域内还是领域外的形状，都实现了一致的性能提升。这证明了Real3D在3D重建任务中的通用性和有效性。

Real3D 的优势是其可扩展性。研究表明，随着用于自训练的真实图像数量的增加，模型的性能也随之提高，这展示了Real3D在进一步扩展数据集时的巨大潜力。此外，Real3D在训练过程中不依赖于输入图像的内在属性，这一特点使得模型在处理野外图像时更为灵活。这项技术为3D重建领域带来了新的可能性，尤其是在增强现实（AR）、虚拟现实（VR）和人工智能生成内容（AIGC）等应用领域。

技术解读

Real3D 的核心技术包括两个无监督损失函数，它们在训练过程中能够在像素级和语义级上提供指导，即便在缺乏真实3D数据或新视图的情况下也能有效工作。Real3D 的特点是其自动数据筛选方法，该方法能够从大量野外图像中自动识别并筛选出高质量的、未被遮挡的实例，从而提高模型训练的效果。

Real3D 的训练和生成过程主要步骤如下：

初始化模型：Real3D首先在合成数据集上初始化一个大型重建模型（LRM）。这提供了模型对3D形状和纹理先验的基础知识。

收集真实世界图像：接着，系统从野外图像中收集真实世界的对象实例。这些图像更容易收集和扩展，并且能够更好地捕捉真实世界中物体形状的分布。

自训练框架：Real3D采用自训练框架，在合成数据上进行全监督训练，并在真实数据上进行无监督自训练。全监督训练使用来自地面真实新视图的监督来稳定训练过程，而无监督自训练则引入了新的信息，提高了重建质量和泛化能力。

无监督损失：Real3D提出了两种无监督损失来指导模型训练。第一种是像素级的循环一致性渲染损失（cycle-consistency rendering loss），它利用了停止梯度（stop-gradient）来避免模型退化到平凡的重建解。第二种是语义级的损失，使用CLIP模型计算输入图像和重建新视图之间的语义相似度。

数据筛选策略：为了提高训练效果，Real3D开发了自动化的数据筛选方法，选择未被遮挡的高质量实例进行训练。这涉及到实例分割和单视图深度估计的协同工作，以检测和筛选出未被遮挡的实例。

训练过程：Real3D在合成数据和筛选出的真实数据上进行联合训练。这个过程包括从简单到困难的逐步学习（课程学习），调整学习目标的复杂性，以及通过变化的相机姿态采样来管理训练难度。

生成3D重建：最终，给定一个单视图输入图像，Real3D能够输出该图像的3D表示，并且能够渲染出新的视图。这个3D表示可以用于多种应用，如增强现实、虚拟现实和3D打印等。

Real3D 的整个处理流程是一个结合了监督学习和无监督学习的过程，它通过自训练和数据筛选策略，有效地提高了模型在真实世界图像上的性能和泛化能力。

论文解读

本文是一篇关于3D重建模型的研究论文。以下是论文内容要点：

摘要(Abstract)：

论文提出了Real3D，这是首个能够使用单视图真实世界图像进行训练的大型重建模型(LRM)系统。

Real3D引入了新颖的自训练框架，利用现有的合成数据和多样的单视图真实图像。

作者提出了两种无监督损失，使得即使在没有真实3D或新视图的地面真实训练样本情况下，也能在像素级和语义级上对LRMs进行监督。

通过自动数据筛选方法从野外图像中收集高质量的样本，以提高性能并扩展图像数据。

实验结果显示，Real3D在包括真实和合成数据以及领域内和领域外形状的四种不同评估设置中，一致性地超越了以往的工作。

1. 引言(Introduction)：

论文讨论了大型基础模型通过扩展模型参数和训练数据所展现的新兴属性，这些属性已经彻底改变了自然语言处理和2D计算机视觉领域。

作者指出，对于单视图3D重建，过度依赖多视图监督限制了训练数据的扩展，而真实世界图像的收集和可用性提供了一种解决方案。

2. 相关工作(Related Work)：

论文回顾了单视图3D重建的相关研究，包括3D表示的开发、大型重建模型的设计原则，以及从真实图像中进行无监督3D学习的方法。

3. 预备知识(Preliminaries)：

论文介绍了大型重建模型(LRM)的基本概念，包括输入图像、输出的3D表示、体积渲染过程，以及在合成多视图图像上训练LRM的方法。

4. Real3D：

作者提出了一个新的框架，使用真实世界单视图图像训练LRMs。

4.1 自训练(Self-Training)：开发了新颖的无监督像素级和语义级指导，用于在没有真实新视图的单视图图像上训练模型。
4.2 自动数据筛选(Automatic Data Curation)：开发了自动化方法筛选高质量的形状实例，特别是未被遮挡的实例。

5. 实验(Experiments)：

论文介绍了在不同数据集上的评估结果，包括控制和非控制环境中的真实图像，以及与先前工作的比较。

6. 结论(Conclusion)：

Real3D作为首个能够利用单视图真实图像进行训练的大型重建系统，展示了使用大规模图像集合训练大型重建模型的潜力。

论文讨论了Real3D的局限性和更广泛的影响，指出了未来可能的改进方向。

附录(Appendices)：

提供了关于训练细节、数据筛选细节、更多结果和消融研究的额外信息。

整体来看，这篇论文的主要贡献是提出了Real3D系统，它能够通过自训练框架和无监督损失在没有多视图真实数据监督的情况下提高3D重建的性能，并通过自动数据筛选方法提高了训练数据的质量。

Meta的新AI模型基准测试有点误导性 Reddit联手Google Gemini升级AI搜索工具，用户体验大提升！