GET3D：从图像中学习的高质量 3D 纹理形状的生成模型

我们通过两个潜在代码生成 3D SDF 和纹理场。我们利用 DMTet 从 SDF 中提取 3D 表面网格，并查询表面点处的纹理字段以获取颜色。我们使用 2D 图像上定义的对抗性损失进行训练。特别是，我们使用基于光栅化的可微渲染器来获取 RGB 图像和轮廓。我们利用两个 2D 判别器（分别针对 RGB 图像和轮廓）来对输入的真假进行分类。整个模型是端到端可训练的。

GET3D 能够生成具有任意拓扑、高质量几何和纹理的多种形状。

抽象的

随着多个行业开始对大规模 3D 虚拟世界进行建模，对能够在 3D 内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中，我们的目标是训练高性能的 3D 生成模型来合成纹理网格，这些网格可以直接由 3D 渲染引擎使用，从而可以立即在下游应用程序中使用。先前的 3D 生成建模工作要么缺乏几何细节，要么受限于它们可以生成的网格拓扑，通常不支持纹理，要么在合成过程中利用神经渲染器，这使得它们在常见 3D 软件中的使用变得非常重要。在这项工作中，我们介绍了 GET3D，一种生成模型，可以直接生成具有复杂拓扑、丰富几何细节的显式纹理 3D 网格，和高保真纹理。我们将最近在可微表面建模、可微渲染以及 2D 生成对抗网络方面取得的成功结合起来，从 2D 图像集合中训练我们的模型。 GET3D 能够生成高质量的 3D 纹理网格，范围从汽车、椅子、动物、摩托车、人物到建筑物，比以前的方法取得了显着改进。

生成的 3D 资源

无条件 3D 生成的定性结果。我们强调生成的带有纹理的 3D 网格的多样性和质量，包括： 1. 椅腿上的轮子； 2. 车轮、汽车的所有灯光和窗户； 3、动物的老鼠、耳朵、角； 4.后视镜，摩托车轮胎上的线框，5.高跟鞋，人类的衣服

几何与纹理之间的解开

在每一行中，我们显示从相同的几何潜在代码生成的形状，同时更改纹理潜在代码。在每一列中，我们显示从相同纹理潜在代码生成的形状，同时更改几何代码。我们的模型在几何和纹理之间实现了良好的分离。

在每一行中，我们显示从相同纹理潜在代码生成的形状，同时从左到右插入几何潜在代码。在每一列中，我们显示从相同的几何潜在代码生成的形状，同时从上到下插值纹理代码。这个结果证明了对它们每个人的有意义的插值。

等等。