Zero123-单视图输入生成 3D

Zero123简介

Zero123是一项革命性的技术，它致力于从单一图像出发，生成与其在3D空间中保持一致的多个视图。这项技术让一个静态的2D快照能够扩展至更为丰富的三维视角体验。近期，我们推出了Zero123的稳定版，它有力地提升了视图相关图像生成的质量并且有显著的进步与提升。

这一跃升得益于三项关键性的创新：

1. 训练数据集的改进： 我们在Objaverse数据库中进行精选，仅保留了高品质的3D对象数据，并以更现实的方式进行渲染。

2. 摄像机角度的估计引导： 在模型的训练与推理过程中，估算摄像机视角被用来引导模型，从而保证生成的内容具有更高的质量和准确性。

3. 数据集与数据加载器性能提升： 预先计算的数据集和改进的数据加载器，允许处理更大的批量尺寸。结合第一点的数据集改进，使训练效率相比Zero123-XL提升达40倍。

Zero123的特性：

– 生成新颖视图的能力：Zero123能从不同角度渲染出3D对象的外观，显示出从各个角度对物体外观的深刻理解。

– 基于Stable Diffusion 1.5：这一模型基于Stable Diffusion 1.5构建，意味着生成一个新视图需要与SD1.5相同的VRAM资源。

– 三维对象生成：使用Zero123在3D对象生成上，因其复杂度，建议使用至少有24GB VRAM的环境。

研究与实用性：

– 开放性：我们改进了Threestudio的开源代码，以支援Zero123及其稳定版的研究。

– 技术发展：技术上，我们采用分数蒸馏采样(SDS)，利用稳定的Zero123优化NeRF，从而生成具有纹理的三维模型。

– 使用案例：该技术可适用于“文本到3D”的生成过程，先通过SDXL创建单一图像，再利用Zero123生成3D对象。

资源链接：

– 项目链接： https://github.com/cvlab-columbia/zero123
– 试用平台： https://huggingface.co/spaces/cvlab/zero123-live
– 研究论文： https://arxiv.org/abs/2303.11328