Stability AI 和 Tripo AI 昨晚联合发布了一款名为 TripoSR 的3D 生成模型。这款模型能够在不到1秒的时间内生成高质量的3D 模型,这一创新技术的推出无疑将为3D 建模领域带来革命性的变革。
TripoSR 的推理过程只需要极低的算力,甚至都不需要 GPU,这极大的降低了生产成本。此外,该模型的权重允许商业化使用,这对于许多企业来说无疑是一个好消息。
地址:https://stability.ai/news/triposr-3d-generation
在性能方面,TripoSR 可以在其他模型所需时间的一小部分时间内创建详细的3D 模型。在 Nvidia A100上进行测试时,它可以在大约0.5秒内生成初步质量的3D 输出(纹理网格),其表现优于其他开放的图像到3D 模型,如 OpenLRM。
在技术细节方面,TripoSR 的训练数据准备包括多种数据渲染技术,这使得模型更贴近真实世界中图像的分布,显著提高了模型的泛化能力。此外,他们还精心策划了一个 CC-BY,即 Objaverse 数据集的高质量子集,用于训练数据。在模型方面,还对基础 LRM 模型进行了多项技术改进,包括通道数优化、蒙版监督和更高效的裁剪渲染策略。
总的来说,Stability AI 和 Tripo AI 的这次合作,推出的 TripoSR3D 生成模型,不仅在技术上取得了突破,也为3D 建模领域带来了新的可能性。