近期，苹果机器学习科研人员Miguel Angel Bautista和团队研发了一种可以通过文字来合成3D场景的AI系统：GAUDI。据悉，GAUDI是一种生成式AI模型，其特点是是解决了对参数化3D辐射场的学习难题，苹果将其称为“可合成3D场景的神经架构师”。
尽管目前GAUDI生成的3D视频质量较低，并存在伪影，但这项技术为未来的可控生成AI系统和3D物体和场景渲染奠定了基础。
据青亭网了解，谷歌曾多次使用NeRF/神经渲染技术，来合成物体、人像和场景的3D模型。但目前，用生成式AI来合成不受限制的3D场景依然很难，原因可能是受到摄像头位置和映射范围的限制，在合成和渲染过程中需要考虑物体、墙壁之间的遮挡。
为了解决这些问题，GAUDI采用了三个特殊的网络系统，包括用摄像图位置解码器来预测捕捉角度，以输出正确的3D场景架构和位置。此外，还有可预测3D平面表示的解码器，配合辐射场解码器。
