NVIDIA 的 Instant NeRF 技术可在几秒钟内将 2D 照片转换为 3D 场景
英伟达开发了一种新的逆向渲染方法来训练人工智能算法，并在几秒钟内从不同角度拍摄的 2D 照片开发 3D 场景。这种方法融合了神经网络训练和快速渲染，是同类中最早这样做的模型之一。
该公司将这种方法应用于称为神经辐射场 (NeRF) 的相对较新的技术，并生产了“迄今为止最快的 NeRF 技术”Instant NeRF，在某些情况下能够实现超过 1,000 倍的加速。该模型需要几秒钟的时间来训练几十张静态照片以及有关相机角度的元数据，然后可以在“几十毫秒”内渲染生成的 3D 场景。
NVIDIA图形研究副总裁, 大卫 Luebke 说：
如果说像多边形网格这样的传统 3D 表示类似于矢量图像，那么 NeRF 就像位图图像：它们密集地捕捉光从物体或场景中辐射的方式。从这个意义上说，Instant NeRF 对 3D 的重要性可能不亚于数码相机和 JPEG 压缩对 2D 摄影的重要性——极大地提高了 3D 捕获和共享的速度、易用性和范围。
该公司表示，Instant NeRF 可用于开发虚拟世界中的化身或场景，以 3D 形式呈现视频会议参与者及其环境，或为 3D 数字地图重建场景。
通过 Instant NeRF，NVIDIA能够重现安迪沃霍尔拍摄即时照片的照片，将其转换为 3D 场景，以向早期的宝丽来图像致敬。
谈到新技术，该公司提到：
虽然基于局部视图估计物体的深度和外观对于人类来说是一项自然技能，但对于人工智能来说却是一项艰巨的任务。
使用传统方法创建 3D 场景需要数小时或更长时间，具体取决于可视化的复杂性和分辨率。将人工智能带入画面可以加快速度。早期的 NeRF 模型可以在几分钟内渲染出没有伪影的清晰场景，但仍需要数小时来训练。
然而，Instant NeRF 将渲染时间缩短了几个数量级。它依赖于NVIDIA开发的技术称为多分辨率哈希网格编码，经过优化可在NVIDIA上高效运行GPU。使用一种新的输入编码方法，研究人员可以使用快速运行的微型神经网络获得高质量的结果。
该模型是利用NVIDIA CUDA 工具包和Tiny CUDA 神经网络库制作的。作为一个轻量级的神经网络，它可以在单个NVIDIA上进行训练和运行GPU，在张量核心上具有改进的性能。