快系好安全带，你的平面汽车可以随时出发！

GANverse3D 由多伦多的 NVIDIA AI 研究实验室开发，作为 NVIDIA Omniverse 平台的扩展应用，它能将平面图像转换成逼真的 3D 模型，并将其可视化地呈现在虚拟空间中，供人们自由操控。

GANverse3D已为美国电视剧《霹雳游侠》 （Knight Rider） 中的 AI 汽车基特 （KITT) 注入新的灵魂。研究人员将汽车基特的平面图像输入到模型中，通过预测相应的 3D 纹理网格， GANverse3D 生成出了基特的 3D 模型，让其在虚拟空间中行驶，并配有逼真的前灯、尾灯和转向灯。

此外，NVIDIA Omniverse 套件和 NVIDIA PhysX 工具还可以将预测的纹理转成高质量材料，使基特具有更加真实的外观和“触感”。

（来源：NVIDIA）

通过 GANverse3D ，即使没有 3D 建模方面的知识，建筑师、创作者、游戏开发人员和设计师也能轻松地将平面设计转换成立体模型，并能最大程度削减渲染方面的预算。

“警察抓小偷”式的学习模式

GANverse3D 的基础原理是生成式对抗网络（GAN, Generative Adversarial Networks ）。

生成式对抗网络是一种新近的深度学习模型，最早由伊安·好伙伴教授（Ian Goodfellow）于 2014 年提出，一经提出，学界对 GAN 的研究如火如荼。

GAN的框架包括至少两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）。

好伙伴教授将其原理比作制假钞的伪造者 (Generator） 和警察 （Discriminator） 之间的博弈。伪造者不断更新技术制造以假乱真的钞票，警察则需用更先进的技术甄别假钞，两人在对抗中不断升级各自的技能。

因此，在 GAN 模型的训练过程中，生成网络 G（Generator，简称 G） 的任务就是要生成逼真的图像欺骗判别网络 D（Discriminator，简称 D），而 D 的目标是区分 G 生成的图像和真实图像。如此，G 和 D 便构成了一个动态“博弈过程”。最终，在理想情况下，G 能够生成以假乱真的图像成功混淆 D 的判断。

在原始理论中， G 和 D 只要是能够拟合相应模型的函数即可，并不要求二者都是神经网络。但实际开发中人们多使用深度神经网络作为 G 和 D 。一个优秀的 GAN 应用需要科学有效的训练方法，否则神经网络模型的自由性可能会导致输出不理想。

NVIDIA 利用生成式对抗网络形成训练数据集。这就像摄影师绕着一辆停泊的汽车，从不同的角度拍摄以获得多视角图像一样。这些多视角图像最终会被放入逆向图 （inverse graphics） 的渲染框架中，以此合成 3D 图像。

逆向图指是从 2D 图像推断 3D 网格模型的过程。以前的逆向图模型依赖于 3D 图形作为训练数据，NVIDIA 的 GANverse3D 则是根据真实图像进行训练。NVIDIA 研究员 Jun Gao 表示，以真实图像作为训练基础得到的AI模型，“能更好地推广到现实世界中。”

在没有 3D 要素的帮助下，“我们把 GAN 模型变成了一个非常高效的数据生成器，这样我们就可以基于网络上的任何 2D 图像创建出 3D 对象。”NVIDIA 研究员 Wenzheng Chen 说。

有关 GAN verse3D 研究成果将在 5 月份的 ICLR 会议和 6 月份的 CVPR 会议上发表。

为工程师搭建元宇宙 

英伟达 CEO 黄仁勋：“科幻小说中的元宇宙已经近了。”

众多科技公司都在从元宇宙 （Metaverse） 概念中汲取灵感，英伟达也不例外，趁热推出元宇宙的工程师版。

黄仁勋在 2021 GTC 大会上宣布，英伟达要推出 to B 端的实时协作仿真平台 Omniverse ——一个面向企业的虚拟工作平台。

英伟达早在去年 10 月推出 Omniverse 测试版，并在游戏、建筑等领域得到应用。宝马、爱立信、沃尔沃、Adobe 等超过超过 17,000 名客户体验了测试版。

黄仁勋在此前的采访中表示， Omniverse 能让游戏开发者轻松应对复杂的流水线工作，以此提升工作效率。在 Omniverse 平台上，动画、纹理、灯光、几何图形等常规游戏制作的流水线工程将能一举打通链接。每个人都能看到他人在做什么，并能做到“眼见为实”。

（来源：NVIDIA）

游戏、架构和设计领域的创作者们高度依赖于虚拟世界，在产品完成之前，他们需要测试和可视化其原型。但仅是渲染一辆汽车、一条街道就需要捕获成百上千的多视角图像，期间会产生大量成本。因此并非每位创作者资源和精力将其绘制的图像转成 3D 模型。

基于此， NVIDIA 开发 GANverse3D 应用，可以迅速追踪实时光线来创造一个真实的虚拟世界。

任何 2D 图像都可以在 Omniverse 中转换成可以自定义和制作动画的 3D 图形。

NVIDIA 深度学习工程师 Jean-Francois Lafleche 表示：“Omniverse 让研究人员能够将激动人心的前沿研究直接带给创作者和最终用户。作为 Omniverse 的扩展程序, GANverse3D 将帮助艺术家为游戏开发、城市规划甚至训练新的机器学习模型创建更丰富的虚拟世界。”

-End-