如果只是作为驾驶模拟器（qì），可能很平庸，但（dàn）对电子游戏画面来说（shuō），这可（kě）能是一场伟大的革命（mìng） 。

图|真（zhēn）实视频(左)和AI生成（chéng）的渲染视频(右)之间的（de）对比。(图源：英伟达（dá）)

最近人（rén）工智能的繁荣给图像和视频生成领域带来了一系列令人印象深刻（kè）的（de）成果（guǒ）。最新成果来自芯片制造商英伟达（dá），该公司12月3日发布了（le）一份研（yán）究（jiū）报告，展示了AI生成的（de）画面如何（hé）与传统的视频游（yóu）戏引擎相结合。这种混合图形系统（tǒng）有（yǒu）望应用（yòng）到视频游戏，电影（yǐng）和虚拟现实（shí）等方（fāng）面。

“这（zhè）是使（shǐ）用深度学习渲染（rǎn）视（shì）频内容的一种新方（fāng）式，”英伟达应（yīng）用深度学习副（fù）总裁Bryan Catanzaro表示。“显然，英伟达非常关（guān）心图形生成，并且我们正在思考如何利用（yòng）人工智能彻底改变这（zhè）一领域。”

英（yīng）伟达的生成的（de）图片并没（méi）有达到真实照片级的（de）画面，他们展示（shì）了在 AI 生成的图（tú）像中发现的（de）一些水印状的模糊。并且这一工作也不是完全创（chuàng）新的。在一篇（piān）研究（jiū）论文（wén）中，该公司的工程师解释了他们如何基于一些现有（yǒu）方法（fǎ），包括一个有影响力的开源（yuán）系统pix2pix。此外英伟达的（de）工作中还应用（yòng）到了生成对抗网络(GAN)。这（zhè）些（xiē）方法已经（jīng）广泛用于AI图（tú）像生成。

但是英伟达还（hái）是在新产品中引（yǐn）入很多创新，这是世界上首个利（lì）用AI生成图形（xíng）画面的视频游戏演示。这（zhè）个（gè）产品是（shì）一（yī）个简单的驾（jià）驶模（mó）拟（nǐ）器，玩（wán）家可以在AI生成的几个城市街区中穿行，但（dàn）不能离开他们的汽（qì）车，也不（bú）能以（yǐ）其他（tā）方式（shì）与世界互动。并（bìng）且这一演示仅使（shǐ）用一个GPU即可实（shí）现 ，对于这样的前沿工作来说，这是一个显著（zhe）的成就（jiù）。

英伟达的系统（tǒng）利用如下几个步（bù）骤生成图形（xíng）画面（miàn）：首先，研（yán）究人员（yuán）必（bì）须收集训练数据，一般这些数据来（lái）自于自动驾驶（shǐ）研究的开源数（shù）据集。然后（hòu）将这些视频数（shù）据中的每（měi）一个镜（jìng）头做分割（gē），即每（měi）一（yī）帧画（huà）面被分成不同（tóng）类别的区域：如天空（kōng），汽车（chē），树木，道路，建筑物（wù）等。然后，用这（zhè）些分割的数据训练生成（chéng）对抗网络，用来（lái）生成这些对象的新画面 。

接下来，工程师们使用传统（tǒng）的游（yóu）戏（xì）引擎创建了（le）虚拟（nǐ）环境的基（jī）本拓扑结（jié）构（gòu）。在该游戏演示中（zhōng），使用的系统（tǒng）是虚（xū）幻引擎 4，这是一种流行的引擎，被用于诸如堡垒之（zhī）夜，绝地求生，战争机器4等（děng）多（duō）种游（yóu）戏中（zhōng）。工程师们使用此引擎作为框架（jià），然后利用深度学习算法实（shí）时生成每（měi）个（gè）类（lèi）别的图形画面，并将它们显示到游戏引（yǐn）擎（qíng）的模型上 。

“被创（chuàng）造的世界（jiè）的结构还（hái）是用传统方法（fǎ）制作（zuò）的（de），”Catanzaro解释说，“人工智（zhì）能产生的唯一东西就（jiù）是图形画面。”他补充说（shuō），演（yǎn）示本身（shēn）很基础，主要由一名工程师负责完成。“这（zhè）主要（yào）是用（yòng）来（lái）做概念验证游戏，而不是开发了一（yī）个真（zhēn）正的（de）游戏 。”

图（tú）|不同AI模型生成的画面对比。左（zuǒ）上是经语义（yì）分割的（de）图像;右上（shàng）是（shì）pix2pixHD生成的画面（miàn）;左下是（shì） COVST 生成的画面（miàn）;右下（xià）是本文英伟达（dá）的系统生（shēng）成的（de）画面。(图源：英伟达)

为了（le）创建这个系统，英伟达的工（gōng）程师克服了许多挑战，其中最大的挑战是对象持久性(object permanence)。也就是说，如果深度学习算法以每秒（miǎo） 25 帧的速率（lǜ）为这一虚拟世界生成（chéng）图形，它们如何保持每（měi）一区域（yù）的对（duì）象（xiàng）看起来大（dà）致相同？Catanzaro这个问题（tí）曾导致这个系统的（de）初始结果“看起来很痛苦”，因为（wéi）图形的（de）颜（yán）色和纹理 “每帧都（dōu）会（huì）改变 ”。

而解（jiě）决的方案就是给系（xì）统一个（gè）短（duǎn）期记忆，让系统生成的（de）每（měi）个新帧的时候与（yǔ）之前（qián）的帧进行比（bǐ）较 。试图去预（yù）测这些图像之间运动的东西，并产生与屏幕上的内容一致的新（xīn）郑（zhèng）但是这些计算都很昂贵（guì），因此（cǐ）游戏只能以每秒（miǎo）25帧的速度（dù）运（yùn）行。

Catanzaro强调，这（zhè）项技术还处于早（zǎo）期阶段，想要让（ràng）人工智能生成的画面出现在消费者游戏中可能还（hái）需要几十年的时间。他将这种情况与光线追踪的发展进行（háng）了比较，光线跟踪（zōng）是当前（qián）图（tú）形渲（xuàn）染中的热门（mén）技术，它可以实时生成单独的光线，在虚拟（nǐ）环境（jìng）中（zhōng）创建（jiàn）逼（bī）真（zhēn）的（de）反射（shè），阴影（yǐng）和不透明度。Catanzaro表示：“第一次交互（hù）式光线追踪演示（shì）已经（jīng）是很久很久以前的事了，但直到几周（zhōu）前我们还（hái）没有在游（yóu）戏中成功应用光线跟踪（zōng）技术”。

不过，人工（gōng）智能生（shēng）成的画面工作（zuò）确实在机器人和自（zì）动驾驶汽（qì）车等研究领域有潜在的应用前（qián）景，可以用（yòng）来生成虚拟训（xùn）练环（huán）境（jìng）。例（lì）如，在大部分游戏中，结构仍使用传统方法渲染，而AI用于创建其中的（de）人或物体 。消费者可以使用（yòng）智能手机自（zì）己捕捉素材，然后（hòu）将这（zhè）些数据上传到云端（duān），算（suàn）法将（jiāng）通过学习将其插入到各（gè）种游戏中。比如说，将其用来创建更像真人玩家的头像。

然而，这种技（jì）术带（dài）来了一（yī）些明显（xiǎn）的（de）问（wèn）题。近（jìn）年来（lái），专家（jiā）越来越担心有些人会使用 AI 生（shēng）成的足（zú）以乱真的假情报进（jìn）行虚假（jiǎ）宣传 。研（yán）究人（rén）员展示，现在很容易制作一些虚假的政治家和（hé）名人的镜头，利用这（zhè）些视频散播一（yī）些的虚（xū）假消息（xī），这将会是不法之徒一个很（hěn）强大（dà）的武器。如果（guǒ）推进（jìn）这项技术的发（fā）展并将（jiāng）这（zhè）一（yī）研（yán）究成果发布，英伟达在（zài）一定程度（dù）上可以说是这一潜在负面问题的推动者（zhě）。

不过，英伟（wěi）达表示，这并不是（shì）一个新问题（tí）。“这一技术（shù）可以（yǐ）用于制（zhì）作具（jù）有误导性的内容（róng）吗？是（shì）。但是任何（hé）渲染技术都可以（yǐ）用来（lái）做到这（zhè）一（yī）点 ，”Catanzaro表示，英伟达正在与合作伙伴（bàn）一起研究检（jiǎn）测AI赝品（pǐn）的方法，这种所谓的虚（xū）假（jiǎ）信息的问（wèn）题本质上是一个“信任问（wèn）题”。就（jiù）像之前许多的“信任（rèn）问题”一样，它必须（xū）通过一系列方法来解决（jué），而不仅仅是通（tōng）过技术 。

Catanzaro反问道（dào）：“电（diàn）力公司创造的（de）电力（lì）可以为制作假（jiǎ）视频的电脑供电，你觉得（dé）他（tā）们需不需要负责？”。

不（bú）过归（guī）根结底，对于英伟达来说，推动人工（gōng）智能（néng）生成的图形有一个明显的好处：它将有助于英伟达销售更多的（de）硬件。自从深度学习（xí）热潮在2010年初兴起（qǐ）以来，英（yīng）伟达的股价飙（biāo）升，很（hěn）明（míng）显英伟达（dá）的计算机芯片非常适（shì）合机器学习研究和（hé）开发 。

对（duì）于计算机图（tú）形学的人工（gōng）智能革命是否会有利于英伟达公（gōng）司的收入，Catanzaro笑着说，至少（shǎo）不会（huì）带来伤害。“任何能够提高生（shēng）成更逼真（zhēn）和更（gèng）具吸引力的图形的能力，都会对（duì）英伟达有利（lì） 。”