89: 当技术遇上艺术:与 NVIDIA 和新片场聊 AI 如何重塑创作
01:14:14 Share

嗯

大家好 欢迎收听本期的晚点聊今天我们的话题是技术遇上艺术一起来聊一聊计算机技术和正在蓬勃发展的 AI 技术会如何与 M&E 也就是 Media and Entertainment 媒体娱乐产业相互影响相互塑造一起发展不绕这个话题我们很高兴地邀请到了两位嘉宾一位是 NVIDIA 中国区高级技术市场经理施承秋另一位是芯片厂的董事长兼 CEO 尹新良 Ethan

两位可以和我们的听友打个招呼各位在线的小伙伴们大家好我是施成秋来自 NVIDIA 各位听众朋友们大家好我是新面场的尹姓梁今天的两位嘉宾刚好是技术塑造内容这个链条的两头那 NVIDIA 是全球最知名的 GPU 设计厂商同时 NVIDIA 也会开发大量的软件去帮整个生态更好的使用 GPUNVIDIA 起家就是计算机图形技术最初也主要是用在游戏和影视行业

芯片厂也是一家我觉得很多朋友可能都会比较熟悉的公司最开始是一个高质量的短片分享平台那比如说之前他们有一个非常出缺的短片叫《啥事佩奇》后来芯片厂也有制片的业务所以其实 Eason 这边对整个影视行业的流程都是很熟悉的我们之后可以展开讲比如说近年比较火的《鬼吹灯》系列《金角古城》《南海归去》这些都是由芯片厂来出品的

那下面我们就正式进入正题内容创作或者说讲故事其实是人类文明最早的活动之一在 AI 这个技术之前这个行业已经变成一个非常庞大的有很多链条的工业体系那第一部分我们就想先和两位聊聊这个行业里面已经有哪些技术尤其是和计算机相关的一些技术的应用以及这些技术可能会怎么影响了行业想先请 Eason 芯片厂的尹总跟我们聊一聊现在的比如说在国内就一个聚集的制作流程大致是怎样的

以及里面哪些环节可能用到技术比较多您可以以你们的一些作品作为例子来讲讲比如说像鬼吹灯的南海归须像金月古城都是特效比较多的一些剧集因为芯片厂影业我们主要是做出品网络电影和网络剧比较多然后也是跟三大平台在合作其实我们内部的出品一个内容的流程大概是首先我们会有一个立项会然后决定我们要做的这个项目的方向包括

然后更改然后包括这个通过内容审查然后才会正式立项立项之后呢其实会进入剧本研发的阶段就是剧本确定之后同时呢我们会确定这个影片的导演包括主演等等这些主创然后就开始正式的建组筹备然后进入到实际的这个拍摄过程中

然后拍摄完成之后其实就进入到了这些后期的剪辑定剪了之后就会进入到特效特效做完之后基本上回插完就开始调色声音然后最终

成片了成片之后送到这个内容审查通过内容审查以后就可以跟平台来去确定一个片子的上线的这么一个具体的时期然后跟观众见面了这就是我们内部大概一个内容生产的这么一个全链条吧你刚才说特效之后回插完回插是什么意思就是插到那个影片中对就因为特效镜头它是其实单独制作的对

对就我们这么一个生产链条中其实是有非常多的这种协力公司然后来去跟我们一起合作比如说有人专门负责特效有人专门做剪辑调色等等有人专门做美术等等之类的因为一般人能想到的肯定就是特效里用机技术会比较多嘛就除了特效之外还有哪些环节可能也会涉及到

准确来讲现在其实各个环节都大家都在用新的技术来去降低成本提高效率就是我举个例子比如说你像在前期的这种画分镜上分镜头的设计过去很传统方式是纯用绿幕现在很多公司在拍摄的流程中也会用到全新技术的 LED 屏幕

在拍摄过程中就直接把后景去叠加进去这样就是这些新的技术也会在广泛利用包括后期制作流程也在被技术在不断的去更深入的去辅助吧但最核心大家采用这些技术的目的都是一个就是提高效率加进成本嗯

就您刚才说的那个拍摄过程中间用 LED 我之前也听到别的一些媒体上有人分享这个确实是很新的一个技术比如说这个狮子王的后面那个新的版本就是特别逼真的那个动物的版本它就有用到这个技术这个应该 Certian 可以补充一下这个应该是不是就有一些 NVIDIA 的一些技术或者说你们的生态里的一些合作方相关的产品的支持因为它那个应该是对你实时的比如说毛啊光啊水啊这种东西的渲染都是有些要求的对吧

其实绿木用了很久很久可能 20 年前大家都在用绿木但是之前的绿木跟现在绿木其实是天壤之别的 LED 是 17、18 年刚刚兴起的因为 LED 的成本在过去的几年里面急剧的下降了可能举个例子像十几年前 LED 可能还是 0.6 的频

又很贵非常贵你搭一个很大的 LED 可能上千万甚至破亿都有所以用来用 LED 屏在那个时候去拍摄是不现实的因为它占地成本运营成本维护成本包括电费极具高昂的一个拍摄成本那这几年 LED 屏它的精细度比如说点四点三对吧甚至成本也降低了那咱们国产 LED 也很便宜了所以这几年就流行起来了但是

但是无论 LED 也好绿幕也好你的后面的这个背景它其实是靠视觉运算效果渲染出来的

比如说举个例子像你刚才讲的这个狮子王它 LED 的这个后面这个东西它可能是 CG 来做的 Computer Graphic 来做这是我们 NVIDIA 的老本行对吧 NVIDIA 我常常讲我们是 GPU 的发明者我们是全世界视觉运算行业的领袖对吧这是我们的老本行靠这个起家引以为豪以此谋生的对吧包括我的这个薪水可能都是从这来的那么在这个地方我们可能去渲染了

实时的内容那这些内容呢我最后做出来一段 CG 把它放在这个 LED 上然后拍的时候相当于后面是个硬背景然后你的摄像机你的多个机位你就直接把它捕捉到你的画面里面去了所见即所得的这个是它的优势所在当然它画面也比较好那它可能就实时的它有很多你可以看得见的一些互动啊光影啊它都非常棒对吧举个例子我拍个奢侈品的广告珠宝的

对吧后面有一些背景那么前台可能是一个真人穿着这些奢侈品戴着这些珠宝那它其实跟后面的环境的光影效果互动是非常逼真的你这个时候用绿木做的话因为绿木它是一片大的绿色的背景

你再去抠把这个人前台的这个东西抠出来它的颜色其实就不准了因为它整个你要多一道工序要把这个绿幕的背景因为它有光线的一个照明的作用要把它去掉对于摄影厂商而言他们是无法接受这样的绿幕拍摄方式因为你把我整个的这个色调这个产品的高级感的氛围无法衬托出来了

所以 LED 有的时候它的好处是这个但是绿幕呢我们讲以前的绿幕可能大家看起来比较傻就是一些演员在绿箱里面去拍但是现在的好处是因为 CG 的这个技术发展了 NVIDIA 的技术也发展了我们的 GPU 的渲染能力也发展了所以我们今天如果用我们的绿幕加上 NVIDIA 一系列相关的软件技术去做的话其实它也

跟 20 年前是不可同日而语的比如说我可以做实时光线追踪的内容我的后台的这些虚拟拍摄 Virtual Production 的这些内容可能是可以多人协作的那甚至我可以结合一些 AIGC 的内容来拍摄的时候会有更好的互动性那当然就像 Eason 刚才讲的

我们可以降本增效这是大家共同的追求这个是整个在现在的 M&E 这个行业传媒影视娱乐行业里面两种不同的拍摄流派的我们都可以支持因为万变不离其宗它都是靠 CG 电脑 Computer Graphic 来渲染出来我想问一下 Eason 就是你们现在拍摄你们会用到 LED 这种特别新的东西吗

坦白讲用的还是比较少因为其实对我们来说核心还是一样就是还是一个成本的考量就这里面成本考量除了硬件成本之外还有一个软成本就是说其实因为像我们这种做网络内容的网络电影也好网络剧也好其实我们讲究的一件事情是什么呢就是效率就是说我们可能一个内容从立项到上线我们需要非常短的时间就是因为网络内容更加短频快一些因为现在

刚才提到很多这些新技术其实在业界并不是最普及的所以说其实它在效率的层面有一个问题就是在于会熟练运用这些拍摄流程的创作人还是相对比较少就是你找团队也会有点麻烦对 是的就是现在大量的团队还是传统的这个模式下所以对我们来讲如果希望一个内容尽快地推出跟观众见面在产业没有特别成熟的情况下

其实我们往往还会选择相对传统的模式嗯但是有一些呃相对大的制作或者是说有一些像刚才 Sushen 提到的一些呃更前端的一些广告片也好等等这些东西其实他们可能往往会选择去尝试新的技术嗯或者去去这个去探索这些新的方式方法对比如说像风神啊流浪地球这种比较大的 IP 是的是的就我不知道这个方方面说就比如说像哦

鬼吹灯这个系列其实它对特效的要求还是比较高的我觉得它可能技术成分会比较高所以在这整个链条里面就技术上的一些投入它可能占到你们的制片成本的多少了因为我们首先做的是鬼吹灯的网络电影我们网络电影这个系列其实坦白讲我们在艺人上的预算其实投入的反而不高因为它的艺人相对来讲不是占像传统的那些电影一样

或者说大剧一样占大部分的预算其实我们确实绝大部分的预算投入在了这个制作中也就是说特效中我拿我们鬼水灯之这个南海归须来举例子它可能有一半的时长是特效镜头观众看到的有一半的东西都是渲染出来因为它那个故事剧情是讲的在海上但我们那个电影其实全部在棚里拍

所以说你看到开场大概 20 分钟之后就出海了跟海相关的所有镜头全部是跟特效相关的因为其实您在这个行业也很久了包括 13 你们也可以从你们的个人经历的角度来讲讲从你们入行开始到现在你们觉得这个技术在中国的影视内容包括新闻这些制作行业里它大概是一个怎么慢慢渗透发展的过程因为我本科是 06 级的然后我是 12 年读研究生的时候开始创业做的芯片厂

其实我当时之所以做芯片厂就是因为我自己平时业余时间比较喜欢拍片子我觉得可能自己拍短片没有地方存储我们就创业做了芯片厂这么一个平台你本来是什么专业无线通信你这是骂农转移是不是对这十几年其实我们看到从我角度来讲我觉得技术对于创作

体系的颠覆真的是非常非常大的我记得我在读大学的时候我们拍片子还在用索尼和松下的机器 190P 等等 EX1 什么之类这种很笨重的大的机器先从拍摄这一段来讲它就不是一个大众化的事情而且当时你拍完东西你就想导到电脑上因为它是磁带所以你拍多长时间是一比一的就是说举个例子比如说我们拍一天东西我要花一天的时间去把它

导导到导到电脑上才能开始剪辑大概 12 年 13 年的时候那时候用单反来去拍拿 5D 来去拍变成了一个行业的主流啊到现在很多都在用手机在拍然后再有一个就是从制作端虽然制作端这么多年大家主流的还是在用像 Adobe 的产品啊包括苹果的产品但是呃

纯纯的制作流程本身也在发生着非常大的变化因为本质上来讲就是计算机的性能变得突飞猛进这个可能跟我们 NVIDIA 的贡献也密不可分我就讲一个很简单的例子比如说以前导出一个比如说一个小时的视频可能要几个小时甚至一天但现在可能就整个的制作流程完全被

新的硬件新的这些软件去给颠覆了看未来我觉得下一步可能会更加夸张特别是有了 AI 这个技术之后就可能过去我们要花很多时间才能实现的事情可能未来就是几分钟的事情所以说这会让整个的创作

更加的平民化社交媒体这一波其实把传播这件事情变得更平权了我觉得 AI 这一波就是创作能力不再集中在少数人手里或少数机构手里而是让更多的人有机会会有这个能力去参与到创作能力嗯嗯 Surge 你也可以从你的角度讲一讲而且你经历的这个时间跨度可能更大可能是大概从 00 点左右到现在的一个情况哦

对我可能比 Ethan 稍微老一点所以可能 Ethan 经历的这些在更早之前举个例子像 Ethan 说他之前是这个磁带导入当然我们也是一样我们从 DVA 导入甚至 Beta 时代就导入从 139 次 1 比 1 的导进电脑从那个时候还没有现在的这么高速的

网络和界面你看到在过去的影视创作其实大家都面临同样的痛点 Ethan 是学理科的现在改去干文艺行业了我是正经学广告出身的现在去干电脑 IT 了咱俩的道路截然相反我学广告的时候其实非常简单当时大家做的时候

电脑其实是对我们而言是一个非常昂贵的东西可以说大家没有什么机会真的去用电脑做后期或者怎么样因为当时的电脑其实成本很高别说做视频你做平面的东西用电脑都是一件很奢侈的事情其实大家都学的非常纸上谈兵的一些理论上的东西我想补充一下您说学广告他是什么时候很早我本科就是学广告了对我就说哪一年 90 年代

你可以继续讲显得我暴动年纪了有点老其实我们当时你看我们把

拍摄的视频输入到电脑里面或者说我们做当时的虚拟演播室根本就没有所谓虚拟演播室这概念太昂贵了当时哪怕是一个极其简单的比如说叠加实时字幕今天看来不费吹灰之力的一件事情当时其实是一个非常高昂成本的商业行为以至于有许多专门做字幕机的这样的厂商你现在觉得

你花几十万上门做一个实时字幕机系统是不可思议的一件事情但事实上在当时就是这样的一个行为因为当时要用电脑实时叠加一些字幕甚至有特效的字幕到你的屏幕上无论是电影还是电视大屏幕小屏幕其实都是一件非常昂贵的事情所以你可以看到当时我们用电脑去处理一些后期的特效而言就是更加

可以说是金字塔顶尖的这些 studio 甚至是一些大的 film 他影视公司他才能有能力去负载的这样去附和得了的这样一个行为但是像 Eason 刚才讲的因为我们现在今天此时此刻我们的 Creators

他其实没有什么成本的限制也不需要有非常专精的背景他就可以去完成许多以前才能做的事情以前我们可能打个比方我会用 Premiere 那我学 Premiere 可能不是几个月速成的我可能学了几年甚至有些人他一辈子他的职业就是做 Premiere

那今天我们的用户他很简单他拿一个手机戳戳屏幕就可以做后期了甚至他的手机没有太强大的处理我的后台因为后台有 GPU 云端有 GPU 云端有渲染能力比如说我们今天的很多创作者像国内的这些小伙伴他们用抖音对吧比如说他用抖音用小红书等等

用 bilibili 它传到后台它其实就可以用它前端的软件调用后台的服务器上的一些渲染也好后期也好这样的 GPU 资源来去帮它做在线的一些特效一些制作一些叠加等等其实就可以完成它很多以前需要前端非常昂贵的人力物力专精的这个领域里面特有的一些技术背景才能完成的工作室现在都已经可以完成了更何况我们今天可以看到因为有了这个人工智能的

引入这个行业就会变得有许多事情以前可能说我们只有一个想法今天我可以通过一段简单的指令让人工智能去帮我去完成像我刚才讲 NVIDIA 是 GPU 的发明者今天我们已经过渡了 NVIDIA 现在是人工智能计算领域的领导者你可以看到我们自己的产品从过去的单纯的做这个视觉计算到现在变成人工智能计算领域其实我们的整个的产品也在因应这个潮流

当然我们对于这个影视传媒行业的我们带来的好处实实在在看的见摸得着的就是门槛更低成本更低效率更强然后呢能让我们更多的这个个人创作者也可以进入到这个领域里

所以今天可以看到这个 UGC 的这些原生的用户原生的这些内容丰富蓬勃地发展起来这个我们可以分开来讲一讲因为您也说到这肯定是个逐渐的过程那像 NVIDIA 在国内的这种影视行业的客户或者说下游的一些生态那早期肯定也还是一些机构为主比如说像我们之前有聊到过像夭视

还有像国产的我不知道 Eason 用过没有大洋的这个剪辑的一个东西有点类似 Premier 吧但是是国产的一个我以前在大学也用过就包括你刚才说的那个字幕以前我们就学校电视台剪完一个片子之后很重的一个工作就是你得在那对着这个视频一句一句地去拍这个字幕它是不能自动生成的而且你要卡那个点你要拍错一句你还得重新再开始弄什么的

对可以讲讲就是从比如说机构的这个过程包括你们这个过程中间怎么帮机构去降本增效它后面有更多的个人来用它是怎么演变的过程以及如果有个人来用的话其实这个中间的链条就会更长了对吧比如说你刚才也说到这个渲染的可能它有一些专门的服务商在做这个所以现在这个链条大概是怎样的呢

其实如果说机构的话以前可能就是就像你讲的央视吧那我们以前跟央视的合作可能也是通过国内的一些第三方去完成的相当长的一段时间里面我们在影视传媒行业里面是一个寂寂无名的 nobody 没有人认识我们

所以我们当时在进入这个行业的时候呢我们在中国也没有粉红丝也没有人也没有售后也没有技术支持也没有 FAE 什么都没有一无所有所以我们当时肯定是通过一些我们的合作伙伴或者说采用了我们的技术的一些系统整合上像您讲的这个大洋他做非编系统就是非线性编辑系统或者做字幕系统这样的这样的趴呢我们来去引入的

那也有一些做虚拟演播室的这样的一些合作伙伴进入的比如说像我们跟央视合作做虚拟演播室很多很多年前在这个不知道大家有没有印象就是 90 年代做世界杯的时候当时在世界杯每一场比赛开始之前他都会有一个虚拟演播室那个主持人他的虚拟演播室里面有几个小人可以 D6 小人弄来弄去讲排兵布阵讲这个前锋放在哪然后讲他有什么阵型的变化等等

那其实大家都知道这个完全是虚拟出来的因为在拍摄现场这个演播室里面它其实没有这些东西的那其实这些东西就是由后台的渲染去完成的只不过当时的渲染非常简单今天看起来那些渲染简直就是小儿科了就是一个积木形态的渲染但是在当时而言已经是很了不起了再举个例子像大家都知道新闻联播之后我们都有一个这个天气预报的环节对吧

天气预报你可以看到主持人后面有个大屏幕上面有一个气象云图对吧然后后面有一个全国的地图其实主持人在拍摄的时候他后面没有那些东西的通俗的而言其实就是某种意义上的一个绿幕因为他背后没有那些东西那主持人就是在那个屏幕上指指点点后面用后期叠加上去的这样的一个方式那其实这些的渲染当时都是用 GPU 来渲染完成的

当然今天我们看那些比较幼稚跟今时今日的渲染是不可同志而今时今日我们可以做到实时光线的追踪了以前这个光线追踪都要丢到渲染农场里面做离线渲染一渲染可能渲染几十上百个小时来渲染你一个几十秒的这样的一个画面所以在过去你可以看到好莱坞影片的这个它的制作周期是非常的长的一个比如说像 Pixel 一个电影它可能制作周期要 18 个月 24 个月制

今天可能可以压缩到几个月就是因为后期的渲染的时间和成本被大大的压缩了所以我们今天可以看到降本增效不仅仅是头部的顶尖的这些 S66 这些大公司大机构来使用的比如说大家比方今天我们在这录的这一段音频也好视频也好或者说我们之后做的一些像 NVIDIA 经常跟国内的一些

第三方的机构我们做一些视频的访谈也好其实后期去做剪辑或者说在后期叠加一些背景的特效比如说如果今天我们做一个视频访谈形式这个时候你可能 B-Roll 就会插入一些我们讲的当时的古早味的画面进去对吧那这个 B-Roll 叠加进去的时候今天我们用 GPU 用电脑去做的话可能

点点鼠鱼要啪一下一拖马上就这个 B-Row 这个 Trap 就 overlay 上去了可能对于我们整个的这个行业的这个制作成本周期各方面的考量是带来了巨大的生产力的提升我们这好可以顺着这个话题就是聊一聊这个新的 AI 技术的一些影响因为刚才可能聊的是现在就大概的一个制作流程是怎样的以及可能就往前倒是怎么从之前大家说的这种非常非常麻烦的过程然后到现在很方便的一个过程

其实刚才虽然没有聊 AI 但两位也都有提到那我觉得现在最受关注的肯定是 AIGC 的这个变革然后也有很多地方会讨论说给影视行业是

新闻行业带来什么变化就如果从你们俩的角度来说的话你们会比较在意这个热潮里的什么东西 Eason 可以先讲讲从我们角度来讲因为毕竟我们还是产业的公司所以说我们首先最在意的就是说 AIGC 这件事情怎么能应用到我们现有的工作流里帮我们去降本增效我想知道就是你比较关注到这个事情是在 CHEGVT2023 年在中国特别火之后还是可能你在行业里你更早就会有

关注到这个东西台湾人更早而且我们其实关注的反倒不是 XGBT 最早我们关注到这个领域是这个 Diffusion 就是文山图这些对其实在 Major 之前有另外一个 app 当时在美国已经很火了

我记得叫 Dream 然后它其实是当时的所谓 Diffusion 的算法是可以帮你去生成一些艺术化它可能没有像 Majorly 一样现在可以帮你去生成一些很具体的一些东西当然它其实对于 Diffusion 技术的一个很简单的应用但那个 App 其实我记得当时已经是在美区的 Apple Store 里排名前几了这是 20 年的时候吗还是

22 年吧反正我记得很印象很深的时候你写一段话然后他根据你这段话生成一幅你这个主题的比如说梵高和莫奈风格的艺术画核心是你输入一段文字就可以你可以不仅仅输入照片但它背后就是 different 这个技术其实我们是那个时候关注到智能生成这个领域的因为其实本身我们这个平台本身就是各种视觉艺术家的这么一个集群看到我们的用户在那个 app 再去生成一些内容发到我们这个平台

所以说我们其实关注这个事情 Made Journey 的出现对我们这个行业其实影响就非常非常大了因为 Made Journey 的产品真的是可以进入生产环节了它具体进入的是您之前刚才说的那个流程里的什么环节具体干什么就非常多就是说因为我们整个生产环节就很多场景都是需要用的图片的举个例子我们的概念海报我们的宣传物料

包括我们的比如说分镜头脚本因为电影或者影像本身它就是一个多种艺术的集合体它需要音乐需要图片故事等等之类的就是说你可以其实 Made Journey 在图片领域的突破真的是时候已经可以进入实际的产业生产了

他当时生产的一些比如说海报这种物料他能达到你们的使用水准吗完全可以的可以的是吗对完全可以我们跟传统影视公司或传统内容公司不一样的地方在于我们的内容绝大部分都在网络上做分发就是网络上做分发和传统线下分发不一样举个例子比如传统线下可能一个电影只需要一张海报两张海报或三张海报了不得了但是对于一个在网络上

这个奋发的内容来讲他可能需要几千张简单给你举个例子比如说你打开爱奇艺你去刷的时候你会发现就是他每一个每个影片他推荐的那个图他会变就是他可能有很多图但这些图其实都是要制作的而过去的方法就是

营销公司会切大量的剧照然后去养美工去做很多这种贴片等等之类的去看哪个图的曝光更好一些 RI 更好一些有的影片其实可用的物料很少但他营销的时候我就很

但是有了 Major 之后其实可以批量生成非常多的我觉得这个其实是一个在产业里很大的一个应用当然可能观众们看不到但我可以给你举一些例子比如说很多这些图都是 AIGC 去生成的

我可以给你找一张一看就是 AIGC 你这都能锻炼说对对对你问让我看我可能就看不出来是但它肯定也是最后人工改了一下的对吧对信息流里刷到很多这种影片的这种分发的这种图都是先通过 AIGC 来去生成然后再修改对然后再去修改因为最开始 MeterJelly 至少在去年的时候它就类似这种模型它有个问题就是比如说你生成这个人的手的时候

或者说一些耳朵衣服的细节它就会出现幻觉对它会比较乱啊它不是一个实际上人的手的样子是的就是说但是就我说在这些应用场景中比如说你看这个这个就是 AIGC 生成的这样图就是像这种就是它有一些细节乱其实不重要不是你这是怎么看出来的了这就非常明显啊这可能是这种体感吧可能你看的够多对一看就是 Major 内生成的就类似这种图你看你仔细看它可能就手确实有六个手指

但是并不重要它是一个宣传物料就包括分镜的话其实也这些小错也都可以容认是吧是的因为它本身就是一个概念性的一个设计但是现有的这个大模型它在生成这种动作上就比如说你给它描述一个动作它能给你

跟随指令跟随的很准确生成的很好吗不能不重要就是因为就是我说在这些场景下它其实就是个示意就是分镜可能还有很多的氛围图或者是场景图它其实要的就是大概那个 feel 那个感觉因为你不用细抠这些里面这些人他具体是怎么样子但是你看两个一男一女站在一起举止很亲密你大概就知道这是一个恋爱爱情

对你可以点进去看了除了这个以外就是我们其实也在看 AI 这个新的生产力出现之后它会创造出哪些新的场景 AI 的解决方案可以完全颠覆

过去的解决方案这个确实在行业里已经有很多不错的比如说应用了比如在办公领域的有什么 AI PBD 然后什么教学领域的有什么 AI 帮你做题等等这些其实是也已经出现了那你在影视行业有看到什么这样的苗头吗

坦白讲我们所在影视行业目前还没有因为就是我觉得目前的 AI 技术还很难在我们现在的所在的这个行业里发挥出因为我们这个场景太复杂就是它有你刚刚说的第一个在已有的环节里降本增效的作用但是就是说比如它创造一个新的场景或者一种重塑这个整体的

整个流程目前看还不明显是的 Searching 这边也可以补充一下因为你们是在一个技术供给方的这个角色那从 NVIDIA 的角度就你们看到 AIGC 来了之后它可能对 M&E 这个领域会有些什么影响就你比较在意的是什么

因为 NVIDIA 其实在这个行业里面技术走得比较前沿所以可能就是有很多尚未落地或者落地还没有大规模的这样的一些应用其实我们已经在研究举几个例子大家可能知道我们有一个这个分工协作的在线的这个平台叫 Omniverse 这个平台我们现在其实在国内已经在使用了 M&E 行业也在使用可以和我们的听友先科普一下 Omniverse 是个什么东西对

安卢斯首先它是一个多人实时在线分工协作的一个数字资产的管理制作的工作流平台它是用 USD 就是皮克斯的一个数字产叫通用场景描述那它可以连接各个主流的 SV 的数字产然后全面的做到一个云原生的实时分工在线协作所见即所得的

实时编辑的这样的一个场景也就是说举个例子你今天拍了一个片子你后台打了个绿幕对吧以前我们的绿幕是后期的不是实时的对吧那我们现在的这个绿幕甚至可以做到实时的就是虽然演员是在绿幕面前演可是导演呢他在这个后台他的这个 monitor 他的监视器上看到这个绿幕其实是已经做好的场景

也就是说导演可以看到后台已经叠加上去的绿幕加上演员在前台的这样的一个表演是所见即所得的他可以实时查看效果因为这个 USD 比如说他的他的这个负资产叠加了进去他可以看到演员比如说动作是不是不匹配啊或者说某些地方可能穿帮了呀等等打个比方或者说更好的一些实时的更改实时的特效他都可以完整的去看到的这样的一个好

那还有个就比如说像我们绕波的嘛降本增效嘛对吧以前我们要拍一个片子比如说拍个大场景拍个海上日出的这个场景那以前我们可能真的是要飞到这个地方去拍成本很高对吧万一这么整个库子拉过去了突然那天下雨了没有日出那我就白下你要在那等对吧或者你要拍雪景什么的你要等那可能很难去抓到这样的一个特效今天我们用这个 Omnis 因为它是受资产管理的

然后它又可以用 AI 去驱动那它你可以文生图文生视频对吧那很多这个大模型它可能都已经做好你给它一个指令它就可以帮你用 USD 去做而且以前如果是纯 CG 选出来我可能需要美工需要大量的专业美工去做这个

今天我只要一个指令他就可以去 repeat 出来一个巨大的范围的场景而且每一个形象他可能都是有变化的不一样的他不是复制连贴出来长的都是一个模子的对吧就像兵马俑一样每个兵马俑都是属于五成他不一样的面部表情都是独特的是 unique 的一个一个 after 所以我们讲说我们在这个 almnus 里面我们有很多技术可以做数字人可以做就比如说像啊

人物的由真人驱动的数字人甚至真人驱动的数字人还可以跟虚拟场景做互动比如说我这个前面拍的这个这个这个真人大概比方是有一些场景那我后台这个数字人可能说通过动物出来

以前动物身上可能你要你这个传染器可能几十个传染器今天可能几个传染器就毁了因为它已经可以用大模型去识别你的骨骼你的这个人体的关节骨骼的场景它就知道你实际上在做什么样的动作它马上就可以一比一投射到数字人身上比如说你甚至可以用语音去驱动数字人比如说破坏墙壁啊这个打斗场景啊对于虚拟场景的一些实时的一些呃

互动啊一些场景的变化你都可以再通过这个 Omnus 和相关的这些软件让我们的导演或者监制通过他现场的这个 monitor 他实时可以看到所以这个其实对于整个的拍摄场景而言是更有效率

更加的能够压缩他的后期的周期而且可以实实在在节约成本的这样的一个方式当然我们讲我们 Omnibus 里面有很多组件比如说像做数字人的这个 Machinery 比如说云原生的数字人的引擎我们叫 ACE 比如说像我们可以用真人的这个

把你的你甚至都不用做面部的这个捕捉你直接讲一段话它能够识别你这段话的语音语调你的情绪然后自动去 match 到数字人的脸部上像我们的这个 audio to face 这些技术其实已经都在 Omnios 里面已经商用了很多用户已经在体验了国内我们也有非常多的合作伙伴已经做了一些二次开发已经可以看到一些成果了

伊森你听说过这个吗对我看 Media 的发布会 OK 那你有考虑比如说正好因为你们其实是需求方是客户嘛就觉得有什么问题你也可以问一下责任啊目前对我们这样的产业公司来讲可能呃我们还会选择继续观望一回因为就是我说的我们其实最核心点是在于呃

没有那么多的就是会应用新技术的产业人员就这个其实我们在实际生产过程中可能要就因为我们比如我们这个钱投下去了

我作为出钱的人我可能希望的是保质保量安全的生产尽快给我交付最保险的方案还是用这些产业里最成熟的工人产业里最成熟的创作者这些人来去协力做出来的东西更保险一些任何一个新技术想在这个行业里普及它离不开生态离不开从业人员这是需要一个慢慢的过程

当然当然这个行业它需要一个孕育培养人才的这个过程任何技术从研究到发明到诞生到落地到大规模商用它是一个长足的过程投资人的钱都是非常金贵的他要省着花不能有任何风险的所以瑟琴可以讲讲国内在用的这个项目已经拍了一剧的那他们这个制作组里他是找的一些什么人在用这个东西了

其实对于人员而言因为大部分而言我们的用户在使用我们的技术它其实是一脉相承的就是说如果他之前用过我们的技术或者他之前对我们的技术有了解他可能慢慢的他就知道怎么用因为我们的技术也是迭代的不是无中生有的都是从 alpha 版到 beta 版 1.0 2.0 到甚至 20.0 这样迭代出来比如说像我们做公安追踪以前大家做公安追踪是用 Iray 用 Mentoray 对吧

做离线渲染那现在做实时的因为我们发明了这个 RTX 的 GPU 们就实时做 retracing 的那今天你可能甚至一个买一个个人的消费级别的几千块钱的游戏卡你都可以做实时光线最终了以前你可能是上百万的渲染农场才可以做离线的后期的光线最终这个过程是可能发展了二三十年你看我们在国内的这些用户他可能

很多很多年前他已经会用我们的用用我们的那个 mentoray 了打个比方那他今天就自然而然知道如何用我们的实时光线追踪系统他可能在几十年前他已经用用用 maya 用 3d max 来做后期了那他今天自然会用最新版本的这些里面的这些组件比如比如说打个比方用用一些渲染器比如说打个比方他他用达芬奇调色板做后台对吧那他可能已经了解如何用 gpu 去加速了那

坦白的说 30 年前我们做视频做后期做 video decoding encoding 那个时候连 VCD 都不能做实时的解压更别说做实时的压缩了今天我们 4K 8K 都是小小拿捏了对不对毫无压力所以这个是需要一个用户的积累是一个有经验的技术人员去来完成的刚才提到说 NVIDIA 会有一些比较前沿的东西它是没有

目前还没有大规模的落地是现在落地的中间除了您刚才说的这个 Omniverse Drive 还有一些什么别的例子可以讲讲吗其实大家都知道每年一个很有名的峰会叫 Cgraph 这个 Cgraph 呢就是计算机图形学的最顶尖的业界的会议 NVIDIA 每年就都去参加这个会议我们每年有很多论文我们也几乎每年都能拿到这个最佳论文

其实这个是业界的一个风向标是个标杆这些论文你看似是非常早期的研究的方向但是几年之后它都会商业成品落地比如说今天我们讲到的 stable diffusion 也好或者 AI 的这些文生图图生图等等这些也好其实它以前是怎么来的这个叫生成式对抗网络叫 GAN 八年前就已经有这个概念了但八年前都只是纸上谈名纯论文的

那什么叫深圳市对抗网络就是所谓的无中生有归根结底它是一个由人工智能由电脑驱动的缺损像素的自动填补技术

那缺损的项目填补出来那你就生成一张图生成每秒钟 24 张图你就生成一个动画帧那就可以变成一个可连续播放的视频那么其实纹身图也好纹身视频也好它都是这样的一个概念无论比如说今天你做超分 super resolution 也好 upscaling 也好或者说像好莱坞经常讲这个 remaster 也好吧过去机

几十年一百年前的视频做基于 AI 的上色基于 AI 的比如说把过去的胶转数过去的胶片转甚至是转 4K 的这样的一个我们看到这种 4K 数字重制版的泰坦尼克等等也好

这种技术其实都是基于人工智能的方式来去实现的那么我们可以看到 NVIDIA 打个比方说两三年前我们提出的这个叫 NERF 的技术什么叫 NERF 技术基于以前我们叫 computer graphic 今天我们就是 neurographic 就是基于神经图形学的这样的一个研究的方向那么我们今天可以看到已经有五华大门的各式各样的方式来去落地了就是你可能拿手机

你一个轻型的手持设备给这个场景拍几张照片它马上就可以用人工智能的方式来给你生成一个 3D 的建模的图形而这个图形马上可以变成一个数字资产可以导入到你的 ISV 里面去导入到比如说像你 Max 导入到 Maya 甚至导入到 GUS 格式来阐述的这个数字资产导入到 Almonds 里面去你甚至几分钟之内用一个

个人的手机拍几张照片它马上就可以变成 3D 建模到你的专业的这个图片工都在里面去做后期的处理了那这个方式以前大家想都没想过以前我们要还原一个数字场景还原一个对于一个建筑的一个 3D 建模的重构这个是

巨大工程量的一个事情今天可以轻易的做到这个千万像素级甚至是上亿像素级的这样的一个实时采集和 3D 场景的重建那这个像 NERF 的这种方式也是 NVIDIA 提出来的我们也利用 GPU 利用 AI 的方式去做也可以那今天其实对于我们的 MAE 行业里面其实这个是以后可能就是一个一个很

前沿或者说是很有吸引力的一个降版动效的方式你今天要去做星球大战或者边境钢这个顶尖 IPG 制作的时候或者是像国内现在非常火嘛做这个黑人化悟空对吧做现场的采集到山西去采集这些现场的场景你可能以后用 NUF 的方式你可以大大的提高你的这个效率降低你的这个成本以前你真的是要拿一个设备去做这个大量的实时的实际的采集

今天你可能在网上搜点图然后用无中生有的方式用 GPU 来去帮你做这个 GNUF 的采集的方式它可能也是可以实现的其实我们人类每一次科技的巨大进步都来自于我们的懒或者抠那懒和抠其实并不是贬义词人类的惰性人类的这个节约的品质是与生俱来的是刻在我们 DNA 里面的我们的几次工业革命我们的几次巨大的技术提升

为什么会产生呢其实这个正是因为我们想要扩大我们的生产规模想用更轻松的方式来完成更具规模化的生产力的提升我们的懒其实是我们的惰性驱使我们不断的去研发新的技术和产品

来推动我们的科技进步比如说我们不想走路了于是我们发明了机械代步来帮助我们能够更有品质更舒适的生活另一方面来说那人类的节约其实很正常因为在远古时期科技不发达我们的医学医疗各方面都不发达我们要对抗天灾人祸所以我们必须要储备一部分以备不时之需比如说我们储备粮食储备物品储备生产资料

所以到后期形成了货币之后我们就开始储备货币也就是存钱存钱从一个另一个意义上或者从另一个角度上来说就是对于成本的控制换到今天流行的话来说就是降本增效那我们的这个 M&E 行业也是同样过去大家可能日子很好过可能投资人的钱也很多大家觉得我们可能把同样的成本可以做出更大

制作更好的结果的产品出片对吧那是或者说我们可以做更多的集数或者做更多的片子成本就真的是每一个 M&E 从业的人员的考量所在那我们可能想做一个小成本的制作但是我又想有一些比较花哨的后期有一些比较高大上的特效那最后我可能就用 GPU 去做用 AR 去做这个其实都是今后可以实现的一种方式

NVIDIA 在探索这些前沿的技术我们试图跟全世界顶尖的科学家一起来把这些技术能够实现能够落地所以大家如果有兴趣的话也可以看看历年 Cgraph 的一些论文其实 NVIDIA 在这里面有推动了这个行业的往前的不断的发展嗯

刚才 Sersi 有一个总结很好就是很多技术进步都来自于人类的懒和抠就你要么想要省时间省事你要么就是想省钱对吧我有个很好奇的事 2021 年的时候当年的那个 NVIDIA 的 GTC 大会有一个挺轰动业界的小花絮就是教主嘛黄仁勋他还是穿着一个皮衣对吧然后从厨房里断出一个 GPU 然后过了一段时间之后就是你们自己释放出来说这里面其实有大概 17 秒的时间并不是真的黄仁勋

是你们用技术去给它做了一个黄人群的数字人然后这整个环境也是虚拟的但是那个特别特别真就是最开始大家都没有觉得这是假的这个是用的你刚才说的那个技术吗是的这个就是用 Omniverse 里面的 ACE 这个技术 ACE 叫 After Cloud Engine 就是基于云原生的数字人引擎这个是 Omniverse 里面的一个部分也是一个重要的组件那其实它用到的技术非常简单就是

扫我们这个 CEO 黄先生的整个的这个人元宇宙里面的数字孪生给他生成一份 1:1 的 Digital Twins 再把他说的话用 Audio to Face 的方式投射到他的这个数字人的脸部去做这个脸部 Mesh 来做比如说表情和嘴型的匹配

然后后面的这个背景其实就是绿幕的虚拟拍摄是一样的做好 3D 的这个后面的这些整个的背景的叠加然后再把它把人虚拟的这个数字人和后面的背景叠加在一起来去完成这样的一个渲染的动作其实基本上通俗而言就是说这几个过程

那大家看起来可能非常的逼真是因为真的我们的数字人可以做到栩栩如生的这样的一个一比一的匹配所以我们如果不说的话大家觉得这就是真人但是我们说的这个十几秒的过程是完全用这个虚拟的数字人方式来去实现的那大家才知道原来 NVIDIA 的技术能做到这么逼真的效果这么好的这样一个后期的呈现

从这个 ACE 到 LURF 的话是不是 ACE 还是我一个比较简单的理解就它里面可能 AI 的程度没有那么高因为其实你是做了一个很完整的扫描然后到 LURF 的话其实你用几张比较简单的照片你就可以把它这整个 3D 模型给你还原出来有一部分其实是 AI 自己去生成的对吧就它 AI 的程度会变得更高然后你的整个成本会变得更低这个就是所谓的 2D 生 3D 和真正的 3D 扫描

建 3D 建模的这样的过程其实这个实现的方式不太一样当然成本也不同就是了今天我们看国内有些合作伙伴大家在国庆节前如果参加过一些像腾讯数字生态大会或者是阿里巴巴的云器大会你可以看到有很多他们的他在现场做了一些基于云的一些方案比如说像你拍几张照就给你生成一个 3D 的数字人等等

其实这个在国内有很多机构或者说商业运营的团队的一些成熟方案已经在做了那当然每个人实现的方式都不同如果有兴趣的话我们的听众小伙伴可能到 GitHub 上去看看有一些这个比较初期的大家已经做好的代码可能也会激发一些大家创作的思路可能大家也会想到一些自己的更好的方式其实今天无论是 CG 也好

或者说是这个电脑的这个 AI 也好其实是一个百家争鸣百花齐放的一个场景因为我们讲今天是人工智能的这个刚刚的

创始的原点是星际园的一个突破点因为大家都在去想用这个方向去提高我们的生产力所以每个人都试图去做出一些非常好的一些一些成品的商业应用所以我们也乐意于见到这个市场蓬勃发展毕竟 NVIDIA 我们做 GPU 我们是一个卖铲子的公司那大家把这个铲子拿出来就大家去各显神通你能挖到金矿你能挖到钻石还是你能挖到什么那大家实现的方式不同

说到这个的话我也有一个问题想问两位就是说在 AI 这个热潮来了之后你们自己感受到的这个影视行业一些新的这种技术的供应方你们自己接触到的有哪些这个可能是 NVIDIA 的下游就是用你们东西的人然后可能是你们的上游就是可能你们会是他们的客户 Eason 可以先讲讲吗

我们其实现在用到比较多的就是 Majorly 当然除了可能大家日常会用到的一些 Kimi 个人 C 端级的产品以外就真的是说 B 端级的存在在我们的生产工作流里的现在主要就是图片领域像 Majorly 这样的

公司可能在我们的日常的工作的流里像这个视频生成就是 Sara 这种类型的模型和产品目前还没有进入到你们的工作流什么核心的问题就是在于就是目前现在视频生成领域用户自己自嗨其实还是 OK 的但真正到产业级生产现在我们觉得这个能力目前行业里的这些生产水平到这个能力其实还是有一定的

距离就是但图片领域我觉得已经是可以达到了而且我们眼看按照这个趋势下我觉得像视频领域甚至文字领域能够进入到真正的生产流中我觉得也只是个时间问题像国内今年也出了很多这种产品像申述的

字节最近也出了嗯然后之前快手的可灵还有 Villimax 的海罗这些你们自己就是有试吗还有这个像艾施的 Pixverse 是我们基本上都有试过都有试过对呃因为这里面他真的到一个产业里面他其实需要解决的问题其实还是还是很多的就是就是比如说呃

可控性啊就是抽卡的概率啊就是包括整个的这个渲染速度啊等等之类的他真的想要到产业级别他是一定要比我们过去传统的方式成本更低才行就是

就是如果他们比我们过去的方式成本更高这个成本可能时间成本也可能钱的成本成本更高那我们就几乎就不会替换甚至是同等数量级的成本我们也不会替换就是这还有一个我刚才说的就是产业熟练从业者的问题就只有指数级别的成本降低数量级级别的成本降低我觉得才真的有可能进入到这个产业里面了其实 Eason 讲的这个也是 2B 行业挺共通的一个

逻辑吧比如说做这种 SaaS 也是就如果你要替换一个老的方案的话你大家换东西都是有成本的所以也不能说跟它差不多好或者是比它好一点比它好特别多对 是的必须得是数量级级别的成本降低我们才会使用比如说我刚刚提到这些国内的公司他们是有主动来接洽你们愿意给你们提供一些服务这样吗就他们会把你们作为一个这种

希望你们付费的这种客户去跟你们谈吗是的首先您刚才提到这些我们都会有接触因为本身我们就是一个视频创作者平台他们的客户基本上都在我们平台上都是我们的用户所以说这些平台几乎都会跟我们去谈到合作也希望通过我们这样一个平台把自己产品推向给这些产业的从业者所以说在这个过程中我们也确实会看到什么样的产品从业者真的会用起来我还想到一个点可能就是你们能和这些新的

一些公司或者说这种创新的角色合作就是你们其实有很多这种比较高质量的视频素材对吧所以也会有些公司来跟你们讨论这种数据类的合作吗是的就是我本身也在跟这些大模型公司探讨比如说我们一起来去这个共建模型等等之类的就是来去做素材模型训练等等之类的这些合作

在 AI 这个领域呢就是 Ethan 讲的是没错的就是大家很谨慎因为我们的对于错误的这个容忍度是非常低的所以呢无论是成本的这个试错或者说是场景的试错或者说最终呃

这个生产力环节的失措我们都非常的谨慎所以现在以这个图片无论是 Mid-Journey 也好 Stable Diffusion 也好各式各样的其实商用化已经很成熟了但是像您说的这个 Sora 它太新了大家都不能保证说它最后能不能在这个商用的生产力领域里面

现在的情形其实还是一些前沿的尝试阶段所以我们可能要等待一段时间然后包括二次开发或者说一个大规模的应用这个产业的整个一个 workflow 的成熟需要时间那我们今天看到我们的下游在利用 GPU 或者利用算力或者 AI 也好其实最多的常见的还是渲染器的这个部分

其实国内有很多渲染器做得很好像第五渲染器已经做得非常棒我们也看到第五的渲染器它已经基本上跟大部分的主流的 ISV 都已经打通了所以很多用户也在用包括个人用户甚至也在用第五渲染器渲染器就是一种软件对吧它是个软件举个简单的例子对

我今天拍了个就像我们现在做这个访谈如果是拍成视频的模式那我的背后可能比较杂乱对吧那我把我这个人抠出来你可能也知道我们如果静态的话 Photoshop 抠的话是一个一个一个你用鼠标去画一条线把这个人抠出来那以前做视频的也是同样我先把我的轮廓抠出来然后我把我这个人标记上的告诉他这个人就是我需要的主场景然后后面他在整个的这个画面里面后面的后续帧全部都把这个人抠出来

对吧这个是一个比较典型的方式那你需要一个会用这个软件的人知道你把这个人物抠出来知道如何让他后续都把你这个人物作为后面的背景全部抠出来分离的一个方式对吧今天如果用这种一些 GPU 算力介入的轻度人工智能的渲染器的出现之后呢我们的用户他不需要专业的知识个人的创作者个人的这些 up 主也好

YouTuber 也好他其实他已经可以利用到这样的方式他只要在脸上扒一点直接就告诉你把这人抠出来就行了后面这个人都被抠出来他的前端不需要 GPU 的他前端是个非常轻量的他甚至就是一个手机一个平板因为后台有 GPU 后台有算力他的这个

和这个打标签的这个 segmentation 的这个动作已经交由后台去做了就是像你讲的 SaaS 也好或者 platform as a service 也好这样的方式让后台的 platform 去做 NVIDIA Omnibus 就是

你可以理解成一个平台那我们已经可以完成很多的这样的功能都是让后台的 GPU 去做前端你是一个非常轻量级的设备我们的 NVIDIA 的合作伙伴对于我们的影视传媒行业的可能是一些专业的生产力工具他其实更多的在做这个工作

像我们开这种视频会议的软件比如说 Zoom 或者腾讯它不是都可以选这个背景吗这个 NVIDIA 也有一个专门的软件叫 Maxim 是一个我们的 SDK 来举个例子我跟你讲话的时候眼神会飘你看对吧我眼神在飘为什么呢因为我一会看看手机一会看看平板一会看看某一个我们谈到的 topic 我可能把这个我们讲的话题的一些 point 我调出来比如说之前我准备的一些知识点我可能调出来但是对于

参会者对于你而言你的感受很不好因为我的眼神老飘我根本没有看着你对吧那我们其实可以用 NVIDIA 的技术它可以保持我的眼神的聚焦就是无论我眼睛看哪它都可以让你感觉我在看着你我在指示你就是眼神一点都不飘很多视频会议软件都有这功能大家实现的方式不同但是其实都差不多

这个是最简单的 NVIDIA 有一些专门的软件比如说你可以去下载甚至你个人电脑消费级电脑都可以去下载叫 NVIDIA Broadcaster 的软件这个软件它可以做很多功能比如说眼神聚焦比如说固定我在画面的正中间我可以在房间里走来走去它仍然可以实时的把我永远聚焦在这个画面的正中间有个例子我在台上做演讲的时候可以从舞台的左边走到右边对吧它可以基于 AI 的动作的跟踪

自动的画面的剪裁让我保持人物保持在画面的中心点保持我眼神的聚焦还有呢就是什么呢

我们今天做视频软件做视频会议其实很耗这个流量的我们现在流量非常好对吧大家都用 5G 如果我们今天在一个网络不好比如说我在做科考做野外的环境的实时的开荒等等这样的甚至是比如说用无人机拍摄的一些场景比如说现在典型的 MME 行业的应用做这个直播我今天打个比方这个发生了山火我这主持人站在这旁边来一台这个

卫星车连线然后后面的 B 肉叠加的是什么呢是这个无人机拍摄的这个整个这个山火的场景对吧那么这个场景里面最后呢我想把人做成好像是我人真的坐在直升机上去拍这个画面就非常生动了对吧

但是呢我人又不在这身体上人我就是站在那对吧那最后可能要把这个画面叠加起来用 AIGC 的方式叠加起来那么我们最后的 NVIDIA 想到的有一些实现的方式就是首先我做数字人我的主持人大家比方今天是一个一个非常有名的这个名嘴那我先给他就像我们的黄仁勋先生一样我先给他做数字人然后呢我再把他的

所有的实时的语音语调全部投射到他脸上去那这个时候呢传播出来的这个视频我又不想说真的利用这个非常差的网络连接画面的实时传播因为这个是对于当时的 internet 的带宽而言可能是有些挑战的可能画面不连贯很卡那于是呢我在前端只是放这个数字人的坐标那么我的后端直播的时候只是把他的

用 AR 识别出来他嘴部的几个坐标表情脸部表情的几个坐标只传坐标这个坐标传输的时候这只是数字这个对于带宽的这个开销是非常低的那这个数字的坐标传到后端的服务器云的服务器上在云的服务器他这个时候他的算力也好他的网络也好就非常好他就可以实实在在做成一个虚拟的这个数字人然后逼真的呈现出来今天我们就两个人做视频会议没关系我们

每次 GTC 如果要做视频会议在线的可能是几百个人级别的视频会议甚至上千人的视频会议全球的媒体分析师专家包括我们的高层可能都在一个

这个视频会议的直播房间里面那这个时候对于网络的开销是非常大的那如果使用 NVIDIA 的这样的一些相关的 SDK 和一些中间键视频会议的时候因为它识别了你的脸然后它传送的只是你的画面的一些坐标和你的语音然后它就自动投射到你的面部上对于观看侧的这些用户的感官是非常好的但同时又非常节约带宽能够在同样的成本和同样的网络开销下实现更多的容量的接入

这个其实是非常行之有效的一种方式已经在商用了我有一个很好奇的点其实 NVIDIA 的人不算很大我们是个非常小的公司刚才说到一些产品和需求我感觉还挺细的那你这种东西是怎么决策说我要去到底开发什么开发什么了而且你们又不服务比如说像 Eason 这样的最中段的客户其实你们中间是隔了很多中间环节的供应商的你怎么去敏感地获得这些市场上的信息然后再来反过来决定我到底去研发什么东西

因为我们跟大部分的 RSV 也好或者说商用生产力工具的开发者而言我们有非常紧密的合作 NVIDIA 我们有一个团队叫做开发者关系和开发者技术这个团队这两个团队在 NVIDIA 内部可以看到其实我们这两个他不实实在在的去卖产品但是这两个团队他其实是 NVIDIA 非常重要的团队我记得如果没记错的话 2009 年

15 年前我去美国参加 GTC 我们的 CEO 请了当时我们的 DevRel 和 DevTech 这个团队的一个 e-staff 也是非常高层上台去做一个技术演示当时我们 CEO 就说我们这个团队花了无数的钱但是我们这个团队是非常重要的因为它可以让我们

build 一个桥梁让所有的开发者知道 NVIDIA 开发了什么产品有什么技术可以让他们能够加速他们的产品同时又让我们内部的研发人员和工程师知道所有的开发人员他需要什么样的产品

需要什么样的软硬件的堆叠需要什么样的技术那这个桥梁是非常重要的让我们可以保持我们的产品的领先力能够保持我们对业界的敏感度那其实 NVIDIA 你可以看到我们投资了大量的人力物力的资源虽然我们是一个很小的公司但是我们仍然愿意把非常多的 manpower 放在跟开发者之间的沟通

的这样的一个工作上可以帮助我们能够实时获得市场上最敏锐的一手的前端的用户需求和资讯所以这是非常非常重要所以我们今天可以看到针对 developer 针对开发者而言我们在每一个区域每个 region 包括在我们在中国也有相当庞大的团队来去支持他们来去跟他们一起合作携手去打造更好的这样的一个成果

就你刚才说到那个 NVIDIA 是很小的公司录这期节目之前然后我跟 Ethan 也有就聊到了说他最近去了一次美国有去到 NVIDIA 的总部有一个参观的经历我觉得你也可以分享一下吧因为我觉得很多人肯定都还是挺好奇的其实当时是参加了一个腾讯组织的跟 NVIDIA 的交流的一个活动确实这个去 NVIDIA 的时候给我感受最深就感觉哎呀硅谷的老新贵的感觉就是说他那个所在那个位置这个确实

很明显是一个一家硅谷的老板就是他的这些这个办公楼也好或整个园区感觉就是一个更像一个比较务实的创业公司我想补充一下 Eason 讲得很对我们公司对于创业是是非常有渴求的这个危机意识危机感非常非常强烈为什么呢因为我们研究的产品和技术的领域太前沿了我们的 CEO 经常说 NVIDIA 距离倒闭只有 30 天我们这句话你可以在网上可以搜索到这句话因为首先我们要激励自己的员工不能松懈嘛对吧

因为我们的产品太前沿了我们的投资放在这些上面如果这些应用它不能落地或者说这些应用偏离了市场的主流方向那可能意味着我们的相当大的一部分投资都可能打了水漂也就是说我们必须要时时刻刻的激励自己把产品要把技术要把创新要做好能够服务好所有的开发者

十几二十年前我们的股票还没有起飞我们也是一个可能只有几千人两三千人的小公司的时候我们的产品其实跟现在一样大家不知道 GPU 能做什么大家都觉得 NVIDIA

做显卡的那显卡是干嘛呢打游戏的那大家以前都是觉得这样的你能做生产力工具吗当时大家没想过你要做 AI 啊做人工智能啊做算力啊等等对吧那其实所有的业界的分析师也好或者说机构也好投资者也好因为 NVIDIA 就是一个用国内通俗的言言来说就是一个野蛮生长的公司对

很有憧憬很年轻朝气蓬勃然后呢做的事当时大家就觉得搞不清楚 Media 在做什么因为你们的研发太前沿了华尔街的那些那些机构的大佬和投资人们都看不懂嘛因为老钱不知道我们在做的事情包括今天你也讲像 Eason 也可以看了

NVIDIA 在硅谷给大家感觉就是我们是非常有冲劲有这种创新意识的公司你可以看到我们的园区也好我们做的产品技术大家讨论的内容整个这个 public area 洋溢的这种气氛是太一样了

然后我们今天最后一部分想延展的聊一下就是这个技术和创作的关系我觉得这个也是新技术来临之后其实每一次都会去讨论比如说当年这个照相技术发明可能也会讨论说它对绘画这种艺术的影响那现在 AIGC 产生之后大家也会去想它可能会怎么改变创作

有一种观点就是觉得 AI 可能只能生成一些比较平庸的东西然后因为比如说像尼森你是在这个行业里然后你也能看到很多人每天用这个东西不知道你是怎么看这个的我觉得 AI 的真正的魅力在于就是让很多人更便利的去创作让创作的这个门槛降低了 AI 的魅力不在于你拿它跟张艺谋分小刚比或者说能帮助张艺谋分小刚做什么

AI 的魅力其实在于可以帮你我这样平常人帮我们去激发我们本来就被压抑的或者被束缚的创作能力整个产业里过去一直都在发生这样的事情就像最早你说的其实他们那个时代可能创作在电视台

我们这个时代可能创作转移到了这些博主包括你看我们在做的网络电影我们很多网络电影出来的导演在我们平台上以前拍个短片他根本不是电影行业的他没办法去拍长篇但是这种新的技术新的媒介就给了这些人机会然后让他们去涌现出来

我觉得 AI 一样 AI 可能是并不会让我们平台上那些特别专业的创作人在创作内容这件事情有巨大的进步它的点在于让很多的普通人都可以参与到创作中这些普通人加上 AI 创作出来的东西可能有朝一日会打败过去很专业的传统领域的这些创作人

其实你说这个东西在没有 AI 之前也在发生对吧对是的是的比如说像今年国庆党不是出现好多硝烟吗是的还有像大鹏也算是现在中国导演里他的票房什么也还算比较好他们其实以前也都是拍短片的是的其实我们芯片厂创业这么多年我们就看到了我们平台是很多过去拍短片的创作者都一步一步走上大荧幕

拍了这个几十亿票房的的这个影片包括你像呃现在我们这个社区领先创作者已经好像有三个金像两个金马奖了就这些人在过去就是拍短片的就拍拍小微调我觉得 ai 会加速这件事情就是会让加速会让很多

人有创作的这个能力对就有可能他并不是一个专业院校背景出身的但是他有他自己的特别想表达的东西有他独特的视角他可能就能借助 AI 这种工具去把它表现出来是的以前有很多事情必须要人做今天你可能电脑可以做专业人员有很多场景很画面你看起来是穿帮的是一眼假你看了就知道这个东西是用不了的没法做素材的

那现在因为 AI 迭代了越来越智能了所以他做出来的东西呢非常的逼真实对于我们的个人的创作者就像 Eason 说的以前他可能就是拍一个短片的他以前有个很好的想法但是他以前根本没有办法实现但是今天我们借助 AI 他实现了而且非常低成本非常快速的他就实现他可以表达他的所有的内心的真实的想法把他的创作能够实实在在拿得出一个作品而不像以前

你可能你光空一个想法你做出来的这个视频做出来的这个渲染的成果可能

通俗的说幼稚的可笑拿不出手但是 NVIDIA 我们在过去做了很多类似的引导的工作比如说我们 Omnibus 做了在中国我们就做了这个创作者的比赛我们的用户用 OV 去做一段视频然后拿去给专家组做评审做出很复杂的光影效果的后期渲染拿出来一个真的是美轮美奂的作品这个大家去网上搜索搜索 NVIDIA Omnibus

竞赛之类就会有很多类似的获奖作品大家可以看一看对于一个普普通通的可能甚至是一个在校的学生他用一个个人的消费级的笔记本电脑他就可以做出来这样的场景其实这个得益于科技的进步得益于 GPU 的发展算力的进步人工智能的进步等等等等 NVIDIA 致力于打造这个行业的每一个进程我们投资了大量的人力物力在这里面

然后另一面的话我觉得就是聊到这个技术对创造的一些改造和塑造大家其实也会讨论它风险的一面比如说行业里的有些工种可能就变成是机器来做这是最直接的那再往下就是 AI 元素加入之后艺术创作的性质也会发生变化这中间可能涉及到创意权的归属等等问题

然后 NVIDIA 也是行业里非常前沿的公司你们可能也做了一些工作去帮助升级和改造媒体娱乐产业的同时也更好的去发挥 AI 技术好的一面

可以分享一些做法吗所有的数字资产你必然要给它设置数字围栏这是个信息安全的比如说像这个增长检索就是 reg 这个部分或者说像大模型有很多我们给它圈一个数字围栏来做数字防护也就是说它所有的人工智能创作要在这个围栏里面它不能天马行空的去做比如说

传统的道德观念比如说信息的一些安全层面的一些方面等等各式各样的影响我们要让我们的 AI 创作在我们认为我们需要的这个领域里面举个例子我今天做这个艺术创作我本来是创作中国元素的国风的对吧我不希望他这个 AI 创作的东西出来受到这个比如说这个西方的美学的这西方作品的影响那最后创作出来的东西可能是四不像了对吧

我可能就给他设置一个数字围栏所以在这个里面对于整个的 pipeline 是非常讲究的那这个前提是我们的这个无论是未料也好无论是后期的 prompt 也好所以你可以看到 AI 是一个非常体系化的一些科学的一个工程以前我们在大学里面像大家念什么 WE 对吧

或者念计算机科学 CS 也好今天我们的大学里面针对 AI 已经有 Prompt Engineering 这个专业了也就是说你 Prompt 的好不好直接带来你 AI 生成的内容好不好所以这个是一个非常科学化体系的一个过程所以我们的 AI 可能在很多方方面面仍然受到人类的主导

不是说 AI 就啪就给你把你的工作都替换掉了我们以后都失业了其实 AI 仍然催生了许多新兴的行业新兴的人类的岗位来去用人去更好的 supervise 这个 AI 去更好的 manage 这个 AI 其实科技的发展跟人类是相辅相成缺一不可的

最后想问两位的一个问题就是说我们普通人如果有这种创作的想法然后我们可以现在这个阶段从什么方面去入手你们有什么建议啊

我觉得创作热情最重要其实我们社区的 slogan 叫用作品打动世界其实这句 slogan 其实一直激励了社区平台很多的创作人大家很多人用户跟我们反馈当初可能就是因为这么一句话因为一句热血的话去加入到这个行业的

我觉得在这个基础之上第二件事情就是得多看 AI 时代 AI 的工具其实帮我们降低了创作的门槛但这里面更核心一件事情还是你自己的 idea 或你自己的内心的想法这是一切的根源后面才是 AI 作为你的助手作为你的团队帮你去实现你的想法

就是那你的想法哪来呢就是可能更多的还是在于你自己的一些经历一些见识一些认知这些东西组成了你内心深处的这个想法的本源在这个旧上可能有更多后面会有更多更多的 AI 的工具去帮你去实现你的想法

但是我觉得首先第一件事情就是要心怀热情且能够有自己内心真正想表达的东西这个其实才是最重要 Sershi 你有什么建议吗我觉得 Eason 说的非常好因为我们人类的情感是 AIT 的话不了我们很多打动自己的内心深处的东西

AI 可能能打动我们但是 AI 不会被打动所以呢我们可能有很多情况下我们自己的需求能够实实在在推动这个行业的变革和科技的发展所以我们最终把自己的内心表述出来的时候它一定有某一些需求比如说我想要做一个什么

我想要达成一个什么效果我想要有一个怎么样的呈现而这些在过去可能受制于科技和生产力未能实现但是当这些需求被推向前台的时候科技公司也都会看到这些需求于是大家会朝着这些需求去研发去投资最后大家齐心协力一起把这个行业把这个技术来做得更好更强大

当然最后实实在在变成了获利所以我们的个人的用户而言我觉得首先就像医生讲的你要有想法你内心你要自己追求的东西第二是我们希望中国的开发者也好创意者也好能够把你们的需求

表达出来让所有的科技公司都听得到你的需求于是我们能够一起把这个行业共同营造一个更美好的未来其实我自己想到一个很简单的点可以去参加 VDI 的比赛对吧你正好有一个小目标你可以激励自己比如在一个相对的时间范围内你做出一个什么样的作品这个实实在在可以帮助到我们的小伙伴我们的开发者我们的创业人员因为我们的 Oniverse 对于个人创作者是免费开放的大家可以免费注册使用我们里面的许多免费功能

而且这些像里面有很多永远声的甚至算力 GPU 都是在云上的这些都是免费给大家开放的大家可以试试看那我想补充一下比如说像芯片厂就是 Ethan 这边他们如果作为一个公司制片方来用你们这个东西它现在是到底是很贵啊还是说

其实整体下来事实上我们有不同的方法我们有 Omnibus 针对个人开发者的和针对商业应用的就是我们有针对 Individual 的还有这个针对 Enterprise 的就是我们分别叫 OVI 和 OVEOmnibus for IndividualOmnibus for Enterprise 还有我们的 NVAIENVIDIA AI Enterprise 有很多营业生的方案所有的 GPU 你可以按

租用的方式买我们的 license 按时段去租用我们的 GPU 那其实这个就像你的租算了一样那因为我们里面已经带了 NVIDIA 非常多的这个开发平台软件的 SDK 等等等等

NVIDIA 是一个全战式的软件解决方案的提供商我们不仅仅是做芯片的我们不是一个只做芯片的芯片的硬件产业我们是一个 Full stack 的 platform provider 这个非常关键其实像很多 AI 的领域领域的应用的一些开发组件我们都已经提供了甚至包括一些原代码我们都可以提供了

还可以跟全球数千成千上万的开发者一起去互动讨论人工智能和 M&E 行业的最新前沿的应用方式

好的感谢因为这是一个福利就是免费的然后如果个人的创作者想去用这个东西的话可以去网上搜索今天非常感谢两位作客晚点聊和我们分享了在影视行业技术是怎么改变影视创作尤其是新的 AI 到来之后带来了更多的哪些变化我觉得两位分享的特别好的一点就是 AI 作为一个技术它更多是帮助我们把内心的想法更好的表达出来发掘出来

同时现在 AI 很重要的一个作用就是可以降低内容创作的门槛那感谢各位听友我们今天的节目就到这里各位再见拜拜再见好各位小伙伴再见谢谢拜拜

下期再见