cover of episode Jensen Huang and Arthur Mensch on Winning the Global AI Race

Jensen Huang and Arthur Mensch on Winning the Global AI Race

2025/3/21
logo of podcast a16z Podcast

a16z Podcast

AI Deep Dive AI Chapters Transcript
People
A
Anjana Mehta
A
Arthur Mensch
J
Jensen Huang
领导NVIDIA从创立到成为全球加速计算领先公司的CEO和联合创始人。
Topics
@Jensen Huang : 我认为AI是减少技术差距的最强大力量,它对每个国家的GDP都会产生巨大的影响。每个国家都必须自己建设AI能力,没有人会替你做这件事。AI既是通用型技术,也是高度专业化的技术,需要结合国家文化和特定领域知识进行开发。国家应该将AI视为数字劳动力,积极参与其发展和管理,就像管理普通员工一样。国家应该拥有对自身数字数据的控制权,并决定如何利用它造福人民。建设AI系统并非像想象中那么困难,而且技术也在不断进步。 @Arthur Mensch : AI不只是计算基础设施,也是文化基础设施,争夺AI主导地位关乎国家主权。AI是一种通用型技术,因为它改变了我们构建软件和使用机器的方式,可应用于各个领域。AI是国家战略重点,因为它可以应用于各行各业,改善民生,并用于国防等重要领域。构建AI需要通用模型和特定领域的专业知识相结合。国家或企业需要将自身知识融入AI系统,使其更准确地满足特定需求。AI的开发需要横向技术提供者和垂直领域专家的合作。AI与电力类似,但它是一种内容生成技术,需要更深入地融入国家文化和价值观。AI是一种社会建构,需要融入企业的文化和价值观,国家需要积极参与其中。开源模型对于主权和技术进步都至关重要。 @Anjana Mehta : 全球AI竞争已扩展到国家层面,涵盖芯片、模型、应用及相关基础设施和人才。AI是通用型技术,类似于电力和印刷术,会广泛加速经济发展。国家是否需要控制AI堆栈的每一部分?国家需要定制模型,并将其与国家图书馆中的知识相结合,以满足自身需求。国家需要构建一个平台来定制、保护、评估和改进AI系统。国家需要能够部署、维护和改进定制的AI系统。IT部门将负责管理国家的数字劳动力。大型国家和小型国家应该如何构建AI堆栈?AI系统中既包含软性因素(文化、偏好),也包含硬性因素(规则、法律)。AI可以处理生活中模糊的偏好和文化因素。AI不仅是计算基础设施,也是文化基础设施。集中式AI模型无法编码所有国家的文化和专业知识。不拥有AI主权可能相当于现代数字殖民化。未来AI将包括通用型AI和特定领域AI。

Deep Dive

Shownotes Transcript

这是世界上有史以来最伟大的减少技术差距的力量。它将在未来几年对每个国家的GDP产生两位数的影响。没有人会为你做这件事。你必须自己做。这取决于组织、企业和国家来构建他们需要的东西。

所面临的风险基本上等同于现代数字殖民化。人工智能不仅仅是计算基础设施,它也是文化基础设施。

人工智能主导地位的竞争不仅限于公司,而且越来越受到各国的关注。这包括跨越堆栈每一层的基础设施。芯片、模型、应用程序,以及运行这些所谓的“人工智能工厂”所需的能源、生产它们所需的人才,以及有助于而非阻碍整个生态系统的精心设计的政策。所有这一切都变得至关重要。

设置总是很困难。这没有什么不同。唯一的问题是,你是否需要这样做?如果你想成为未来的一部分,而这是有史以来最重要的一项技术,不仅仅是我们这个时代,而是所有时代,数字智能,它还能有多么宝贵,多么重要?

在今天的节目中,我们将探讨主权人工智能以及大大小小的国家之间对人工智能基础设施的区域竞争。而讨论这个问题,没有人比我们的嘉宾黄仁勋和阿瑟·门施更合适了。

当然,詹森是英伟达无可替代的联合创始人兼长期首席执行官,英伟达公司以其不断创新和能够押下关键赌注而闻名,例如推动其成为市值超过3万亿美元(截至本录音时)的最大公司之一的GPU(图形处理单元)。当然,英伟达生产的GPU等产品也是当今我们数字世界许多产品的支柱。

另一方面,阿瑟是Mistral的联合创始人兼首席执行官,Mistral是一个领先的人工智能实验室,专注于可定制的开源前沿模型,以及越来越多的工具,以帮助公司甚至国家参与人工智能。今天,阿瑟和詹森与A16Z的普通合伙人Anjana Mehta坐在一起,探讨了国家层面数字智能的作用,以及各国应该如何考虑所有权、规范其文化以及开源应该发挥的作用。

好了,让我们开始吧。提醒一下,此处的內容仅供参考;不应将其视为法律、商业、税务或投资建议,也不应将其用于评估任何投资或证券;并且不针对任何A16Z基金的投资者或潜在投资者。请注意,A16Z及其关联公司也可能在本次播客中讨论的公司持有投资。有关更多详细信息,包括我们投资的链接,请访问a16z.com/disclosures。

今天我们讨论的是主权人工智能、所有国家基础设施和开源。所以让我们从我通常从国家领导人那里得到的第一个问题开始吧,那就是,人工智能实际上是一种通用技术吗?

在人类历史上,我们可能只有少数几个,22个,24个经济学家称这些特定技术能够广泛地加速整个社会的经济进步。电力、印刷机。

现在每个人都在问的问题是,这是思考人工智能的正确方法吗?或者为什么人工智能不是另一种重要但最终是狭隘的技术?我认为它是一种通用技术,因为它基本上彻底改变了我们构建软件和使用机器的方式。因此,就像互联网是一种通用技术一样,人工智能在这里也是一种通用技术。

它允许构建代表你做事的主体。在这方面,它可以用于行业的任何垂直领域。它可以用于服务,用于公共服务。它可以用来改变公民的生活。它可以用于农业。它显然也可以用于国防目的。因此,它涵盖了国家需要担心的所有事情。因此,在这方面,任何国家都将其作为优先事项并制定专门的国家人工智能战略是很自然的。

顺便说一句,阿瑟说的每一句话都是100%正确的。这也是每个人都放弃的原因,而且完全错误。原因如下:如果它是一种通用技术,并且一家公司可以构建最终的通用技术,那么为什么其他人不应该这样做呢?

这就是缺陷。对。但这也是一种心理技巧,可以让人相信智能只是少数人应该去构建的东西。每个人都应该坐下来等待。我会建议……

每个人都参与人工智能,这不仅仅是世界上少数几家公司应该构建它。每个人都应该构建它。没有人会比瑞典更关心瑞典文化、瑞典语言、瑞典人民和瑞典生态系统。

没有人会比沙特阿拉伯更关心沙特阿拉伯的生态系统。没有人会比以色列更关心以色列,尽管这项技术是通用的。绝对正确。智能怎么可能不是通用的呢?它也是高度专业化的。原因是,让我们面对现实吧,

我不认为我会等待一个通用的聊天机器人成为特定疾病领域的专家。我仍然认为,我宁愿让该领域的超专业人士来微调、训练和后期训练(如果可以的话)一个将专门用于该领域的AI模型。它是一种通用技术,就像编程语言是一种通用技术一样。

除此之外,它还是一种承载文化的技术。所以我认为这意味着

存在基础设施。显然,并非每个国家都会制造芯片。存在通用模型,例如基础模型,对网络的压缩最终将是开源的,并且可以作为构建专业系统的正确基础。但除此之外,我认为这取决于组织、企业和国家来构建他们需要的东西。因此,使其发挥作用的方法是采用通用模型,例如开源模型,

并获得你特有的知识,或者要求你的公民或员工将他们的知识提炼到系统中,到将代表你工作的代理中。这样,这些代理就会逐渐变得更准确,并遵循国家或企业可能制定的指令和规范。因此,你需要垂直沟通。

专家,或者你需要文化专家,或者你需要具有特定国家议程的人员与技术公司合作,以一种易于使用且易于专业化的方式公开开源基础设施。所以我认为这就是前沿所在。这是一种非常水平的技术。要从中获得任何有用的东西,你需要水平提供者和垂直专家之间的合作。

但是,与历史上之前的通用技术浪潮(如电力或印刷机)相比,这一次有什么不同?如果我是一位国家领导人,并且试图了解适合我在我的国家思考人工智能的正确框架,我应该将其视为数字劳动力吗?我应该将其视为类似于桥梁吗?

我认为它类似于电力,因为它将在未来几年对每个国家的GDP产生两位数的影响。这意味着从经济角度来看,每个国家都需要关注它,因为如果他们未能建立基础设施以在正确的地方建立自己的主权能力,这意味着这笔资金可能会流回其他国家。因此,这正在改变世界各地的经济均衡。

从这个意义上说,这与电力并没有太大区别。一百年前,如果你没有建造发电厂,你就是在准备从你的邻居那里购买电力,这最终并不好,因为它会造成一些依赖。我认为在这个意义上,它是相似的。我认为有两点相当不同。首先,

所以它是一种无定形技术。如果你想用它来创造数字劳动力,你需要塑造它。你需要拥有基础设施、人才和软件。人才需要在当地培养。我认为这一点非常重要。原因是,与电力相比,这是一种内容生产技术。因此,你拥有生产内容、生产文本、生产图像、生产语音、与人互动的代理。

当你创作内容并与社会互动时,你就会成为一种社会建构。在这方面,社会建构理论、企业或国家的文化和价值观。因此,如果你希望这些价值观不会消失,并且不依赖于中心提供商,你需要比参与电力更深入地参与其中。詹森,你同意吗?有几种思考方式。

你的国家的数字智能不太可能是你想要外包给第三方而不加考虑的事情。你的数字智能现在只是你的新基础设施。你的电信、医疗保健、教育、高速公路、电力。这一新层是你的数字智能。你有责任决定你希望这种数字智能如何发展。

以及你是否希望将其外包,这样你就不必再担心智能了,或者这是你感觉想要参与的事情,甚至可能将其塑造成国家基础设施。当然,它具有阿瑟所说的所有内容。

人工智能工厂、基础设施等。你还可以将其视为你的数字劳动力。现在这是一个新的层次,你必须决定你国家的或你公司的数字劳动力是你决定外包的东西,希望它按照你想要的方式发展,还是你想要参与的东西,甚至可能决定控制,

并培养和改进。我们一直都在招聘通用员工。我们从学校招聘他们。有些人比其他人更通用。有些人比其他人更聪明。但是一旦他们成为我们的员工,我们就会决定让他们入职、培训他们、为他们设置防护栏、评估他们、不断改进他们,

我们进行必要的投资,将通用智能转化为我们可以从中受益的超级智能。所以我认为,从这两个方面来看,它都有助于国民经济。在这两种情况下,它都有助于社会进步。在这两种情况下,它都有助于文化。

我认为在这两种情况下,一个国家都需要发挥非常积极的作用。所以我认为这回到了你最初关于主权人工智能的问题,如何看待它。是的,它绝对是一种通用技术,但你必须决定如何塑造它。你国家的数字数据属于你。你的国家图书馆,你的历史,只要你想数字化它,

你可以让全世界的人都能使用它。你也可以让本国公司或研究机构使用它。它属于你。

当然,这些都是虚无缥缈的东西。它们是非常软的概念,但它确实属于你。你可以决定它属于你,因为这就是你的起源。你可以决定如何将其用于造福你的人民。它属于你,因为它是你塑造其未来的责任。主权人工智能。这是你的责任。国家资助和保护的其他几种类型的资产。

军队,你的电网。假设我现在已经理解了人工智能基础设施和主权人工智能的关键性。我现在是否必须控制堆栈的每个部分?詹森提到,我想,数字劳动力。对。我认为这是一个很好的类比,你需要一个用于你的AI劳动力的入职平台。

这意味着你必须能够定制模型,并将存在于你的国家图书馆中的知识注入模型中,以便它突然更好地理解你的语言。你需要让你的系统了解你的法律,以便在你部署AI软件时设置的防护栏符合规定。因此,需要定制、设置防护栏、评估和

然后,当注意到某些事情需要改进以修复问题、调试问题时,这就是我们正在构建的平台。

能够部署易于调整的系统,并与这些平台提供商合作来构建自定义系统。一旦创建了自定义系统,就必须能够自己维护它们。这意味着能够将它们部署在自己的基础设施上,能够要求你的技术合作伙伴可能从循环中消失。你的IT部门将成为你的数字劳动力的HR部门。

他们将使用阿瑟描述的这些工具来入职AI、微调AI、为AI设置防护栏、评估AI、不断改进AI。对。这个飞轮将由IT部门的现代版本管理。对。我们将拥有生物劳动力,我们将拥有数字劳动力。这太棒了。

因此,没有人会为你做这件事。你必须自己做。这就是为什么即使我们世界上有这么多科技公司,每家公司仍然有自己的IT部门。我有自己的IT部门。我不会将其外包给其他人。将来,它们对我来说将更加重要,因为它们将帮助我们管理这些数字劳动力。你将在每个国家都这样做。你将在这些国家内的每个公司都这样做。因此,空间……

对于阿瑟所描述的利用这项通用技术,但将其真正微调成领域专家。他们是国家专家,或者他们是行业专家,或者他们是公司专家,或者他们是职能专家。

这是未来,巨大的未来人工智能空间。所以你们两位都说了我想确保自己理解正确的事情。你称它为软概念,如你的文化,并且你说训练数据中有一些规范,你根据这些规范定制模型。你说规范。这恰好意味着它是软的,而不是规则,规则更硬。或者算法和法律,它们非常具体。对。

你想将不同的东西整合到你的AI系统中。有一些风格和知识的元素,你不会通过严格的防护栏来执行,你可以通过持续训练模型来执行,例如。你采用偏好,并将其提炼到模型本身中。然后你有一套法律,如果你在一家公司,你有一套政策,这些政策是严格的。

因此,通常构建它的方法是将模型连接到严格的规则,并确保每次回答时都验证规则是否得到遵守。一方面,你以一种软的方式将知识注入模型中。另一方面,你确保你有一组严格执行并具有100%准确性的政策和规则。一方面,这是软的,这是偏好,这是文化。偏好。某人的偏好是多维的。

你知道,你更喜欢什么。这取决于。它在交流中很多时候都是隐含的。好吧,定义我的偏好的特征太多了,太多了。需要人工智能才能精确地遵守阿瑟刚才描述的描述。你能想象如果一个人必须用Python编写这个吗?

描述每一个,用C++捕获每一个。基于此,我更喜欢那个。但是如果你那样做了,我更喜欢其他的。我的意思是,规则的数量会非常疯狂。这就是人工智能能够对所有这些进行编码的原因。这是一种新的编程模型,可以处理生活的模糊性。

好吧,听起来你是在说人工智能不仅仅是计算基础设施。它也是文化基础设施。是的,它是。对吗?并且它确保你的文化基础设施和公司或国家中的人类专业知识能够进入AI系统。对。文化反映你的价值观。我们刚才谈到这些AI模型、AI服务如何对你的提问类型做出不同的回应。对。因为它们将文化编码。

他们服务的价值观或他们公司的价值观编码到他们的每一项服务中。

你能想象现在在国际范围内放大这一点吗?这是集中式AI模型的固有限制,你认为你可以将一些普遍的价值观和一些普遍的专业知识编码到通用模型中。在某些时候,你需要采用通用模型,并询问特定员工或公民群体,他们的偏好和期望是什么?你需要确保你以软的方式和

以及通过规则、文化和偏好来硬化模型。而这部分不是你作为一个国家可以外包的。这不是你作为一个企业可以外包的。你需要拥有它。那么,如果它是文化基础设施,而我不拥有它的主权,说所面临的风险基本上等同于现代数字殖民化是否言过其实?如果你说,Anj,你必须将人工智能视为几乎就像你的数字劳动力。

而另一个国家或不是我主权国家的某个人可以决定我的劳动力可以做什么和不可以做什么。这是一个问题。其中一些是普遍的。例如,某些公司可以为世界各地的国家、社会和公司服务,因为这基本上是普遍的。但它不能是唯一的数字智能层。它必须由一些区域性事物来增强。

你知道,我认为麦当劳在任何地方都很好。好吧。肯德基在任何地方都很好。但你仍然想要增强其上的当地风格、当地口味。最后一英里。没错。当地的咖啡馆,夫妻店餐厅,因为它定义了文化。对。它定义了社会。它定义了我们。我认为麦当劳在任何地方都很好,你可以在任何地方都能指望它,这很好。你知道,我认为这很好。但是你需要有当地的口味、当地的风格、当地的偏好、当地的卓越、当地的

服务。让我换一种说法。在未来我们的数字劳动力背景下,我们很可能拥有一些通用的数字工人。他们只是非常擅长做一些基础研究或其他基础工作。优秀的大学毕业生。或者他们对每家公司都有用。我没有必要创造新的东西。我认为Excel非常好。

微软Office在全球范围内都非常出色。对。我对此完全满意。良好的参考架构基础。没错。然后是特定行业的工具。对。非常重要的特定行业专业知识。例如,我们使用Synopsys和Cadence。阿瑟不必这样做,因为它特定于我们的行业,而不是他的行业。

我们可能都使用Excel。可能都使用PDF。我们都使用浏览器。因此,我们都可以利用一些普遍的事物。我们将有一些我们可以利用的通用数字工人。然后将有特定行业的。然后将有特定公司的。在我们公司内部,我们有一些对我们非常重要的特殊技能,这些技能定义了我们。它是高度偏向的,如果你愿意的话。是的。

非常严格地进行非常具体的工作,高度偏向于我们公司的需求和专业知识。因此,我们在这些领域变得超人。好吧,你的数字劳动力将是相同的,人工智能也将是相同的。有些你可以直接拿来使用。新的搜索很可能是一些人工智能。新的研究可能是一些人工智能。但是

但是然后将会有我们可能从Cadence和其他公司获得的行业版本的人工智能。然后我们将不得不使用阿瑟的工具来培养我们自己的人工智能。对。我们将不得不微调它们。我们将让他们入职。我们将使它们变得不可思议。

我非常同意这种拥有通用模型,然后为行业进行一些专业化层,然后为公司进行额外专业化层的愿景。你将拥有一棵越来越专业的人工智能系统树。也许为了用我们最近所做的事情举一个具体的例子,所以我们在1月份发布了一个名为Mistral Small的模型,它是一个通用模型。所以它说所有语言,它大多了解大多数事情,但是然后我们

我们所做的是,我们采用了它,并开始了一个新的专业模型系列,这些模型专门用于语言。因此,我们采用了更多阿拉伯语、更多印度语系的语言,并对模型进行了重新训练。因此,我们提炼了初始模型没有看到的额外知识。因此,在这样做的时候,我们实际上使它在说阿拉伯语和印度半岛的语言时更地道得多。因此,语言可能是你在专业化模型时可以做的第一件事。

好消息是,对于给定大小的模型,如果你选择将其专门用于某种语言,你可以获得更好的模型。因此,今天,我们的模型,即24B,它被称为Mistral Saba,它是一个针对阿拉伯语进行微调的模型,其性能优于其他大五倍的语言模型。原因是我们进行了专业化处理。

这就是第一层。然后,如果你考虑第二层,你可以考虑垂直领域。因此,如果你想构建一个不仅擅长阿拉伯语,而且擅长处理沙特阿拉伯法律案件的模型,那么你需要再次对其进行专业化处理。因此,需要与公司合作做一些额外的工作,以确保你的系统不仅擅长说某种语言,而且擅长说某种语言并理解在这种语言中完成的法律工作。

因此,对于你能想到的任何垂直领域和语言的组合都是如此。我明白了。你想要一个法语的医疗诊断助手。好吧,你需要擅长法语,但你还需要了解如何擅长说法语医生的语言。对。因此,这两件事,作为通用模型提供商很难做到。

如果这是真的,并且你所描述的是真实的,我需要在本地规范、本地数据上定制此AI层的能力,这从技术能力的角度来看相当复杂。你会如何建议一个大国来考虑我们正在谈论的堆栈,芯片、计算、数据中心、位于应用程序之上的模型,以及最终你所描述的AI护士或AI医生?

你会如何以不同的方式建议一个较小的国家?

我会说你需要购买和设置堆栈的水平部分。因此,你需要基础设施,你需要推理原语,你需要定制原语,你需要可观察性,你需要能够将防护栏连接到模型,将模型连接到信息源,实时信息。这些是跨不同国家、跨不同企业相当好地分解的原语。

一旦你有了这些,这些都是可以购买的东西。然后你可以开始工作。然后你可以开始构建。根据你的价值观、你的专业知识以及你的当地人才来构建这些原语。问题是,水平和垂直之间的界限在哪里?如果你是小型企业或小国,你可能应该购买水平的东西。什么对你来说是垂直的和具体的?这绝对是你需要构建的东西。

你必须记住,它并不像你想象的那么难。首先,因为技术正在改进,它变得更容易了。你能想象五年前这样做吗?这是不可能的。你能想象五年后这样做吗?这将是微不足道的。所以我们正处于中间位置。唯一的问题是,你是否需要这样做?对。事实是,我讨厌员工入职。

原因是这需要大量的工作。但是一旦你建立了人力资源组织和领导力指导组织和流程,那么你让员工入职的能力就会更容易,并且对所有参与者来说都更有乐趣。但在一开始,这很难。设置总是很困难。设置总是很困难。这没有什么不同。唯一的问题是,你是否需要这样做?如果你想成为未来的一部分,而这是

有史以来最重要的一项技术。对。不仅仅是我们这个时代,而是所有时代。数字智能,它还能有多么宝贵,多么重要?因此,如果你得出结论认为这对您很重要,那么你必须尽快参与其中,在学习过程中学习,并且要知道它正变得越来越容易。事实是,如果我们尝试在三年前甚至更早之前做代理系统,那将非常困难。对。但代理系统现在容易多了。

并且所有用于策划数据集、入职数字员工、评估员工、为数字员工设置防护栏的工具都在不断改进。技术的另一件事是,当它变得更快时,它就更容易了。你能想象在过去吗?当然,我有幸从早期就开始接触计算机。计算机的性能是如此令人沮丧地慢,你做的每件事都很难。但是现在……

我们所做的事情简直是神奇的,因为它也很快。因此,无论你的动机是参与

有史以来最重要的一项技术,还是它一直在改进,所以它并不难。我认为借口的数量正在减少。让我们谈谈这个问题,因为改变是困难的。我有一个无尽的清单。如果我是一位国家领导人,我将面临越来越多的地缘政治风险。我不知道我的盟友是谁。选举即将到来。我必须处理任何数量的事情。

但现在假设我理解了这一点的重要性。你们花了大量时间与国家领导人交谈,他们正在思考过快采用人工智能的风险是什么?你是对的,在巴黎行动峰会之后,时代精神发生了转变。一年前,乐观情绪似乎比悲观情绪更多。但是,当国家领导人向你们询问风险以及如何思考风险时,你们最常听到哪些问题?

我听到过几个问题,但其中一个风险是看到你的民众开始害怕这项技术,担心它会取代他们。而这实际上是可以预防的。如果我们共同确保每个人都能获得这项技术并接受使用它的培训。对各个国家人口的技能培训极其重要,并且

将人工智能定位为他们实际更好地工作的机会,并通过应用程序、他们可以在智能手机上安装的东西以及公共服务来展示其用途。例如,我们正在与法国失业系统合作,通过人工智能代理(显然由机构内的人工操作员操作)将工作机会与失业人员联系起来。

这是一个机会。这对人们来说是一个非常容易接受的机会,可以更好地找到工作。因此,这是确保民众了解机会以及人工智能实际上只是他们需要采用的新变化的一部分,就像他们在 90 年代必须采用个人电脑和 2000 年代必须采用互联网一样。这些变化的共同点是,你需要人们接受这项技术并理解

我认为国家可能面临的最大问题是看到人工智能加剧了已经相当大的数字鸿沟。但是,如果我们共同努力,并且以正确的方式进行,我们可以确保人工智能实际上正在缩小数字鸿沟。人工智能是一种编程计算机的新方法。这是因为通过输入一些文字,你可以让计算机做一些事情。就像我们过去做的那样。对。我知道你跟它说过话。你可以通过很多方式与它互动。你可以让电脑……

今天为你做的事情比以前容易得多。对。从人力潜能的角度来看,能够提示 ChatGPT 并做一些有成效的事情的人数,远远超过能够编程 C++ 的人数。

因此,我们已经缩小了技术差距。这可能是我们见过的最伟大的平等因素。它从定义上来说就是这样。对。有史以来最伟大的技术平等因素。但你仍然需要让公民了解它。我认为这就是重点。我只是在描述事实。是的。事实是,今天使用 ChatGPT 编程计算机的人比使用 C++ 编程计算机的人多。对。这是一个事实。

因此,事实是,这是世界上有史以来最伟大的减少技术差距的力量。对。它只是被感知到,正如亚瑟所说,通过我不知道谁的感知,我正在谈论它,我不知道如何谈论它。但事实是,它并没有停止。对。它没有阻止任何事情。今天积极使用 ChatGPT 的人数已突破图表。我认为这很棒。这完全棒极了。是的。

任何谈论其他事情的人显然都没有工作。

因此,我认为人们意识到人工智能的不可思议的能力以及它如何帮助他们完成工作。我每天都使用它。我今天早上用过它。所以我每天都用它。我认为深度研究令人难以置信。我的天哪,亚瑟和全世界所有计算机科学家正在做的工作令人难以置信。人们知道这一点。人们显然正在接受它,对吧?仅仅是活跃用户数量。

让我们谈谈开源,因为你们两位都公开谈论了开源模型在主权人工智能中的重要性。在 DeepMind,你是 Chinchilla 缩放定律的一部分,这些定律是公开发表的。你的联合创始人 Guillaume 创建了 Lama。然后去年,NVIDIA 和 Mistral 合作训练了一个名为 Mistral Nemo 的模型。为什么开源模型是你们关注的如此重要的一部分?

因为它是一种水平技术,企业和国家最终将愿意在其自身的基础设施上部署它。从主权的角度来看,这种开放性很重要。这是第一点。然后第二点的重要性是,发布开源模型是加速进步的一种方式。我们创建 Mistral 的基础是

在我们早期的职业生涯中,当我们在 2010 年到 2020 年之间从事人工智能工作时,我们看到的是进步的加速,因为每个实验室都在相互构建。这在 OpenAI 的第一个大型语言模型出现后就消失了。

因此,旋转回这个开放的飞轮,我贡献一些东西,然后另一个实验室贡献其他东西。然后我们从中迭代,这就是我们创建 Mistral 的原因。我认为我们在这方面做得很好,因为我们开始发布模型,然后 Meta 也开始发布模型。然后我们有像 DeepSeq 这样的中国公司发布更强大的模型,每个人也从中受益。

回到 Mistral Nemo,以开放的方式创建 AI 模型的一个难点是,就开源而言,这更像是一个大教堂而不是一个集市。因为你有

要构建模型需要很大的跨度。因此,我们与 NVIDIA 团队所做的是真正将两个团队混合在一起,让他们在相同的基础设施、相同的代码上工作,遇到相同的问题,并将他们的专业知识结合起来构建相同的模型。这非常成功,因为 NVIDIA 带来了我们不知道的很多东西。我认为我们带来了 NVIDIA 不知道的东西。最终,我们生产出了当时同尺寸最佳的模型。对。

因此,我们非常相信这种合作,并且认为我们应该以更大的规模进行这种合作。不仅与两家公司合作,可能还要与三家或四家公司合作。这就是开源将盛行的方式。我完全同意。开源的好处,除了加速和提升基础科学、基础努力之外,

所有通用模型和通用能力的开源版本还激活了大量利基市场和利基创新。突然之间,医疗保健、生命科学、物理科学、机器人技术、交通运输,由于足够好的开源能力而被激活的行业数量令人难以置信。

不要忽视开源的不可思议的能力,尤其是在边缘、利基领域。但在数据可能敏感的关键任务中。是的,例如,在能源开采中。对。谁会去创建一家 AI 公司来开采能源?

能源非常重要,但能源开采并不是一个很大的市场。因此,开源激活了每一个市场。金融服务,事实证明,激活了它们。医疗保健、国防。你选择你最喜欢的。任何关键任务并且需要一次……

自己的部署,可能还需要进行边缘部署。任何需要进行严格审计和能够对其进行彻底评估的事情。如果你可以访问权重,那么你可以更好地评估模型,而不是你只能访问 API。因此,如果你想确保你的系统将 100% 准确,我认为你不应该使用闭源模型。你必须将其连接到你的飞轮中。

你将如何连接你的本地数据?是的,你必须将其连接到你的本地数据、你自己的本地经验中。你使用得越多,飞轮就越好。没有开源是做不到的。但假设我是一个国家领导人。我一直在考虑开源。我开始听到一些事情,比如,嘿,开源是对国家安全的威胁。

我们不应该出口我们的模型,因为这些开放模型实际上泄露了大量的国家机密,或者更重要的是,坏人也可以使用这些开放模型。因此,这对安全构成威胁。相反,我们应该做的是限制可能在两个或三个拥有政府许可的实验室中进行培训、进行正确的安全和认证工作的实验室之间的开发。

我当然经常听到很多这样的说法。我应该如何看待这一点以及你告诉我的内容,即实际上没有开源对关键任务行业更好?实验室之间的合作对于人类的成功至关重要。如果一个国家决定封锁一切,唯一会发生的事情是另一个国家将取得领导地位。因为如果你切断自己与开放飞轮的联系,那么维持竞争力的成本太高了。这是美国最近发生的一场辩论。

实际上,如果对权重有一些出口管制,这不会阻止欧洲任何国家、亚洲任何国家继续取得进步。他们将合作来加速这一进程。因此,我认为我们只需要接受这样一个事实,即这是一项水平技术,非常类似于编程语言。编程语言,它们都是开源的,对吧?所以我认为人工智能在这方面也需要开源。

我们很高兴看到这种认识,即我们可以通过更公开地构建技术的方式来共同加速。因此,很高兴看到开源还有很多美好的日子。这是不可能控制的。软件是不可能控制的。如果你想控制它,那么其他人的软件将会出现并成为标准,正如亚瑟提到的那样。问题是,开源比

开源能够实现更大的透明度,更多的研究人员,更多的人来审查这项工作。全世界每一家公司都是建立在开源之上的原因,每个云服务提供商都是建立在开源之上的原因,是因为它是最安全的技术。给我举一个例子,今天有一个公共云是建立在

不是开源的基础设施堆栈上。你从开源开始,你可以定制它。对。但开源的好处是这么多人的贡献和审查。非常重要的是,你不能只是将任何随机的东西放入开源中,你会被互联网嘲笑。你必须将好东西放在开源中,因为审查非常严格。因此

所以我认为开源提供了所有这些。伟大的合作来加速创新,提升卓越,确保透明度,

吸引审查,所有这些都提高了安全性。从某种意义上说,你说它在一定程度上更安全,因为正如我们在开源数据库、存储、网络、计算中看到的那样,你会进行大规模的红队测试。全世界都可以帮助你对你的技术进行红队测试,而不是你公司内部的一小群研究人员。大致正确吗?是的,完全正确。

通过将许多组织聚集在一起,提出他们都可以使用并在自己的领域专门化的技术,你正在迫使这项技术对他们每个人都有好处。这意味着你正在消除……

偏见,你真的确保你正在构建的通用模型尽可能好,并且没有故障。我认为在这方面,开源也是减少故障点的一种方式。如果作为一家公司,我今天决定完全依赖于一个组织及其安全原则,以及其红队组织,那么我过于信任它了。而如果我正在基于开源模型构建我的

技术,我正在信任世界来确保我构建的基础是安全的。因此,这减少了故障点。这显然是企业或国家需要做的事情。我们现在将稍微过渡到公司建设,这是很多人希望从你们两位那里听到的事情。所以让我们从你开始,Jensen。你曾说过,NVIDIA 是世界上最小的巨型公司。是什么让你能够以这种方式运作?

我们的架构是为多件事情而设计的。它被设计成能够很好地适应变化的世界,无论是我们造成的还是影响我们的变化。原因是技术变化很快。如果你过度纠正可控性,那么你就会低估系统变得敏捷的能力。

以及适应。因此,我们的公司使用“对齐”之类的词,而不是使用“控制”之类的词。我不知道我一次也没有用过“控制”这个词。

谈论公司运作方式。我们关心的是最低限度的官僚主义,我们希望使我们的流程尽可能轻量化。现在所有这些都是为了提高效率、提高敏捷性等等。

我们避免使用“部门”之类的词。当 NVIDIA 最初成立时,谈论部门是很现代的。我讨厌“部门”这个词。你为什么要创建一个从根本上分裂的组织?我讨厌“业务部门”这个词。原因是为什么任何人应该作为一个存在?你为什么不尽可能多地利用公司的资源?

我希望一个更像计算单元的系统,像一台计算机一样,尽可能高效地交付输出。因此,公司的组织结构有点像计算堆栈。我们试图创建的机制是什么?我们试图在什么环境中生存?这更像是一个和平的社区。

乡村?还是更像一个水泥丛林?你在什么样的环境中?因为你想要创建的系统类型应该与之相符。让我一直感到奇怪的是,每个公司的组织结构图看起来都非常相似,但它们都是不同的东西。一个是蛇,另一个是大象,另一个是猎豹,每个人都应该在这个森林中有所不同,但不知何故,他们都

相处融洽。相同的结构,相同的组织对我来说似乎没有意义。我同意,感觉公司有自己的个性。尽管事实上他们有时组织方式相似,

我应该说,我们显然还有很多东西需要学习,我的意思是公司甚至不到两岁。我想我们与 Mistrial 遇到的一个挑战,我认为我们的竞争对手也面临同样的挑战,这是软件公司实际上是一家由科学驱动的深度科技公司的情况之一。科学的时间尺度与软件不同。你需要每月运作。有时你不知道事情什么时候会准备好,但是

但另一方面,客户会问,下一个模型什么时候出来?这个功能什么时候可用?等等。因此,你需要管理期望。我认为对我们来说,最大的挑战,我认为我们开始做得很好,就是管理产品需求与科学能够做的事情之间的枢纽。研究和产品。是的,研究和产品。

而且你也不希望研究团队完全致力于使产品发挥作用。因此,你需要工作,我认为我们已经开始做了,

确保你的公司有几个频率。你在产品方面有快速的频率,每周迭代。你在科学方面有缓慢的频率,研究为什么产品在某些领域会严重失败,以及他们如何通过研究、新数据、新架构、新范式来修复它。我认为这是相当新的。这并不是你在典型的 SaaS 公司中会找到的东西,因为这本质上是一个科学问题。

我的意思是,NVIDIA 是最成功的公司之一,它在 30 多年的时间里找到了一种方法,让科学和研究领先于世界其他地区,无论是 2012 年的 CUDA……

这是基础系统研究。或者今天的 Cosmos,它现在说,你知道,这绝对是关于模拟应该如何进行的最新技术。我们已经完全协调了亚瑟刚才所说的内容。对你来说,这个启发式方法正确吗?是的,我们在公司内部协调了这一点。我们有基础研究、应用研究,然后我们有架构,然后我们有产品开发。

我们有很多层。所有这些层都是必不可少的。它们都有自己的时间表。对于基础研究而言,频率可能相当低。

另一方面,一直到产品方面,我们有一个庞大的客户群体依赖我们。因此,我们必须非常精确。在基础研究和发现之间,希望是没有人预料到的惊喜。对。一方面。另一方面,能够按预期交付。可预测地。好的。这两个极端……

我们在公司内部和谐地管理。这个市场有很多令人着迷的事情,但我特别想指出其中一件。你们两位都有

客户也是你们的竞争对手。这些竞争对手是规模巨大且资金雄厚的科技巨头。NVIDIA 向 AWS 销售 GPU,AWS 正在构建自己的名为 Tranium 的芯片。亚瑟,你正在训练你通过 AWS 和 Azure 出售的模型,他们资助了 Anthropic 和 OpenAI 等实验室。那么,你如何在这样的环境中获胜?你如何管理这些关系?因为我们谈到了内部的公司建设,但我现在很好奇外部,你如何生存

Jensen 说得很好,你放弃控制,但你致力于对齐。尽管有时你有一些公司可能是竞争对手,但你可能有共同的利益,你可以致力于共享的具体议程。你必须拥有自己的位置。显然,这些云服务提供商并不是因为他们已经拥有相同的东西而与亚瑟合作。他们只是想要两件相同的东西。

这是因为亚瑟和 Mistral 在世界上的地位对 Mistral 来说是独一无二的。他们在特定的地方增加了价值,这是独一无二的。我们今天进行的大部分对话都是 Mistral 及其工作以及他们在世界上的地位使其在这些方面独具优势的领域。我们不一样。我们不仅仅是另一个 ASIC。我们可以为 CSP 做一些事情,也可以与 CSP 做一些事情,而他们自己无法做到。例如,NVIDIA 的架构存在于每个云中。在很多方面,我们是他们令人惊叹的未来初创公司的第一个入门。原因是,通过加入 NVIDIA,他们不必对主要的云做出战略性、业务性或其他承诺。他们可以进入每个云,他们甚至可以决定构建他们喜欢的系统,因为经济学最终对他们来说在某些时候会更好,或者他们

他们希望访问我们拥有的某些云中受保护的功能。因此,无论原因是什么,为了成为某人的好伙伴,你仍然必须拥有独特的地位。你需要提供独特的服务。我认为 Mistral 提供了非常独特的服务。我们提供了非常独特的服务。我们在世界上的地位对我们竞争的对手也很重要。因此,我认为当我们对此感到满意并对自己的身份感到满意时,那么我们可以成为优秀的合作伙伴。

对所有 CSP 来说,我们希望看到他们成功。我知道当你把他们视为竞争对手时,这是一种奇怪的说法,这就是我们不把他们视为竞争对手的原因。我们把他们视为恰好也与我们竞争的合作者。我们为所有 CSP 做的最重要的事情可能是为他们带来业务。这就是一个伟大的计算平台所做的。我们为人们带来业务。我记得亚瑟和我第一次见面时

我们在伦敦的一家深夜餐厅坐下来,勾勒出他 A 轮融资的计划。我们当时正在弄清楚为什么他需要这么多资金用于 A 轮融资,事后看来,这非常高效。我认为我们筹集的 Mistral A 轮融资是 5 亿美元,而其他人则必须花费数十亿美元才能达到相同的地位。但我问他,你想在哪些芯片上运行?你看着我,好像我问了你一个问题,除了 NVIDIA,除了 H100 之外,答案还能是什么?我认为生态系统发生了变化

NVIDIA 投资的创业生态系统为云计算带来了如此多的业务。是什么理念促使你在早期就如此深入地投资初创企业和创始人,甚至在任何人都不知道他们之前?我会说有两个原因。首先,我很少称其为 GPU 公司。我们制造的是 GPU,但我认为 NVIDIA 是一家计算公司。如果你是计算公司,你考虑的最重要的事情是开发人员。

对。

所以这是第一点。第二点是,我们正在开创一种对通用计算世界来说非常陌生的新型计算方法。因此,这种加速计算方法在很长一段时间内都相当陌生、违反直觉且相当笨拙。因此,我们一直在寻找

寻找下一个令人难以置信的突破,下一个没有加速计算就无法做到的事情。因此,我自然会找到并寻找像亚瑟这样的研究人员和伟大的思想家,因为,你知道,我正在寻找下一个杀手级应用。因此,这是一种自然直觉,是创造新事物的人的自然本能。因此,如果有一个我们没有与之合作的令人惊叹的计算机科学思想家,那就是我的错。我们必须去做。

从计算的角度来看,这是一个完美的过渡。你对地平线上最显著的趋势有什么看法?特别是对于那些可能是世界一些增长最快的市场中的总理、总统或 IT 部长,试图了解计算的未来走向的观众,你会如何指导他们?

我们正在转向越来越异步的工作负载。因此,将任务交给 AI 系统,然后等待它进行 20 分钟的研究然后再返回的工作负载。这绝对改变了你应该看待基础设施的方式,因为它会产生更大的负载。我想这对数据中心和 NVIDIA 来说是一个利好消息。正如我在本集开头所说,

如果你没有合适的代理入门基础设施,所有这些都不会顺利进行。如果你没有合适的方法让你的 AI 系统了解他们与之互动的人,并向他们学习。因此,从人际互动中学习的这一方面将在未来几年变得极其重要。还有一个方面是围绕个性化的,我想,模型和系统巩固了……

用户的表示,以尽可能有用。我认为我们正处于这一阶段的早期。但这将再次深刻地改变我们与机器的互动方式,这些机器将更多地了解我们,更多地了解我们的品味以及如何对我们尽可能有用。作为一个国家的领导人,

我想考虑教育,确保我拥有一个足够了解人工智能以创建专门的人工智能系统的本地人才库。我想考虑基础设施,包括物理方面,也包括软件方面。那么正确的基元是什么?与哪个合适的合作伙伴合作才能为你提供入门平台?因此,这两件事很重要。如果你拥有这些,并且你拥有人才,并且如果你进行深入的合作,

你的州的经济将发生深刻的变化。在过去的 10 年中,我们见证了计算方面的非凡变化。从手工编码到机器学习,从 CPU 到 GPU,从软件到人工智能。在整个堆栈中,整个行业都发生了彻底的转变。我们仍在经历这一切。接下来的 10 年将令人难以置信。当然,该行业一直专注于讨论缩放定律。

预训练很重要,当然,并且会继续重要。现在我们有了后训练。后训练是思想实验、实践、辅导、指导以及我们作为人类学习的所有技能,即思维和代理以及机器人系统即将到来。这真的很令人兴奋。因此,它对计算的意义非常深远。

人们惊讶于 Blackwell 比 Hopper 进步如此之大。原因是我们构建 Blackwell 用于推理和即时,因为突然之间思考变成了如此大的计算负载。

因此,一层是存在计算层。下一层是我们将看到的 AI 类型。有代理 AI、信息数字工作者 AI,但我们现在有物理 AI 正在取得巨大进展。然后有物理 AI 正在取得巨大进展。并且

物理 AI 当然是遵守物理定律、原子定律、化学定律以及我们将看到一些重大突破的各种物理科学。我对这一点感到非常兴奋。这会影响行业,影响科学。

影响高等教育和研究。然后是物理 AI,即理解物理世界的本质,从摩擦到惯性,因果关系,物体永久性,这些都是人类的常识,但大多数 AI 却没有。因此,我认为这将使大量机器人系统能够在制造和其他领域产生巨大的影响。美国经济非常依赖知识型员工。

然而,许多其他国家都非常依赖制造业。因此,我认为对于许多总理和国家领导人来说,要意识到他们需要改变和彻底改变对他们至关重要的行业的 AI,无论是能源型还是制造型,都近在咫尺。他们应该对此保持高度警惕。我鼓励人们不要过度尊重

这项技术。有时,当你过度崇拜一项技术、过度尊重一项技术时,你最终不会参与其中。你不知何故害怕它。我们今天谈到的人工智能缩小技术差距的一些事情确实应该得到认可。这具有如此重大的国家利益,你负有参与的责任。无论如何,未来令人兴奋。

全球人工智能领导权的竞争不再仅仅是公司之间的竞争——而是国家之间的竞争。人工智能不仅仅是计算基础设施;它是文化基础设施、经济战略和国家安全三位一体。在本期节目中,英伟达创始人兼首席执行官Jensen Huang和Mistral联合创始人兼首席执行官Arthur Mensch坐下来讨论主权人工智能、国家人工智能战略,以及为什么每个国家都必须拥有自己的数字智能。人工智能将如何重塑全球经济和GDP完整的AI堆栈——从芯片到模型再到AI工厂为什么AI既是一项通用技术,又具有高度专业性开源与封闭式AI之争及其对主权的影响为什么没有人会为你构建AI——你必须自己去做这是否是所有时代中最具影响力的技术转变?如果是这样,那么风险从未如此之高。资源:在X上找到Arthur:https://x.com/arthurmensch在X上找到Anjney:https://www.linkedin.com/in/anjney/在X上找到NVIDIA:https://x.com/nvidia查找Mistral:https://x.com/MistralAI保持更新:让我们知道您的想法:https://ratethispodcast.com/a16z在Twitter上查找a16z:https://twitter.com/a16z在LinkedIn上查找a16z:https://www.linkedin.com/company/a16z在您最喜欢的播客应用程序上订阅:https://a16z.simplecast.com/关注我们的主持人:https://twitter.com/stephsmithio请注意,此处的內容仅供参考;不应将其视为法律、商业、税务或投资建议,也不应将其用于评估任何投资或证券;并且不针对a16z基金的任何投资者或潜在投资者。a16z及其关联公司可能会对所讨论的公司进行投资。更多详情请见a16z.com/disclosures。</context> <raw_text>0 太棒了。非常感谢两位抽出时间。如果他们想了解更多信息,想弄清楚如何与两家公司合作。给我们打电话。你在开玩笑吗?你可以给我们打电话,是的。我们俩。我们将从收听这个播客开始,然后给他们一个快速拨号。我们将把他们的号码放在节目说明中。JensenNVIDIA.com。搞定。你在这里听到了。我们反应很快。我可以证明这一点。好吧。非常感谢你们。好吧。谢谢你,安德鲁。谢谢。好吧。谢谢。

好了,今天的节目就到这里。如果你坚持到了现在,首先,谢谢你。我们对每一集都投入了大量的思考,无论是嘉宾、日历拼图、与我们优秀的编辑汤米一起的周期,直到音乐恰到好处。所以,如果你喜欢我们制作的内容,请考虑在ratethispodcast.com/A16Z给我们留言,让我们知道你最喜欢的剧集是什么。这会让我很开心,我相信汤米也会很开心。我们下次再见。