The A.I. Revolution
01:31:05 Share

由人工智能领域的领先人士组成的专家小组，包括能力、安全和投资以及政策和治理方面的专家，探讨了人工智能未来的一些重大争论，并试图找到一些共同点。讨论由《泰晤士报》科技专栏作家凯文·鲁斯主持。与会者：安特罗皮公司联合创始人兼政策主管杰克·克拉克；开放慈善机构高级项目官员、高级人工智能潜在风险阿杰亚·科特拉；信念公司创始人兼管理合伙人萨拉·郭；人工智能安全中心主任丹·亨德里克斯；蓝色郁金香风险投资公司联合创始人兼普通合伙人拉娜·埃尔·卡利乌比；瑞普利卡公司创始人兼首席执行官尤金妮娅·库伊达；微软微软研究院院长彼得·李；人工智能研究所执行主任兼波士顿动力公司创始人乔什·伍德沃德；谷歌实验室副总裁蒂姆·吴；哥伦比亚法学院朱利叶斯·西尔弗法学、科学与技术教授，前总统科技与竞争政策特别助理。此次谈话是在一年一度的DealBook峰会上录制的，并在林肯中心爵士乐现场向观众直播。阅读当天亮点的更多信息，请访问https://www.nytimes.com/live/2024/12/04/business/dealbook-summit-news 解锁《纽约时报》播客的完整访问权限，探索从政治到流行文化的一切内容。立即订阅nytimes.com/podcasts或Apple Podcasts和Spotify。</context> <raw_text>0 微芯片制造商如何同时跟踪2.5亿个控制点？动画电影背后的技术如何帮助企业重新构想其未来？《为变革而建》的听众知道这些答案以及更多内容。我是伊丽莎·胡。我是乔什·克莱因。我们是《为变革而建》播客的主持人，该播客来自埃森哲。我们与世界最大公司的高管们交谈，了解他们如何重塑业务以创造改变行业的重大影响。

以及你如何也能做到。新的剧集即将推出，因此请在您收听播客的任何地方查看《为变革而建》。这是来自《纽约时报》的安德鲁·奥索金。您即将收听我们一年一度的Dealbook峰会现场活动的精彩分组讨论，该活动于12月4日在纽约市录制。您将听到专家、利益相关者和领导者讨论一些正在塑造商业世界和整个世界的非常重要的主题。♪

大家好，欢迎来到人工智能革命特别工作组。我认为，这并非夸大其词，这是一个具有历史意义的聚会。我们这里有10位当今人工智能领域的领先人士，这是一个精心挑选的全明星和专家团队，他们在人工智能能力、人工智能安全、人工智能投资以及人工智能政策和治理方面拥有丰富的经验，并在世界上一些最具影响力的组织工作。

任何像我一样以写作人工智能为生的人都会告诉你，人工智能是一项具有高风险的争议性技术，它会引发比例如撰写关系数据库更强烈的反应。

在我居住的旧金山，我认为我们大多数人都居住在那里，最近关于人工智能的讨论已经带上了准宗教的色彩，一些团体警告即将到来的厄运，并敦促政府介入进行监管，而其他团体则敦促我们不要过于担心，只需拥抱我们新的机器人统治者。

我希望今天的讨论能够理清这些差异和争论，并尝试找到一些共同点，因为我们正在寻找人工智能前进的新道路，试图做到我们都想要的事情，那就是利用其潜力，同时最大限度地减少其风险。好的，让我们从一些介绍开始。从我右边的这位开始，丹·亨德里克斯，他是人工智能安全中心主任。

杰克·克拉克，安特罗皮公司联合创始人兼政策主管。拉娜·埃尔·哈利乌比博士，蓝色郁金香风险投资公司联合创始人兼普通合伙人。我们有尤金妮娅·库伊达，瑞普利卡公司创始人兼首席执行官。我们有彼得·李，微软微软研究院院长。我是凯文·罗斯，《纽约时报》科技专栏作家兼《硬分叉》联合主持人。我们有乔什·伍德沃德，谷歌实验室副总裁。萨拉·瓜，信念公司创始人兼管理合伙人。

我们有阿杰亚·科特拉，开放慈善机构高级项目官员，高级人工智能潜在风险。在她旁边，我们有马克·雷伯特，人工智能研究所执行主任兼波士顿动力公司创始人。

最后但并非最不重要的是，我们有蒂姆·吴，哥伦比亚法学院朱利叶斯·西尔弗法学、科学与技术教授，前总统科技与竞争政策特别助理。我希望我没有弄错每个人的头衔。在我们深入探讨之前，我想让今天在场的观众了解一下我们在这个房间里对人工智能的不同观点。我想通过进行一些现场投票来做到这一点。所以，

如果您同意以下陈述，请举手。第一，人工智能通用智能（AGI）——我们目前可以将其定义为在几乎所有认知任务上都优于人类专家的AI系统——在2030年前被制造出来的可能性大于或等于50%。如果您同意该陈述，请举手。好的，我认为这里有7位中的10位同意该陈述。好的。

我们稍后可以更深入地探讨这个问题。第二，如果您同意以下陈述，请举手。在未来十年中，人工智能创造的就业机会将多于其淘汰的就业机会。如果您同意该陈述，请举手。好的，大约各占一半。最后但并非最不重要的是，第三，如果您同意以下陈述，请举手。如果我有一个可以按下以将人工智能发展速度减慢到目前速度一半的魔法按钮，我会按下它。一、二、三。

看起来你可能在那里思考，丹。好的，所以小组中只有两位按下按钮的人。这非常有帮助且发人深省。谢谢。现在让我们来谈谈一些具体的主题和问题。我想从人工智能账簿的积极、更乐观的一面开始。所以我希望我们可以从我这里立即开始，与彼得和乔什一起。是什么

也许我们先从你开始，彼得。你今天在人工智能中看到了哪些让你印象深刻的有益或令人兴奋的现实世界用例？好吧，我认为真正让我惊奇的是，新的AI架构，例如转换器、扩散模型，它们在学习我们的谈话方式、思维方式方面非常出色。你知道，我称之为从人类思想和表达的数字废料中学习。这真是令人难以置信。但最近真正让我兴奋的是，同样的架构似乎也同样擅长于从自然中学习。当我提到自然时，我的意思是像

蛋白质结构或化合物、天气和风力模式、用于数字病理学的大的多细胞图像。这些AI架构应该这样做并不明显，但它们现在正在这样做。这不仅让我们微软研究院，而且让世界各地的优秀实验室都感到

对可能性的关注程度达到了一个新的高度，我们或许能够做到的事情，例如大幅加快药物研发速度，或找到目前被认为是不可成药的药物靶点。或者我们可以提前几天甚至几周预测严重的极端天气事件。甚至一些普通的事情，例如，我不知道，让你的素食食物味道更好。

或你的肤色，看起来更清新。诸如此类的事情，我认为我们正处于看到这些生成式AI的边缘，这些生成式AI已被证明在与你聊天、解决数据问题方面非常出色，也擅长从自然中学习。

乔什，你呢？你在谷歌看到了什么让你感到充满希望或兴奋的事情？是的，我认为有几件事。一个是，我认为这是一个非常有趣的时刻，表达自己或推动任何模式下的创造性早期阶段头脑风暴的方式感觉非常令人兴奋，无论是

更快地获得初稿，还是甚至以不同的媒介创作事物。这是一点。我认为另一件事是能够将内容从一种格式转换为另一种格式。对此我感到非常兴奋，这对于教育和学习以及未来的发展可能意味着什么。然后也许最后一点我想说的是，我认为我们才刚刚开始进入一个阶段，在这个阶段

人工智能开始感觉更个性化，你可以引导它并将其引导到你感兴趣的事情上。因此，这感觉就像在应用程序和用例类型方面的一个全新篇章。你的团队负责我今年最喜欢的AI产品之一，Notebook LM，它是一种可以上传你自己的文档的方式

创建你自己的笔记本。然后真正流行的功能是AI生成的播客，这可能会让我失业，但我仍然很喜欢它。不，好吧，这实际上是一个很好的例子，使用Notebook LM。因此，你将你自己的资源带入其中。AI成为这方面的专家。

所以你真的感觉你有一种专注于你关心的事情的AI研究助理。然后你可以点击一个按钮，将其转换成不同的东西。是的，感谢你使用它。是的，不，它很棒。萨拉，你呢？你正在投资许多AI初创公司。你看到了人们使用AI构建的东西。你最近对什么感到兴奋？

好吧，我们之前刚谈到材料科学和生物学领域正在发生的一些进展。我认为这些架构适用于人类的许多根本性问题。这非常令人兴奋。我们正在投资但未提及的事情，我

我认为人工智能是一项非常民主化的技术。因此，今天许多技能都是非常大规模的人工密集型劳动，人们无法获得，从昂贵的法律咨询到生成视频的能力，再到获得专家医生、教师，对吧？也许我们以最后一个为例。许多人会熟悉，例如，布鲁姆的研究表明，你可以

你知道，一个中等水平的学生，通过一对一的辅导，可以提高他们的成绩，超过一个标准差。我们只是从未能够在教育体系中实现这一点。所以我认为这是一个很好的例子，好吧，就像，如果你可以，对吧？如果你可以给每个人一个个性化导师？如果你可以给每个人个性化医疗？我认为人工智能能够自动化许多这些任务的能力是我们真正受到启发的。这里有人最近使用人工智能自学过什么吗？杰克？是的。

因此，安特罗皮公司今年制作了一些非常好的编码模型，它们似乎消除了与软件本身交互的恐惧和困难。所以我让安特罗皮公司的开发环境腐烂并变得无法使用。通常在这种情况下，你必须请一位无限耐心的同事来帮助你调试某些东西。

你的开发环境，你已经把它弄得一团糟了。但在这种情况下，我只是通过向克劳德发送屏幕截图并说：“帮我，克劳德，我把我的开发环境弄得一团糟，需要修复它。”来调试它。大约15分钟后，我就能恢复编程和软件构建了。这对我来说真是非同寻常，因为一两年前，你需要付钱给一位同事来做这些事情。现在我看到

我所有的同事都使用这项技术和其他技术来更容易地恢复工作。我认为这是一个彻底的改变。是的，这真的很好。现在让我们来谈谈消极方面，风险，人们在与你谈论国会山或其他地方时所担心的一些事情。我认为社交媒体的教训是，许多最有害的风险实际上很难预测，而且范围将比

而且比我们在这里看到的更具体。我的意思是，我最近当上了父亲，我突然意识到社交媒体是多么奇怪，而且我很高兴在我还是一个神经质的青少年时社交媒体还不存在。所以我认为人工智能将极大地改变人们成长起来的

生态系统。而且我认为，我们将发现最不稳定的事情中的许多都源于这些难以预测的广泛变化。

我完全同意。我认为人工智能的社会方面被广泛低估了。罗娜，你对此有什么想法？我打算在这些技术的一些社会影响方面进行补充。我对使用AI伴侣和AI副驾驶以及代理来帮助人们变得更健康、更高效、更博学充满热情和兴奋。

而且我可以看到一些技术可以帮助解决心理健康或孤独问题的机会。但我也很担心，我很高兴你坐在我旁边，因为我觉得你正在以正确的方式去做。但我担心那些在构建AI朋友和AI伴侣时并没有真正考虑社会终结的公司。你知道，这可能会真的出错。我有一个15岁的孩子。

其他有孩子的家长是否认为你不会希望你的孩子有一个AI朋友？

尤金妮娅，解释一下瑞普利卡是什么，以及你正在构建什么，也许可以解决拉娜刚才分享的一些担忧。瑞普利卡是一个原创的AI朋友。大约八年前，我们几乎创造了AI陪伴行业。它基本上是一个平台，允许你创建一个可以随时与之交谈并建立关系的个人AI朋友。

谁在使用瑞普利卡？他们是年轻人吗？他们是成年人吗？他们用它做什么？你实际上不允许年轻人使用你的平台，对吧？是的，我们实际上不允许18岁以下的任何人使用。我们对此非常严格。多年来，我们实施了许多年龄分级措施。这源于我个人的信念，即我们还没有准备好。我们不应该再进行实验了。

我有两个年幼的女儿，我认为我知道我今天还不想让她们使用，仅仅是因为这不是研究。我们不知道如何为成年人做好任何iCompanion平台的工作。我们的主要用户通常是30岁、35岁以上的人。这些人经历过，由于某种原因，他们要么独自一人，有些人

很多时间，或者他们经历某种孤独。他们中的许多人处于恋爱关系中，许多人有家人和朋友，只是他们感到孤独。因此，他们渴望建立联系，渴望建立关系。这里有人有AI朋友吗？曾经花时间和它相处过吗？我出于研究目的设置了一个，但我不会称之为密友。

你的AI朋友非常生气。彼得，你之前想说些什么。是的，你知道，丹提到了生物武器的风险。我同意他们的说法，对此进行了大量的深入思考和缓解措施。但我仍然会预测，例如，在未来五年内，

不止一个，也许几十个国家将对在生物学研究中使用人工智能施加非常严格的限制，因为存在这种风险。而且，你知道，我认为如果，你知道，

三打国家甚至禁止在生物学研究中使用生成式AI工具，因为存在这种风险，这也不会让我感到惊讶。另一个风险，回到社会方面，我非常同意这一点，因为在同一时间范围内，如果一个生成式AI系统在生物学等科学领域取得了一些新的发现，撰写了关于它的论文，并将其提交给，我不知道，细胞或自然，一些期刊，这不会让我感到惊讶，

上帝被接受了。我认为，即使对于科学界，人类科学家群体来说，这将是一个考验人们的时刻。

杰克？我想补充一下彼得所说的话，我的同事兼安特罗皮公司首席执行官达里奥最近写了一篇名为《爱与恩典的机器》的文章，他在文章中谈到了我们将从中学到许多好东西。但我认为他在其中提出了一点有用的观点，那就是他认为随着这些系统变得越来越先进，你最终可能会生活在一个拥有他所说的“十年内取得一个世纪的科学进步”的世界中。我认为我们实际上将看到这种效应。

在几乎世界的每个地方都发挥作用，不仅仅是科学，而且在我们与像尤金妮娅正在构建的AI系统进行交互的社会经验中，在我们与阿杰亚谈到的AI公司进行交互的经验中，我认为对于这次讨论，我们正在努力解决的问题，祝我们所有人好运，是如何解决像万能机器这样的问题，这是我们……凯文，你将引导我们找到答案的问题

好吧，我会尽力而为。马克？是的，我想回到彼得之前关于各国禁止将人工智能用于生物发展的话题。我不知道。我想我更担心现在过多的监管。

扼杀了机会。我认为技术可以解决许多问题，是我们无法预见的问题，我认为发生这种情况的风险很大。你知道，大概这些国家的科学家们会开发疾病的治疗方法或改进，就像你在开始时谈到的那样。我认为在几乎你能想象到的每个领域……

人工智能帮助开发有用的技术。作为一个实验主义者，在我的技术领域，我更像是一个实验主义者，我们相信，除非你进行实验，否则你不知道答案是什么。这很难预测。我认为我们今天预测一项技术的发展方向，尤其是在它以如此快的速度发展的情况下，确实存在风险。

蒂姆？我有一个问题要问彼得，那就是，你的直觉从何而来，你认为各国会对禁止研究感兴趣？我之所以这样说，是因为在我与联邦政府合作的过程中，我们很少禁止研究。核裂变可能是最强大或最谨慎地消除的。所以这非常罕见。而且我

我很好奇这种直觉从何而来，是的，这非常罕见，但你已经看到了这一点的迹象，例如在欧盟人工智能法案中，我认为这总体上是一项非常重要的……已经制定出来的东西，它启动了一个思维过程……监管和政策思维过程，我认为这至关重要，所以我接下来要说的话绝不是说这是一个坏主意，这是一个非常好的主意

但是你已经看到了这一点的迹象，例如，在计算浮点运算次数（每秒浮点运算次数）的限制上。你知道，在10的23次方，你可以在生物学研究中做某些事情。在10的24次方，你不能，等等。所以你开始看到一种新兴的监管框架的迹象，我认为有合理的可能性，

我同意马克的观点。我希望不会发生这种情况，但我认为这些可能会被编纂成法律的可能性是合理的。如果你说的是欧洲将禁止很多事情，我认为这是一个相当安全的赌注。也许更具体地说，但我……我真的很喜欢这个。好的。是的，我不会对美国做出同样的赌注。这就是我想说的。丹？是的，我认为你可以获得许多好处，同时仍然可以通过有针对性地减少这些风险来做到这一点。所以你可以……

对病毒学和生物学的许多其他方面等一些更深奥的主题增加限制。那里没有防护措施。然后，如果人们想要访问这些病毒学能力，那么就像，好吧，你是一个有理由这样做研究人员吗？所以我了解你的客户制度可以做到这一点。所以我认为有一些方法可以消除许多生物恐怖主义风险

并仍然让研究人员做他们想做的事情。这让我乐观地认为，我们对这些系统施加的防护措施不会过于繁重或对经济产生重大影响。我有一个

两个问题，一个针对这个特别工作组中更乐观的成员，另一个针对一些更担心或焦虑的成员。对于乐观主义者来说，我认为尽管我们今天分享了许多乐观的理由，但至少在美国，公众对人工智能相当怀疑。皮尤研究中心最近的一项调查数据显示，52%的美国人对人工智能的担忧多于兴奋。这比仅仅两年前的38%有所上升。

如果人工智能像我们所有人认为的那样伟大，那么你认为为什么会有如此多的恐惧？如果有什么的话，该行业可以做些什么来让人们相信这项技术会改善他们的生活？

我可以尝试一下。我认为很多时候人们并不真正理解这项技术是什么，他们也不理解如何在日常生活中正确地使用和利用它，无论是在专业上还是在个人生活中，但他们也不理解它是如何工作的。像基本的AI素养对于深入了解幕后学习至关重要

并了解数据和算法如何结合起来创造这项技术的基础知识。所以我非常致力于此。如你所知，凯文，你参加过我的播客《人工智能先驱》。我非常致力于简化人工智能，使其更容易被更广泛的受众所接受，并使其更具包容性。所以这是我非常热衷的事情。

你知道，我可能会在这里提出两点。我认为你的普通美国人，如果你问他们，你是否希望我们限制你使用人工智能的能力？他们会说不会。例如，我希望能够更聪明，更能干，更有创造力。

而且在许多情况下，例如，我希望科学家拥有正确的防护措施等。所以你可能会问，好吧，为什么你想限制其他人使用它？答案是因为我害怕被取代，或者因为我不信任他们，或者不信任有适当的保障措施。对。所以我只是分开，例如，我不知道对人工智能的恐惧是如此个人化。

A panel of leading voices in A.I., including experts on capabilities, safety and investing, and policy and governance, tease out some of the big debates over the future of A.I and try to find some common ground. The discussion is moderated by Kevin Roose, a technology columnist at The Times.Participants:Jack Clark, co-founder and head of policy at AnthropicAjeya Cotra, senior program officer for potential risks from advanced A.I. at Open PhilanthropySarah Guo, founder and managing partner at ConvictionDan Hendrycks, director of the Center for A.I. SafetyRana el Kaliouby, co-founder and general partner at Blue Tulip VenturesEugenia Kuyda, founder and chief executive of ReplikaPeter Lee, president of Microsoft Research at MicrosoftMarc Raibert, executive director of the A.I. Institute and founder of Boston DynamicsJosh Woodward, vice president of Google LabsTim Wu, the Julius Silver Professor of Law, Science and Technology at Columbia Law School and former special assistant to the president for technology and competition policyThe conversation was recorded at the annual DealBook Summit and recorded live in front of an audience at Jazz at Lincoln Center. Read more about highlights from the day at https://www.nytimes.com/live/2024/12/04/business/dealbook-summit-news Unlock full access to New York Times podcasts and explore everything from politics to pop culture. Subscribe today at nytimes.com/podcasts or on Apple Podcasts and Spotify.</context> <raw_text>0 而且我想说，从历史上看，技术发展就是这样，对吧？从火车到电力，曾经都被认为是世界末日。所以我想说，这确实是我们见过的最大规模的技术革命。我也要说，这种世界末日的恐惧以前也存在过。

所以，我认为需要解决的是非常具体的担忧。我还想补充一点，网络安全也是如此。但对我来说，它可能是网络安全，可能是生物安全，也可能是国家安全。以及，这种转变的速度有多快，美国和其他国家是否有机会？但我不知道这是否是一种个人的抵制，真的。也许还有一个问题。

我在这里担心的问题主要是，正如马克指出的那样，监管主要发生在国家层面。各国在如何限制这项技术方面几乎没有达成一致。因此，我认为一个非常重要的考虑因素是，在有监管的地方，往往存在被俘获的风险。

大型组织对行业的监管俘获，而不是允许个人实验者或小型公司进行创造性探索。我认为，全世界200个国家在未来X年内限制将AI用于生物技术应用的可能性非常小。所以问题是，如果你真的担心

安全问题，那么美国在能力方面领先与你真正能在全球范围内控制什么之间存在某种平衡。我想说几件事。首先，关于人们的恐惧。最近，有一些统计数据显示，只有不到10%的美国人定期使用ChatGPT。所以，我认为人们现在还不真正了解他们在谈论什么。我认为存在一个很大的

接口滞后于或某种消费者接口，以便人们可以开始使用它并了解如何使用这些模型，这落后于模型本身已经具备的许多功能。人们并没有在日常生活中使用它们。另一个想法是关于存在性风险。我认为人们谈论很多

生物技术和人工智能抢走我们所有工作以及一些终结者，AGI。但通常情况下，也许未来并非如此，人工智能的存在性威胁并非我们在科幻电影中看到的那样。在我看来，人工智能伴侣可能是我们创造过的最危险的技术之一。

几乎对人类构成存在性风险。因为想象一下，我们确实制造了这些人工智能，它们使我们都非常高效，帮助我们工作等等，但是，而且我们，

在工作中茁壮成长，但在内心却慢慢死去，因为现在我们有了这些完美的伴侣，我们没有任何意志力，我们没有任何意志力与彼此互动。我认为这是很有可能的。这让我联想起社交媒体的初期，当时人们非常关注这项技术能为我们做什么，而很少关注这项技术能对我们做什么。

而且，你知道，现在我们正在处理意想不到的后果。好吧，我现在必须跳到这个社交人工智能的部分，因为你刚才说，如果我听到你说的没错的话，陪伴型人工智能可能是我们发明过的最危险的技术之一。你是领先的人工智能陪伴公司之一的负责人。如果你如此担心这项技术，你将如何构建它以确保安全，以及为什么要这样做？

嗯，好问题。谢谢。但就像任何技术一样，它总是一把双刃剑。如果它真的强大，它可以做到两者兼顾。如果是核能，它可以，你知道，我父亲在切尔诺贝利工作过，但它也可能是我们拯救地球的一种方式。这里也是一样。我相信我们已经过了这个阶段。我们正在经历一场非常非常严重的健康和孤独危机，这种危机已经在杀死我们，但它却不是

也许总是我们谈论的东西。它并不总是出现在每份报纸的头版，但它确实正在发生。我相信我们需要一种更强大的技术来让我们重新团结起来。我相信，以完全符合人类目标为目标构建的人工智能伴侣，在我看来，这与人类繁荣的目标是一致的，考虑到这个目标，可以让我们重新团结起来。

我真的很喜欢你思考和表达这个问题的方式，因为在我看来，安全风险和潜在的后续危害只有在

像这样的具体用例的背景下才有意义。所以我真的很喜欢你所说的，可能比你公司的宣传人员更喜欢。所以谈论人工智能本身就像谈论铜线一样。我们知道铜线可以非常有效地将电流从A点传送到B点，这使得许多事情成为可能。

是的，它可能会电击人，所以我们需要一些标准和绝缘法规等等。但是谈论铜线的风险是没有意义的。关键在于你如何使用它。这导致了，那么把它放在你家里意味着什么？把它埋在地下或放在电线杆上意味着什么？所有这些事情。

所以，尤金妮娅刚才所说的话真正引起我共鸣的是，她正在考虑在人们的伴侣这一具体用例中的风险。正是这种类型的讨论。这意味着我们需要成千上万次这样的讨论。阿贾亚，然后我再问一个问题。

是的，我经常听到这种说法，我们必须逐个应用程序地进行。而且，你知道，与其他技术的类比有一定的道理。但我认为，至少对于某些类别的人工智能系统来说，以这种方式思考人工智能实际上是一个错误。

因为我认为在接下来的几年里，我们将看到人们拥有代表他们以多种不同方式工作的一般人工智能代理。所以我不知道你是否同意这一点，但我认为在未来五年内，我们将看到人们和公司使用人工智能代理，这些代理可以访问电子邮件，可以访问银行账户，可以拨打电话，可以在世界各地转移资金。

可以在计算机和远程计算机上编写和执行代码，可以像公司高管一样行事。这是一个比铜线或我们以前发明过的任何其他技术都更具动态性、自主运动范围更广的系统。所以在某种意义上，你可以说我们必须在应用程序的基础上考虑风险。但我想说的是，我所担心的应用程序

是具有极其广泛执行行动的人工智能代理。我可以问一下，你问为什么人们害怕，公众似乎普遍感到害怕。我想看看我能否将媒体拖入其中。我想知道什么时候有人会责怪媒体。如果没有人这样做，我会自己做的。但是，是的，继续吧。我在等，普。谢谢你，马克。我有两个例子可以使用。一个是

你知道，我的公司制造机器人。如果你看看我们的YouTube频道，你会发现点赞数远远超过点踩数。但是，如果你阅读媒体撰写的关于它们的报道，超过一半（取决于哪个视频）会在标题中使用“可怕”这个词。

而且，你知道，这让我担心它会影响公众的态度，他们被鼓励将其视为可怕的，即使我认为视频中没有任何东西本质上是可怕的。需要明确的是，这些是著名的波士顿动力公司的机器人和机器狗的视频，你知道，它们踢足球、做跑酷、跳舞，并在被推倒后站起来等等。你说的就是这些视频吗？是的，我说的就是这些。

马克有一个迫切的问题。是的，请说。好的，因为我对这个具身人工智能世界感到兴奋，在这个世界里，我们将看到这些大型语言模型进入机器人领域。但我花了我的职业生涯来构建人工情感智能，只是

具有同理心和情感的机器。波士顿动力公司的机器人没有任何同理心或情商。那么你考虑过这个问题吗？所以我的新组织（我们称之为人工智能研究所，尽管它很快就会改名）专门致力于将更多的认知和情感功能与物理性和运动能力相结合，尽管我们也在做运动能力方面的工作。所以是的，我们一直在考虑这个问题。当然，

过去几年人工智能的发展使得认知方面更容易实现，这是一个真正的福音。但我认为仍然存在差距，即让物理能力加速仍然是一个难题，而且目前的人工智能技术中的许多

对此持乐观态度，但并不完全……我认为事实的证明还没有出现。为什么是这样？许多人都注意到这一点，那就是在过去几年中，我们在人工智能方面取得的所有进展或大部分进展都在软件人工智能方面。像你们在波士顿动力公司制造的那种机器人并没有取得那么大的进步。为什么是这样？我认为它们仍在以良好的速度发展。我认为……

公众和媒体并没有像谈论人工智能“革命”那样激烈地谈论它。我研究人工智能已经很久了，多年来人工智能的发展是这样的。在各个领域都存在一种起伏的炒作周期。

大约每10年左右一次。所以我们会看到，你知道，我们会看到这个周期持续多久，即使显然存在大量的进步。但我想要再次批评媒体一下，然后我就放它一马。你知道，你一开始问我们关于AGI的问题。我认为你的问题中隐藏着一个假设，即存在比人类更聪明的人工智能可能是错误的、可怕的或令人恐惧的。

对吗？我没有说这些话，但我可以理解你为什么会这样认为。所以，我认为已经有很多关于AGI的讨论。我认为在幕后，暗示的是，如果人工智能变得比人类更聪明，那将是一个问题。但我并不一定这么认为。所以也许我是在问，各位，AGI的前景是否是一种威胁？

这里有人认为AGI的前景是一种威胁吗？我对它的看法有所不同，那就是它开始解释你为什么许多人对人工智能持怀疑或担忧态度的问题的答案。我认为在某些方面，卡尔·马克思是对的，经济不安全感解释了很多历史。

而且，你知道，无论人们如何解释它，或者它是什么，人们都是，你知道，过去40年对普通美国工人来说并不是那么好。他们的收入基本上是持平的。你知道，整个地区都被摧毁了。似乎所有的钱都流向了沿海地区等等。他们看着人工智能，他们，你知道，看着一个比人类更好的人工智能，他们说，这对我有何好处？

而且，你知道，我认为我们实际上低估了宏观经济问题，它们不像安全风险那样。这与你是否会发明一种接管世界的病毒的问题大相径庭。它更像是一种宏观经济趋势。

而且，你知道，事情可能会朝着不同的方向发展。你知道，犁的发明使许多农民能够自给自足。但像轧棉机这样的东西，你知道，它强化了种植园模式，并导致许多被奴役的工人过着可怕的生活条件。所以我认为人们，他们可能并不总是能很好地表达出来，但我认为许多人感受到的经济不安全感正在推动许多人抵制人工智能。我们马上回来。

一个微芯片制造商如何同时跟踪2.5亿个控制点？动画电影背后的技术如何帮助企业重新构想它们的未来？《为改变而建》的听众知道这些答案以及更多。我是伊丽莎·胡。我是乔什·克莱因。我们是《为改变而建》节目的主持人，这是埃森哲的一档播客。我们与世界上最大公司的一些领导者交谈，了解他们如何重塑业务以创造改变行业的重大影响。

以及你如何也能做到这一点。新的剧集即将推出，所以请在您收听播客的任何地方收听《为改变而建》。我给我哥哥订阅了《纽约时报》。她送给我一年的订阅，所以我能够访问所有游戏。我们会玩文字游戏、迷你游戏、拼字游戏。这让我们建立了个人联系。我们会互相交换文章。因此，阅读了同一篇文章后，我们可以讨论它。报道、选择，这不仅仅是新闻。如此多元化的业务。

我真的很兴奋能给他订阅《纽约时报》的烹饪栏目，这样我们就可以分享食谱了。我们前几天甚至刚刚分享了一个食谱。《纽约时报》有助于我们一起度过美好的时光。你可以在指尖获得所有这些信息。它丰富了我们的关系，拓宽了我们的视野。这是一个如此酷炫和体贴的礼物。我们阅读相同的内容。我们制作相同的食物。我们站在同一立场上。

与你关心的人建立更紧密的联系。了解更多关于将《纽约时报》订阅作为礼物赠送的信息，请访问nytimes.com/gift。如果您在12月26日之前采取行动，可以获得特别优惠。

我有一个问题想问房间里那些更担心的人。你们很多人多年来一直在警告人工智能的风险。杰克，你是OpenAI团队的一员，该团队担心GPT-2是否安全。那是几个版本以前的事了。

你认为，丹，你的组织是组织了一封公开信，呼吁暂停六个月的组织之一，不，那不是——错误的公开信。错误的公开信。哦，这是关于大流行病和核战争的。一句话。一句话的信，我弄错了。

嗯，在人工智能安全倡导者中是否存在一种“狼来了”的问题，人们开始忽视这些预测，因为这些系统不断发布，却并没有终结世界？我会参与到这个问题中来。嗯，我认为这里有一个来自金融领域的好谚语，那就是，呃，

市场可以保持非理性状态的时间比你保持偿付能力的时间更长。你可以预测风险，但把握市场时机总是非常困难的。在GPT-2发布时，我们想，哇，这可能会导致网络钓鱼诈骗或身份盗用，或者，你知道，用于错误信息的文本。

我们是正确的，但在时间安排上完全错误。从那以后，我更新了自己的观点，变得更加谨慎地做出这类具体的预测，因为我认为你永远无法准确把握时机，这可能会导致怀疑。但也许是为了补充蒂姆之前所说的话，我们所知道的是，越来越强大的人工智能系统是

将成为主要社会经济变化的驱动力。我认为，如果你对世界领导人说，嘿，大约五年后，地球上将出现多个全新的万亿美元公司，这些公司以前从未存在过，并将突然出现并产生经济影响，甚至更多，将会有一个新的高生产力、具有经济意义的国家，充满了天才，一夜之间就会出现在地球上。

他们会非常认真地对待这件事，不是因为他们认为这些公司或国家会做非常糟糕的事情，而是因为它将成为巨大、突然的经济混乱和变化的根源，而这是不稳定性的根源。我认为我所担心的许多事情，与其说是这些你可能在时间和细节上完全错误的具体风险，

不如说是我们低估了这种变化的规模以及我们可能对此准备不足的程度。我的意思是，是的，在去年那份声明发表的时候，我并不担心当时的模型。它们大致处于能力水平。请简要提醒我们那份声明说了什么。那份声明是，我应该记住，但我没有。我认为它类似于“减轻人工智能灭绝风险应该与核武器或大流行病和核战争一样成为全球优先事项”之类的话。是的。

基本上，它将人工智能比作其他我们作为国际社会已经协调一致的具有双重用途的技术，如核技术和生物技术。但这只是为了引起人们的注意，开始讨论，考虑一下政策的选择方案，并开始了解什么是可行的。但我目前并不担心这些系统。

我的意思是，我不知道2025年的系统会是什么样子。也许它们首先会开始出现一些危害，也许不会。但我确实认为，人们普遍认为这是一种人工智能是本周的恶棍。这是一个挑战。它就像社交媒体，或者它就像电力一样。我认为这是一个挑战。

我的意思是，如果你实现了所有劳动的自动化，最终，这似乎会以其他技术无法实现的方式彻底改变人类的生存状态，仅仅是根据定义。所以，我认为，正如杰克所说，这被低估了，因为它会扰乱社会。我只是想说，一想到“狼来了”我就感到不寒而栗，因为……

这样一个强大的新技术不应该让人们认真思考其风险和潜在的后续危害，以及它的双重性质。这太重要了。而且我

你知道，我们之前在谈论。事实上，我一直觉得OpenAI从一开始就没有得到足够的认可，因为它试图表达这个想法，表达具体的措施，例如审计和红队演习，以及政府监管机构需要考虑的事情。事实上，

我认为在2019年，你因为说出这些话而受到了嘲笑。非常大声地，是的。是的，后来需要更多的工作和公开信等等，才能最终让人们醒悟过来，并真正认真对待这件事。任何强大的、具有破坏性意义的新技术都需要这种细致的思考。

乔什，我想问你一个问题。我们还没有讨论过的一种风险，我认为许多人开始对此非常担忧，那就是有时被称为“人工智能垃圾”的东西，这种人工智能生成的内容过剩开始出现在社交媒体平台上，例如YouTube上。我实际上看到有人开始在Spotify和YouTube上发布通过Notebook LM生成的人工智能生成的播客。我认为，在一些特别担心谷歌的人中，存在这样一种担忧，即互联网正被人工智能生成的内容所淹没，很快将很难找到人类生成的内容。而且，这些人类很难获得报酬来制作这些内容，因为互联网的经济模式可能会开始崩溃。所以，你担心人工智能垃圾吗？

我经常考虑这个问题。我尽量避免它。我想在这里说几点。首先，我认为某种意义上人类创造的东西的价值实际上会上升。我认为，正如我们在其他行业看到的那样，即使是标记它，标记它，人类创造的或其他东西对我来说似乎并不牵强。所以我认为这种价值会增加。

部分原因是我认为，当你有可以全天候生成内容的模型时，它会变得更加稀缺。我认为，那些投入了他们的人性化触感的人是一个方面。我认为我经常思考的另一件事是品味的价值，我认为，会上升。

所以，从用户的角度来看，品味，还有像谷歌和其他公司如何对内容进行排名和呈现、发现、检索。所以，我认为这是两个因素或事情，现在可能被低估了，但我认为它们会上升。也许最后我要说的是，我认为

我们正处于尝试寻找使用人工智能模型生成内容的方法的早期阶段。我实际上可以看到一种转变即将到来，我认为，仍然会有像我们今天在YouTube上或其他平台上所知的那样的创作者。但我认为，几乎会有策展人的兴起，对吧？

他们策划各种类型的内容，并与模型合作，创造以前他们自己无法创造的新事物。我认为这实际上是一个全新的领域，例如，规范是什么？在这种环境下，好的东西是什么样的？我认为这是我们亲眼目睹Notebook LM所做的事情之一，那就是实际上人们能够策划一些来源，并与人工智能合作创造一些以前他们自己无法创造的东西。所以我认为这是一个对我来说很有趣的第三个领域。嗯。

我想谈谈另一个在许多地方都在进行的辩论，那就是关于创意制作的辩论，以及那些内容被用来训练人工智能系统的人们会发生什么，他们是否得到了公平的补偿。显然，我的雇主《纽约时报》正在就此事与OpenAI和微软进行积极的诉讼。但我

但我认为外面有很多恐惧。我们在好莱坞编剧罢工和其他一些创意行业的动荡中看到了这一点，这些动荡与在受版权保护的数据上使用人工智能有关。这是一个有解决方案的问题吗？这里有人知道我们如何以一种让人们感到公平解决的方式来解决这场冲突吗？蒂姆？我的意思是，我认为，如果我们有一个理性运作的政治制度，它应该很容易解决。

例如，存在机制，例如ASCAP或强制许可，在创意产业的历史上。曾经有一段时间，广播对作曲家来说是一个巨大的威胁。曾经有一段时间，有线电视行业对电视来说是一个巨大的威胁。我们通过政府的强制许可或某种支付创作者的方式解决了这些问题。

嗯，我只是担心美国政治制度可能过于破败而无法做到这一点，但谁真的不同意创作者应该得到某种方式的钱，就像，你知道，作曲家得到钱，或者，呃，

或者任何其他有创意的人为他们的作品得到一些钱。这是可以做到的。对此很好奇，如果这是一个过于书呆子的旁白，请阻止我，但是创作者可能获得报酬的时刻有两个，对吧？一个，当他们创作的图像被放入训练数据中时，另一个，当……

可能当有人说以某某人的风格制作图像时。你，我觉得至少第二件事是创作者感兴趣的事情，并且与广播相比至少是新颖的，因为它实际上并没有完全复制他们创作的作品。是的，我的意思是，我认为人工智能世界的一个优势是，一切都是量化的。你知道更多。你知道，广播一直是一个粗略的猜测。

他的音乐是如何播放的，他们从未真正知道。他们根据一些抽样发送支票。我的意思是，你可以真正知道。然后，你知道，我认为这是一个谈判。我认为你可以弄清楚并为创作提供一些东西，这有点像技术性的，使用衍生作品与原始训练，你知道，基于一切。在一个理性的系统中，这是，你知道，我希望《纽约时报》的诉讼能达成一个大的和解。

我也是版权律师，看起来他们已经抓住了OpenAI的重复内容。所以我希望这将是谈判的开始，因为我希望它不会被搁置。

最糟糕的事情可能是像谷歌图书那样，每个人都争斗了这么久，现在那里有一个图书馆，没有人真正能够进入。像我这样的人想阅读那些旧书，但几乎不可能找到它们。所以，你知道，我们正在押注美国政治和法律机构能够解决这个问题。

我喜欢将归属作为一项服务，作为我们如何做到这一点的商业模式的想法。是的，你可以想象一下，当你的数据用于训练时，或者当它用于推理时，或者它是推理的一部分时，会发生微型支付。有一家名为Prorata.ai的公司正在开始这样做。一些大型语言模型公司正在接受这种归属的想法。所以我不知道这是否会流行起来。是的。

萨拉，我想问你另一个在人工智能领域正在发生的大辩论，那就是人工智能的进步是否正在遇到瓶颈。你与许多构建人工智能系统的人交谈。你也有一个很棒的播客。萨姆·奥特曼刚刚被安德鲁·罗斯·索尔金在舞台上问到人工智能是否正在遇到瓶颈。他重申了他的立场，即没有瓶颈。目前的架构

足以让我们一路走到AGI。我们并没有缺乏数据或计算能力。瓶颈根本不存在，任何相反的传闻都是错误的。那么，你对人工智能进步是否正在遇到瓶颈这个问题有什么看法？

我对在人工智能方面做出超出我所能看到的预测非常谨慎。而且，就像，我们可能会——让我们称之为，就像，数据中心协议中人们已经签署的六个月。我想说的是，就像，我们将看到模型的进步，对吧？我思考这个问题的方式是——

你知道，今天有一个互联网数据集和其他数据集用于预训练，获取用于模型进步的数据将变得越来越昂贵。

很多人正在努力寻找方法来使额外的资源、策划、合成数据非常有用。从事这个问题并拥有机会的有趣科学头脑的数量比几年前要大得多。所以我对将会有持续的进步非常有信心。

我认为我表达这个问题的方式可能是，它有多贵？因为，你知道，一定规模的数据中心和电力，你必须以某种方式证明它是合理的。如果你正在收集许多专业领域的人类专家数据，

以非常复杂的方式，这比使用抓取的互联网数据要昂贵得多，对吧？所以，据我所见，我相信我们将看到模型能力的持续提升。而且我认为人们也在想出新的方法来改进体验输出，对吧？所以这里每个人都知道测试时间缩放的概念。所以，你知道，简单来说，就是更努力地思考更难的问题。

我认为这是一个不同的范例，我们将从现有的基础模型中获得更有趣的能力和代理。

还有其他人想分享他们对我们是否正在接近极限的看法吗？根据我们的研究，我们没有看到极限。但这并不意味着不存在极限。但目前我们没有看到任何确凿的科学证据表明存在极限。我认为更大的挑战更多的是经济方面的。所以凯文·斯科特（我知道你很了解他）与我和其他人分享的一个框架是，如果你认为当前生成式AI系统的状态能够相当可靠地完成可能需要一个非常优秀的人类五秒钟深思熟虑的认知工作，那么我们现在就能做到五分钟的深思熟虑，但成本可能是原来的100倍，计算成本。

这样做的经济效益可能不会非常广泛地适用。但如果我们达到五小时、五天、五周，甚至持续10倍或100倍的成本增长，开始具有经济意义。所以，我认为如果存在——你告诉我，可能会有一个点，我们会问ChatGPT、Copilot或其他系统一个问题，它需要五周时间才能给出答案？是的。

我不会等那么久。对不起。这个标签要关闭了。这就像管理员工一样。这取决于问题，对吧？没错。这实际上是我对那些举手表示2030年将出现AGI的人提出的一个好问题。因为就我认为的AGI而言，我认为这将需要更长的时间。但我同时也认为，这将是有史以来最具爆炸性和影响力的事情。我注意到，许多表示2030年将出现AGI的人谈论的影响，在我看来，如果你认为AGI将在2030年出现，那么这些影响就显得微不足道了。所以我很想知道，AGI对你来说意味着什么？你认为它的影响是什么？它会多快

我认为你我的观点并没有那么大的差异。对我来说，AGI是一个很难理解的概念，因为它没有技术或科学定义。所以，你知道，据我所知，我们今天可能已经拥有它了。我们只是不知道。这可能需要数年时间。我想对我来说，我会说这就像你说的那样，你知道，有五秒钟的AI，五分钟的AI，十小时的AI。对我来说，我会说AGI可能是十年版本的AI。你认为这会在2030年发生吗？是的。

我认为将会发生的事情，我思考的方式是，是否会有AI……所以你现在应该带着你的手机。而在这部手机里，有几项计算机科学研究的伟大成就。有一个软件定义的无线电。有一个基于Linux的操作系统。里面还有各种很酷的东西。放在一起，你离不开……就像，如果你今天没有它，你可能会感到相当脆弱和不舒服。对。

你每天都依赖它。事实上，我把它放在了另一个房间。我很勇敢。我明白了。哇。我印象深刻。不像这里的凯文。所以我好奇的是，到2030年，我们是否会有生成式AI或AI系统，我们会感到同样的感觉，即使是一分钟都无法忍受没有它的想法？

已经有人对他们的伴侣有这种感觉了。百分之百。你知道，人们结婚了。这是他们生活中最重要的关系。所以我们已经看到很多人是这样了。所以……

是的，我从2012年就开始研究AI了，也许没有这里有些人那么久，但即使是十年，12年，目标还在不断变化。即使人们问，你对AGI有什么看法？首先，我可能不是最适合回答这个问题的人，但即使那样，我认为，我不知道AGI是什么。这感觉就像一件非常奇怪的事情。

定义在12年里变了15次。我甚至无法再追踪了。我们称HAI为什幺，杰克？我可能会说我的定义是，它就像一个经济上具有生产力的完整民族国家，它将根据你能提供的计算量进行扩展。而这其中的含义完全是……

经济错位和变化。如果你能想象一下，如果我管理一个国家，我想让这个国家做一些事情，而它是一个中等规模的国家，你可以完成具有巨大世界变革意义的事情，特别是如果这些人像Ajay之前说的那样，非常忠诚、遵守规则，而且都非常聪明和勤奋。我认为这种

程度的变化是惊人的。也许需要记住的重要一点是，我们不仅仅是在谈论一个单一的系统，我们将谈论数千到数百万个非常非常聪明的系统，作为一个团队一起工作。纽约时报是一个非常非常聪明的媒体出版物，这不仅仅是因为凯文·鲁斯，还因为你和你们所有一起工作的同事。你们能够通过团队合作完成令人惊叹的事情。

这些系统也会是这样的。我认为同时相信能够取得非凡成就的AI系统群体的进步，

就像，在你脑子里，同时相信。最后一英里进入，就像，社会在各个方面都是非常非常长的，对吧？所以，就像，我喜欢在这里使用的例子，它就像，你知道，技术上不同，架构上不同，但是几十年来，我们能够做到放射学，其中很大一部分是通过算法实现的。然而，就像……

我们在美国缺乏放射科医生，而且这个问题似乎并没有改善。当你调查这些问题时，你会发现，哦，好吧，放射设备的工作速度只有这么快，我们关注这些方面的质量，他们必须生成报告。所以我只想说，我们认为融入社会、组织、公司、人们的流程的复杂性非常缓慢而深刻。事实上，我认为这给了我们相当多的时间，对吧？即使我们认为一般能力是

进展非常迅速。我试图尽可能积极地思考这个问题。所以，像一个普通美国人或一个民族国家经历这种爆炸性变化的时间段，可能比我们想象的要远一些。

也许只是很快地补充一点，你知道，经济学家泰勒·考恩，我认为，也和你一样提出了这一点，那就是社会需要20到30年的时间来适应新技术。他实际上曾经对我和达里奥说过类似的话，

好吧，你们的预测时间可能过于乐观，但你知道还需要发生什么吗？在这些变化发生之前，还需要10到30年的社会变革。这可能是这里发生的事情。我最喜欢的历史例子是电梯，它发明了几十年后才广泛使用，因为人们就是不信任它。

所以实际上需要发明一个安全功能来提高它的安全性，这样人们才会真正乘坐它，你就可以开始将它们安装在建筑物中了。所以这里安全性和采用之间可能存在一种有趣的联系，值得思考。我想谈谈政治。

那是什么？那很好。是的。是的。我想谈谈政治。这是一个最近发生很多变化的领域。显然，我们有一届新政府即将上任。有报道称，唐纳德·特朗普正在考虑任命一位人工智能沙皇来领导他的政府在人工智能方面的工作。那么这是一个好主意吗？房间里有人想为此抛出自己的帽子吗？

我不想为此抛出我的帽子。然而，我最近会见了阿联酋的人工智能部长，我相信他是世界上第一位人工智能部长。他大约七年前被任命。我认为这是一件好事。我认为让一个国家走在前列是很好的，不仅仅是在监管方面，实际上是在创新方面。你如何才能利用人工智能，以真正有创意的方式，同时加速科学发现和进步，并使所有的人都能获得

各种很酷的东西。我不知道这是否是特朗普的人工智能沙皇的职位描述，但我认为这可能会非常棒。只有一个方法可以知道。你必须飞往棕榈滩，去参加会议。见见埃隆·马斯克。我的预测是，你会在两年后沮丧地辞职……

丹，你被描述过……

至少一次是埃隆·马斯克的安全耳语者，呃，你一直是他的AI初创公司XAI的安全顾问。有些人推测你可能在任何特朗普政府关于AI安全和监管的努力中扮演角色。你有什么要分享的吗？呃，

我不知道是否会有人工智能沙皇。所以我认为应该有人来推动它，因为它在白宫内部非常分散。你会有国家安全委员会和白宫科技政策办公室，以及所有这些不同的部门，他们都将关注问题的不同方面。所以一个人来推动它。

一个具体的愿景，这样就不会有很多有权势的个人朝着不同的方向前进，我认为这在人工智能方面会很有意义。但我认为我们只能拭目以待。你对特朗普政府对人工智能的态度以及它与拜登白宫的行政命令有何不同有什么猜测，无论是受过教育的还是其他的吗？好吧，我的意思是，我认为两届政府，似乎都有可能认识到这与国家安全有关。

我的意思是，特朗普开始以某种方式重新推广出口管制，而拜登政府在人工智能芯片的出口管制方面进一步推进了这一措施。所以这可能成为他们关注的一个方面，让战略竞争对手无法获得这些类型的芯片，除非他们同意某种标准。所以我认为这会很有意义。但是是的。

我们将拭目以待。我认为这是——他们还没有真正达到那个阶段，因为这主要还是内阁级别的事情。所以我认为在接下来的几个月里，我们将了解是否会在人工智能安全、国家竞争力和国家安全方面做出重大努力。但我认为没有人知道。是的。

最近在一些政策圈子里生根发芽的一个想法是，我们需要一个针对人工智能的曼哈顿计划，基本上是一个协调一致的联邦努力，将大型人工智能实验室聚集在一起，争取在人工智能方面领先于中国。有人认为我们需要一个针对人工智能的曼哈顿计划吗？在我看来，如果你看看那些正在投资的大公司，我们已经有大约三到四或五个这样的计划了。

数十亿或数十亿甚至数百亿美元。政府是否应该给他们更多资金让他们更快地发展？我认为政府可以扮演的一个角色是资助

保持新思想的火种，并将它们保持活力，直到它们具有商业潜力，当然在机器人技术方面，他们做到了这一点，他们在我们身上做得很好，在其他领域，我认为他们在互联网方面做得很好，我认为我将此视为一个更大的角色，我认为至少目前版本的人工智能正在获得足够的动力，

我担心的是，在美国、英国和欧洲，计算机科学专业的毕业生，无论是研究生还是本科生，与这三到四个或五个工业界曼哈顿项目之间存在差距。例如，当我观察中国领先的学术机构时，中国政府非常努力地弥合了这些差距。

所以我认为我希望看到的是，大幅增加对人工智能学术研究的有效资助。

我在这里实际上有一个有点激进的想法。我认为让美国赢得人工智能最简单的方法是，让任何在人工智能领域工作或有任何意愿在人工智能领域工作的计算机科学家、数学家或物理学家都非常容易获得签证来到这里。因为最终……我通过……

杰出的能力签证来到这里，然后通过这种方式获得了绿卡，再通过这种方式获得了美国护照。这很难，但我至少不是来自印度，在那里这是不可能的。中国人也很难，也很难。但这应该是自动的。你只需要来到这里，出示你的学位，出示你与一些机构或大学的联系，你应该能够立即进入并找到工作。仅仅是因为作为一个来自

我在俄罗斯长大。我一半是乌克兰人，一半是俄罗斯人。我们都想住在这里。大多数人都想住在这里。中国的大多数研究人员都想住在这里。这就是竞争优势。你可以得到所有这样的人。而事实上，要让人们搬到这里来，这几乎是不可能的。将我的博士生从俄罗斯搬到这里来是极其困难的。他们甚至无法获得探访签证。所以他们最终只能留在那里，即使他们可以，他们可以在一夜之间到达那里，并且

如果解决了移民问题，人工智能战争将在一天内结束。我认为这实际上是一件非常简单的事情。不幸的是，我没有看到太大的进展。好吧，如果我可以补充一点，这是一个真正的问题。我在白宫感受到了这一点，

移民政策只被理解为南部边境，你知道，而不是像尝试那样，一旦它出现，它就像如果它是关于寻求庇护，你知道，大篷车或其他什么，南部边境就变成了移民政策，不可能进行讨论，当我在白宫的时候，我们……试图

吸收许多逃离俄罗斯的俄罗斯人，并试图，乌克兰人试图做一些事情。我们做了一些。但是是的，但是，因为它是如此集中在南部边境，这只是美国政策疯狂的方式之一。我的意思是，我们已经采取了在苏黎世开设办事处的措施，因为我们可以在那里雇用任何人。然后我们远程与他们合作。

以及与开设AI公司一样，只是开设苏黎世办事处。这相对容易。实际上很难让人们搬家。而这个荒谬的H1B抽签，怎么可能对人工智能科学家进行抽签呢？当他们……

登上飞机时，他们应该立即获得签证。为特定的人群，你知道，只为那个职业做一个ASTA类型的事情。事实上，恰恰相反。今天，如果你带着人工智能学位来，你会得到证据请求，也就是所谓的RFE，直到你忘记。他们会问你10000个问题，如果你带着这些学位中的一个来，实际上获得签证会更加困难。好吧，微软研究院甚至现在也继续加速在世界各地开设新的实验室。值得注意的是，

经济安全就是国家安全，像曼哈顿计划这样的事情就像政府可以采取的许多干预措施中最后一种，以在技术方面获得领先地位，而你可以更早采取的干预措施，例如解决移民问题，或者正如彼得所说，建立基本的实验基础设施，让科学家能够访问这些公司组装的计算机，所以当我听到像曼哈顿计划这样的术语时，我就像

这就是我们的想象力带给我们的。还有许多其他更便宜、更不吓人的工具，你可以更早地使用。我认为我们需要努力关注这些工具。

世界各国政府在之前的技术中断浪潮中所做的一件事是，试图为那些工作被取代的工人减轻影响。在斯堪的纳维亚的一些国家，他们有就业委员会，那些由于自动化而失业的人可以得到某种程度的再培训，以从事其他工作。政府可以或应该做些什么来帮助那些在未来几年可能面临人工智能威胁的工作人员吗？

好吧，我认为在未来，我看到实际上很快就没有其他工作可以让人们重新培训了。所以我认为这将需要一种非常不同的方法。也许像UBI这样的东西，我认为，在未来的某个时刻将不得不

必然摆上桌面。但我同时也认为，不幸的是，这可能是需要解决的众多重大问题中的第四或第五个问题。它处于对数尺度上。所以列表中排名更高的那些问题是。

好吧，让我们谈谈这个，因为工作，我认为，在这个对话中有时会被忽略，我们谈论的是近期风险和长期存在性风险。中间有一层，那就是担心人工智能可能会夺走所有工作。当我走遍全国各地与各个人群谈论人工智能时，我经常被问到的问题，我相信你们也是如此，是，

我能找到什么工作，或者我能告诉我的孩子去学习什么工作，才能免受人工智能的侵害，人工智能无法取代？很长一段时间，人们被告知要学习编程。这是保护自己免受取代的一种方式。但这不再是人们不言而喻的最佳选择。但是否存在人工智能无法取代的工作，或者至少是人工智能难以取代的工作？是的。

拉娜？我不知道那是什么工作，但我有一个21岁的女儿和一个15岁的儿子。我认为，我不知道他们将来会做什么，但我了解批判性思维、协作、沟通、创造性思维。所有这些都将继续非常重要。我希望他们能够真正掌握这些才能或事物。

是的，更多的是软技能。所以我不知道，但我不知道他们最终会做什么。这几乎无关紧要。

好吧，告诉你的孩子无论他们选择做什么。例如，如果他们想从事软件工程，那就去做，学习如何利用人工智能来做到这一点。事实上，我已经非常仔细地研究了现代医学。技术很少将人类从医学专业中淘汰出去。这种情况发生过两次。一个是脑扫描技术的兴起导致神经学完全淘汰了颅相学。

然后另一个是微生物学进步和疗法已经淘汰了理发师使用放血来治疗流感等疾病的做法。几十年来，水蛭在医学领域一直处于未充分利用的状态。一次又一次地发生的事情是，像医学专家这样的高级知识工作者所珍视的技能——

已经发生了巨大的变化。我最喜欢的例子是产科，医生过去接受过训练，并掌握了手动触诊作为检查胎儿和孕妇的一种技能。这已经被超声波完全取代了。

而且存在巨大的阻力。早期存在安全问题。但事情最终发生了转变，现在如果病人去看产科医生，他或她说，我不相信超声波，我要把手放在你的肚子上。这甚至现在都可以被认为是可报告的事件。所以我认为，未来我们可能需要更少的某种类型的产科医生

在未来。但即使是这样，也往往不像人们担心的那样频繁发生。我的意思是，如果你回顾长期技术发展的历史，我的意思是，显然我们仍然都有工作，对吧？所以，你知道，没有技术是完全……我认为杰克一直在谈论的问题是中间的中断。

而且，你知道，我们已经谈论过风险。我认为重要的是要考虑两种风险。在某种程度上，一些安全风险几乎比

更容易描述和命名，因为它们是，你知道，像发明生物武器之类的事情。它们更具体一些。更广泛的宏观经济中断，工业革命，我的意思是，有一个强有力的论点，工业革命发明了许多技术导致了第一次世界大战、第二次世界大战，你知道，所有这些各种杀戮。所以就像这样，而这些东西真的很难

反击。我认为我们现在不会达到这一点。但我可以想象，十年后，我们将进行一次谈话。我们会说，我们没有意识到，你知道，这么多人不得不改变工作，无论如何，导致了强人领导人的崛起。我们最终陷入了某种战争。我们会真的，你知道，很难直接将其与人工智能联系起来，但这种

现有的经济不安全感。所以回到你的观点，我的意思是，我认为我们所做的任何试图减轻中断的事情，我没有一个确切的方案，但要做到这一点，这样愤怒的人群就不会走上街头，支持强人接管他们的国家。我的意思是，在世界许多地方，我们都接近这种情况。

我认为这是为了文明的生存，我认为这是最重要的事情。为此，我觉得我用来思考人工智能革命的一个视角是，它将像工业革命一样展开，但速度快了10倍。

所以，你知道，在几百年的时间里，我们从一个90%以上的人类从事农业的世界，变成了一个在现代工业化经济中可能只有1%或2%的人从事农业的世界。对。

但这种变化发生在足够长的时间内，大部分变化是通过，你知道，父亲是农民，但儿子去了城市，从事工厂工作。然后他的儿子又去从事信息技术工作，成为播客或其他什么。但如果这种转变发生在……我应该了解我的祖父。是的。

在10年而不是200年的时间里，那么它就不会在几代人的时间里发生。它必须是那些正在失去所有技能的相关性，然后又没有什么可以替代的人。关于美国……

墨西哥和加拿大的人口出生率都在下降的事实。我认为——欧洲和亚洲的几个国家也是如此。韩国为0.7，而2.1是收支平衡点。所以有人认为，生产力将取决于人工智能和机器人，因为人口正在老龄化和下降。

与工人和人工智能之间将存在竞争的风险分开。好吧，让那些人工智能研究人员进来。人口危机解决了。好吧，也许没有人会生孩子，因为他们都，你知道，与他们的人工智能伴侣和恋人在一起，这就是导致下一次人口危机的因素。乔什和萨拉，我想问你们人工智能的下一步是什么。你们都花了很多时间倒退

构建和资助在这个领域即将出现的产品。最近有很多关于代理的讨论。这是一件事。Anthropic刚刚发布了一个演示版，或者说是一个真实的版本，它可以使用计算机，基本上是人工智能，可以四处点击并为你订购机票或其他东西。在接下来的，比如说，12个月里，我们还应该期待什么？

我将讨论一些我感到兴奋的具体应用。但我不得不说，就像，我认为也应该为未来的丰富做出一些论证。而且，就像，这根本就不是这次谈话的一部分。我不是说，像，这在没有财富分配机制的情况下微不足道地发生。但我认为这里没有人，像，如果有人读过，像，《我们民族的更好天使》，像，或者只是想过生活质量，对吧？

前工业革命时期。我们不像，让我们回去。我不会带我的孩子去那里。我宁愿说，哦，你会找到工作的，对吧？或者工作可能不那么重要了。我是一个纯粹的资本主义者。就像我认为我们将继续拥有市场经济，人们会看到他们对社会和他们身份的很大一部分价值是由他们的工作决定的。但从历史上看，这与所有其他事情都不同，你

在技术革命之后，对许多不同事物的需求是弹性和新兴的。所以我认为，你知道，对科学发现速度的提高和医疗保健以及教育成本的降低在世界上的意义抱有一些信心或一些图景，就像应该更积极一些。我很高兴你提到了这一点，因为我希望你能勾勒出这个愿景。像在后AGI丰裕情景下的生活是什么样的？

经济对普通人来说是什么样的？他们整天都在做什么？他们如何赚钱？他们需要赚钱吗？对于今天还很年轻的人来说，生活是什么样的？我会让我们的数字孪生去工作。是的，这是可能的。但是当你谈到那种更乐观的愿景时，你在想象什么？是的。

是的，我觉得我还没有准备好想象这一点，因为这就像在一个生活质量很高、生产力足够高、你可以少工作，而你所做的工作是你自己选择的世界里。就像我认为人们学习、娱乐和创造，对吧？

好的。我认为这实际上非常有趣，因为我们对世界的理解水平仍然非常有限。因此，我认为人们更关注发现、娱乐和社交。实际上，我还想补充一点。我认为人们非常关注发现。

这是理所当然的。工作，以及我们是否会有工作，以及我们是否会有钱，以及是否会有大量的钱。我认为我们需要关注心理健康，因为现在我相信，也许这有点反其道而行之，但我确实认为大多数战争都是由于心理健康问题造成的。世界上大多数可怕的事情都是因为……

不同人的情感弱点造成的，因为他们在小时候没有得到某种方式的爱等等。所有这些情感问题，所有这些，你知道，有一部很棒的电影，《别抬头》。就像我们都知道什么会杀死我们一样。我们对此什么也没做，或者做得不够。所以，这并不是因为我们做不到，而是因为我们不知道怎么做。是因为我们在情感上做不到。我们作为人类太软弱了。所以，除非我们弄清楚……

人工智能如何从内部修复我们，无论我们在外部的生活多么富足，我们将有多少娱乐，我都看不到美好的未来。我会给你一个积极的，对不起，我会给你一个积极的展望，那就是我认为我们大多数人大部分时间都在工作。如果工作真的变得更好，那将是一个积极的展望。我认为这可以……

你知道，这些是我的个人信念，但我认为如果很容易拥有你自己的小型或中型企业，你知道，如果你没有这种感觉，如果你只是有一种感觉，你拥有经济自主权来创办你自己的企业，并按照你想要的方式更容易地去做，我认为这将是一件好事。我认为人工智能真的可以帮助做到这一点。

我认为这的消极版本是，如果所有的市场力量都掌握在少数几家公司手中，这些公司榨取一切，而你感觉自己就像一个亚马逊卖家，只是为了维持现状，我认为这是不好的。换句话说，我认为很多事情将取决于……

坦率地说，取决于市场力量。这再次是一种经济视角。但我确实认为未来有一个非常积极的愿景，在这个愿景中，人们感到大量的经济自主权，并且他们的工作生活要好得多。但我不知道我们是否朝着这个方向发展。这是我的担忧。只有一件很小的事情。几年前有一个关于API之下和API之上的概念，我仍然觉得它有点相关，那就是在某些时候人们朝着两个方向发展。

一些人在API之上工作，一些人在API之下工作，这意味着一个人，例如，在Uber编写代码，而另一个人则驾驶汽车，机器告诉他去哪里。听着你说话，我总能产生共鸣，因为我认为人工智能有能力放大我们所做的最好的事情，也放大我们最糟糕的弱点。我认为正是这种张力……

我之前没有回答关于存在性恐惧的问题，但对我来说，存在性恐惧就是这样产生的。知道它可以触及我们最开放的伤口，同时也使我们能够做以前做不到的事情。

关于积极的愿景，我真的很推荐杰克之前提到的达里奥的论文《爱的机器与优雅的机器》。我认为这可能是目前最好的积极愿景了。在这个领域真的没有多少文献。但我认为，如果我们将人工智能放在人类的中心位置，并构建服务于人类的人工智能，我认为有一个愿景，即人工智能增强了我们作为人类的本质。就像我们变得更健康、更高效，并且……

回到你关于人类繁荣的概念，就像在许多方面都更好地体现了作为人类的意义。我认为我们可以做到这一点。我很乐观。我们只剩下几分钟了，但我希望确保我能问到我为这个小组提出的我最喜欢的问题，那就是，在人工智能方面，你错过了什么？是的。

这个房间里没有人谦虚。不，没有人错。我一直都错。你错在哪里？当我第一次看到人们，杰夫·辛顿和他的团队在夏天访问微软研究院时。那是2009年。他们建议使用这些分层的神经网络蛋糕，而不是用于语音识别的混合高斯模型。我知道这是荒谬的。

事实上，我甚至为杰夫感到难过，因为我在80年代后期在卡内基梅隆大学和他一起当过教授，那时他也在做同样的事情。我只是想，哇，他还没有放弃这个。当然，你知道，他和伊利亚以及团队改变了世界。深度学习变得非常重要，这种情况一直都在发生。

我认为我错了，世界上坏人相对较少。我认为很多关心人工智能安全或风险的人……

包括我自己，都对世界上有多少恶意行为者有一种错误的、漫画式的看法。你坐在人工智能实验室里，想象着影子人类中心，它就像人类中心一样，但它所做的一切都是坏事。你的风险模型就基于此。我认为人们的意图要好得多。这是我不得不改变观点的一个领域。

我想说的是，令我惊讶的是，面向消费者的产品少之又少，而且在过去三年中，似乎有可能实现的有用应用程序的采用率也很低。我认为每年我都想象着这种丰富的景象。我设想自己每天都在使用人工智能。

但事实并非如此。我没有找到如何将其整合到我的工作流程中的方法。我认为对于绝大多数人来说都很难，除了某些高级用户程序员。我认为消费者应用程序即将到来。我的意思是，功能显然正在迅速增强，但有一些很棒的产品人员，比如Notebook LM人员和许多其他人，他们认为，能够像空白聊天框一样与聊天机器人对话，这仅仅是一个开始。它只需要……

需要企业家。我们需要iPhone时刻，对吧？我们需要人工智能的iPhone时刻。我实际上回顾了一下，我认为我们正处于平台转变的第2年，这个转变将持续10年。这种长期视角，至少在这些块中思考它，可以帮助我。我认为我错了……

事情发展得有多快，这是真的，但也包括它被采用和整合的速度。但我回顾了一下。iPhone时刻，2007年，史蒂夫宣布两年后。我不知道你们是否看过这些，但App Store基本上是缩小了的网站……

手电筒和放屁应用程序。这就是App Store。还有一个应用程序看起来像你在喝啤酒，但实际上你并没有。让我们不要忘记那个。所以我同意莎拉的观点。我认为如果我迄今为止有什么错误的话，那就是我认为采用速度会更快。但我确实认为我们正处于这样一个阶段，第一波应用程序……

主要基于聊天机器人，我们现在正进入第二阶段，在这个阶段，许多新的应用程序都是以不同的方式真正以人工智能为首要因素构建的。让我们了解一下即将发生的事情。我的意思是，你在谷歌实验室工作。在未来一年，我们应该期待哪些人工智能产品？好吧，我的意思是，我们思考了很多关于知识的未来会是什么样子，以及按需家教意味着什么，这在前面已经讨论过了。我们思考了很多关于软件开发的未来会是什么样子。

以及如何让10倍工程师变成100倍工程师，或者让0倍工程师变成10倍工程师。我认为创意工具有很多不同的方式可以释放创造力。当你再次将人类和人工智能的结合放在一起时。然后，也许我们讨论过的一个最终问题是工作的未来。我认为我们正进入一个阶段，我们正在从单点产品转向重新思考整个工作流程。这就是它变得真正有趣的地方。我认为对于……

小组中的风险投资家来说，这也很有趣，因为从某种潜在的优势来看，你开始谈论人们工作的新方式，而不仅仅是将人工智能添加到现有工作流程中。在我们剩下的时间里，我想进行一个闪电轮，绕着桌子走一圈，以尽可能简洁的方式回答以下问题，用尽可能少的词来回答。你睡着了，在2030年醒来。

通用人工智能已经到来。你让它为你做的第一件事是什么？丹。发生了什么？我会问它这个问题。所以这是一个推诿。对不起。你会问它发生了什么吗？是的。我们赢了吗？我会问它我最不了解自己什么。嗯。

内省。洗衣服是我想到的事情。非常没有创意，但我认为我会让它做所有我讨厌做的事情。我同意这一点。马克，如果你能让波士顿动力公司的员工参与到折叠洗衣机器人项目中来，那对我个人来说将是一件很棒的事情。这也在进行中。真的吗？物理智能，对吧？也许一年。我可以预订吗？

但代价是什么呢？但价格是多少？我可以用什么价格洗衣服？哇。尤金妮娅？对我来说，这很容易。我已经研究了12年了。我希望它能让我在生活中蓬勃发展。就是这样。帮助我过上幸福的生活。

把我的狗早上想告诉我什么翻译成英语。这是一个好问题。起床，彼得。我饿了。乔什？围绕聊天和与人们重新建立联系，无论是过去还是现在，跨越地域和距离，对我来说都很有趣。

莎拉？23. 我有一个7岁的孩子，一个5岁的孩子和一个1岁的孩子。我认为那时它会是这样的，我今天能教他们什么？我会要求它帮助解决通用人工智能的存在带来的巨大治理问题。符合品牌，是的。我的与那个相似。我会让我的每个孙子都得到，然后你可以插入麻省理工学院、斯坦福大学或哈佛大学的教育。

蒂姆，我要借用电影《她》中的台词，让它阅读我所有未读的电子邮件并回复它们。并礼貌地回复它们。是的，我会补充我的，那就是，一旦人工智能能够帮我报销费用，我就会认为它是通用人工智能。这将是我们迄今为止发明的最伟大的东西。

多么精彩的谈话开端啊。我希望这能引发更多讨论，我很感激你们今天都在这里分享你们的观点、想法和见解。我认为我们已经取得了很多成就，虽然我们还没有解决人工智能带来的问题，但我相信这个房间里的人将成为解决方案的一部分。所以，非常感谢各位的光临，祝你们今天剩下的时间愉快。

Dealbook峰会是《纽约时报》制作的节目。本集由Evan Roberts制作，Sarah Kessler编辑。Kelly Piclo混音。Daniel Powell创作原创音乐。Dealbook活动团队的其他成员包括Julie Zahn、Hillary Kuhn、Angela Austin、Haley Hess、Dana Prakowski、Matt Kaiser和Yanwei Liu。

特别感谢Sam Dolnick、Nita Lassam、Ravi Mattu、Beth Weinstein、Kate Carrington和Melissa Tripoli。感谢收听。下次再聊。