#452 – Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity
05:22:14 Share

以下是与Dario Amodei（Anthropic公司首席执行官，该公司创建了Claude，目前经常位列许多基准榜单前列）的对话。

此外，Dario和Anthropic团队一直公开倡导认真对待AI安全问题，并继续在该主题及其他主题上发表大量引人入胜的AI研究，之后还加入了来自其他机构的两位杰出人士：Amanda Askell，一位专注于Claude的对齐和微调研究员，包括Claude的性格和个性设计。一些人告诉我，她在Anthropic公司可能比任何人都更频繁地与Claude互动。因此，她绝对是一个关于提示工程以及如何充分利用Claude的实用建议的迷人对象。之后，Chris Olah也加入了讨论。

他是机制可解释性领域的先驱，这是一项令人兴奋的努力，旨在逆向工程神经网络，以弄清其内部运作机制，并从网络内部的神经激活模式推断行为。例如，这种方法非常有前途，可以帮助确保未来超级智能AI系统的安全，例如，通过检测模型在试图欺骗其正在与之对话的人类时激活模式。现在，快速提及一下赞助商，查看描述部分是支持我们获得未经请求的机器学习、概念、笔记和团队协作的最佳方式。

Shopify用于在线销售商品，BetterHelp用于心理健康，LMNT用于健康电解质饮料。如果您想加入我们令人惊叹的团队，请随时联系我。

现在，在所有广告阅读之后，我尝试使这部分内容更有趣，但如果您想跳过，请务必查看我们的赞助商，我真的很喜欢他们的产品。您可能也会喜欢。本期节目由Encord赞助，Encord是一个专注于数据注释、整理、管理和模型评估的AI工具平台。我们在这期播客中谈到了公共基准，我认为主要集中在提示工程方面。

关于如何拥有一个可以作弊的基准市场，以及如果它不是公开的，那么如何以正确的方式使用它来评估指标、奉献精神、培训、再培训和所有这些后训练工作，有很多令人兴奋的发展。Anthropic团队的讨论主要集中在语言方面。

Anthropic公司在视觉数据方面做了大量令人难以置信的工作，并使其易于搜索和可视化，以及细粒度的整理。最终，数据仍然是最重要的因素。

数据性质应该是什么样的才能成为好数据？人类生成的数据还是合成数据，这会不断变化。我认为，它仍然是构建通用智能系统（以及专用智能系统）的最重要组成部分。

尝试使用Encord来整理、组织和管理您的AI数据。

Notion最初是一个很棒的笔记应用，然后它开始成为一个出色的团队协作工具，因此它适用于许多人，以及各种规模团队的项目管理。现在，它正在变得越来越像一个超级强大的AI增强型笔记和团队协作工具，真正地整合了AI，可能比我用过的任何笔记工具都好。

说实话，Notion真的非常棒。我无法想象在大型团队中使用Notion会是什么样子，但我认为它在大型团队中真正发挥作用，但在小型团队中也同样出色。

将助手集成到特定文件、区域、生成等，以及将助手集成到构建中，以询问有关跨项目、跨文件等的问题，并能够总结所有内容，也许还能根据不同文件中的所有内容调查项目进度。因此，Notion的AI集成非常棒。在您了解Notion概念后，可以免费试用Notion AI。

本期节目还由Shopify赞助，Shopify是一个让任何人可以在任何地方销售商品并拥有精美在线商店的平台。我需要提到Shopify的首席执行官Toby，他非常出色，我不确定为什么他一直出现在我的播客中。他说，我需要弄清楚这一点，每次在与Cisco交谈后。

所以他很出色。各种各样的领域，不仅仅是企业家，还有销售或创业，只是这种存在方式，以及它如何补充对话的个人资料。我一直在看一些烹饪节目。

我认为我第一个烹饪节目叫做“厨师大战”，这是一个韩国节目，其中有明星厨师和没有明星厨师的厨师对抗。其中一位评委以其描述每道菜的口味、质地和构成好菜的每一个细节的方式而闻名。是的，很有感染力。

我实际上并不真正关心食物。我不是那种会从食物角度思考的人，但他让我想要关心。无论如何，这就是为什么“风味概况”这个词指的是食物，这与我应该说的内容无关。

因此，您应该使用Shopify。我使用Shopify。非常简单。在Shopify上创建商店以销售一些衬衫。无论如何，注册一个试用期，以推广Shopify。

使用Shopify来提升您的业务。本期节目还由BetterHelp赞助，BetterHelp可以帮助您找到合适的治疗师。

它适用于个人和情侣。它易于创建、经济实惠且可在全球范围内使用。我读过一些年轻心理学家写的书，我处于一种令人愉悦的昏昏欲睡状态，我忘记了他们的名字。

但我需要做一些研究。我需要回到我的年轻时代，那时我梦想成为一名精神科医生，阅读弗洛伊德的著作，阅读年轻人的著作，阅读年轻人在阅读书籍时可能的方式。

当然，还有其他类型的文学哲学家，例如卡夫卡。无论如何，我需要回到那里。

也许可以进行一些关于荣格的对话。无论如何，这些人，即使部分错误或不正确，都是真正勇敢地探索人类心灵和阴影的方式。他们展示了通过语言进行对话和深入探究人类心灵的力量。

那么，如何推荐BetterHelp？从哪里开始？查看他们的网站。

本期节目还由LMNT赞助，LMNT是我每天饮用的零糖美味电解质混合物。我已经喝了这么长时间的LMNT，以至于我记不起以前的生活。我想我以前服用过盐丸，因为保持水分和电解质平衡是我锻炼计划的重要组成部分。

结合我长期以来一直坚持并继续坚持的饮食习惯，以及我偶尔会偏离的低碳水化合物饮食，我每天摄入的碳水化合物可能在60-80克之间，甚至更多。不好，不好。我的快乐水平在20克以下，或者10克碳水化合物以下。

我不是用数字来显得聪明，我只是根据我的身体信号来调整我的饮食。我并不认真对待约会，但我确实非常认真对待我的身体信号。因此，我确保摄入足够的镁、钠和水分。

很多时候，我的头痛或其他不适症状，通过喝水很快就能缓解，有时在30分钟内就能缓解。水是如此美好，如此美味。盐的最佳风味是什么？

尝试LMNT。

让我们从规模定律和规模假设这个大想法开始。它是什么？它的历史是什么？我们现在处于什么阶段？

我只能根据我自己的经验来描述它。我在AI领域工作了大约十年，我非常早地注意到了这一点。我第一次进入AI领域是在2014年末，当时我在DeepMind工作，与Andrew Ng一起工作，这几乎正好十年。

我们当时的工作是语音识别系统。那时，深度学习是一个新兴领域，取得了长足的进步。但每个人都总是说，我们还没有找到所需的算法来取得成功，我们只匹配了非常小的一部分，还有很多需要发现的算法。

我们还没有找到匹配人脑的方法。在某种程度上，我很幸运，我几乎像一个新手一样进入这个领域。我当时研究用于语音识别的循环神经网络，我说，我不知道，如果我们使用更大的网络，增加更多层，并随着网络规模的扩大而增加数据量会怎样？我看到这些就像可以调整的独立旋钮，我注意到模型的表现开始变得更好，随着我们提供更多数据，随着模型变得更大，或者随着我们训练它们的时间更长。

当时我没有精确地测量这些数据，但我和同事们确实有这样的直觉：投入的数据、计算资源和训练时间越多，模型的表现就越好。起初，我认为这可能只适用于语音识别系统，这可能只是一个特定领域。直到2017年，我第一次看到GPT-1的结果时，我才意识到这一点。

对我来说，语言可能是我们可以做到这一点的领域。我们可以获得数万亿个语言数据。我们可以进行训练。我们当时训练的模型很小。你可以用一台GPU来训练它们。

现在，我们训练的模型使用数千甚至数万台GPU。当我看到这两者结合在一起时，以及一些人（例如，我采访过的Elia）也有类似的观察，我认为在2014年到2017年之间，我真正相信我们可以完成这些非常广泛的任务，如果我们只是扩大模型规模，并且在每个规模阶段都有争论。

老实说，当我第一次听到这些争论时，我以为我错了。我知道领域内的其他专家比我更了解情况。例如，关于你只能获得一些语法，但你不能获得语义的争论。

有一种想法，你可以让一个句子有意义，但你不能让一个段落有意义。我们今天面临的最新问题是，数据可能不够，或者数据质量可能不够高，模型无法进行推理。每次我们都能找到解决方法或规模是解决方法。

有时是其中一种，有时是另一种。所以现在我仍然认为，我们没有理由相信未来几年会像过去十年一样。但我已经看到了足够多的电影，看到了足够多的故事发生，我相信规模会继续下去，并且我们还没有在理论上真正解释清楚其中的奥秘。

当然，这里的规模是指更大的网络、更多的数据和更大的计算能力。

特别是，规模是指更大的网络、更长的训练时间和更多的数据。所有这些都像化学反应一样。

你知道，化学反应有三种成分，你需要线性地增加这三种成分。如果你只增加其中一种，而没有增加其他成分，你就会耗尽其他试剂，反应就会停止。但是，如果你同时增加所有成分，那么反应就可以继续进行。

当然，现在我们有了一种经验性的科学方法，可以应用于其他更细微的事情，例如将规模定律应用于解释、应用于后训练，或者只是看看事物是如何扩展的。我认为规模定律，或者说规模假设，与大型网络、大量数据和智能有关。

是的，我们已经记录了语言以外领域的规模定律。我们最初在2020年初发表的论文中展示了这一点。然后，在2020年末，我们展示了图像、视频、文本、图像到文本、数学等其他模态也具有相同的模式。现在，还有其他阶段，例如后训练或新类型的推理模型。在所有这些我们测量过的案例中，我们都看到了类似的规模定律。

这是一个有点开放式的问题，但您对网络规模和数据规模越大，模型越智能的直觉是什么？为什么它会导致更智能的模型？在我之前的职业生涯中……

我拥有物理学学士学位，并在研究生阶段学习生物物理学。因此，我回顾了作为物理学家的知识，这实际上比Anthropic的一些同事在物理学方面的专业知识要少得多。有一种叫做1/N和1/x分布的概念。

嗯，我们经常会……呃，你知道，就像把一堆自然过程加起来，你会得到……如果你把一堆分布不同的自然过程加起来，如果你喜欢，如果你喜欢，拿一个AM探针并连接到一个电阻器，热噪声和电阻的分布会随着频率下降。它是一种自然收敛的分布。我认为，如果你观察很多由具有许多不同尺度的自然过程产生的东西，对吧，不是高斯分布，它分布得比较窄。

但是，你知道，如果我观察导致电噪声的大和小波动，嗯，它们具有这种下降的1/x分布。所以现在我想象一下物理世界中的模式，对吧？如果我，如果，或者在语言中，如果我思考语言中的模式，有一些非常简单的模式。

一些词比其他词更常见，比如一个名词。然后是基本的动词结构。然后是名词和动词必须一致，必须协调的事实。

有一个更高层次的设置结构，并且有段落的主题结构。因此，存在这种递减结构的事实，你可以想象，当你使网络更大时，首先，它们捕获真正简单的相关性，即真正简单的模式。并且还有其他模式的长期尾部。

如果其他模式的长期尾部非常平滑，就像1/x一样，并且像电阻器这样的物理过程也是如此，那么你可以想象，当你使网络更大时，它会捕获更多这种分布。因此，这种平滑性反映在模型预测这种分布的程度以及它们性能的程度。语言不是进化过程，对吧？我们发展了语言。

我们有常用词和不常用词。我们有常用短语和不常用短语。我们有经常表达的想法，以及新想法。这个过程随着人类在数百万年的时间里发展、进化。因此，猜测，这纯粹是推测，将是存在某种关于这些想法分布的单尾分布。

所以存在长期尾部，但也存在你正在构建的概念层次结构的高度。因此，更大的网络可能具有更高的能力……

确切地说，如果你有一个小网络，你只能得到常见的东西。如果我使用一个微小的神经网络，它非常擅长理解句子必须具有非常客观的现在，对吧？但是它在决定什么是非常客观的以及它们是否应该有意义方面很糟糕。如果我把它做得更大一点，它就能很好地理解句子，但它不擅长理解段落。因此，这些稀有且更复杂的模式是否会在我增加网络容量时被捕获？

那么，自然的问题是，它的上限是什么？是的。现实世界有多复杂？有多少东西需要学习？

我认为我们没有人知道这个问题的答案。我的强烈直觉是，没有比人类水平更低的限制，对吧？我们人类能够理解这些各种各样的模式。

因此，这让我认为，如果我们继续扩大这些模型，开发新的训练方法并扩大它们，那么至少会达到与人类相同的水平。然后有一个问题，你知道，它还能有多大可能？理解人类能理解多少？

有多少？有多少可能比人类更聪明、更有洞察力？我猜答案必须取决于领域。如果我研究生物学这样的领域，并且，你知道，我写了这篇关于“充满爱意的机器”的文章，在我看来，人类正在努力理解生物学的复杂性，对吧？

如果你去斯坦福大学、哈佛大学或伯克利大学，你会发现整个系都在研究免疫系统或代谢途径之类的东西。每个人都只理解了一点点。他们专注于特定领域，并且正在努力将他们的知识与其他人类的知识结合起来。

因此，我的直觉是，在顶端还有很多空间，如果我考虑物理世界中的材料或……嗯，像这样，人类之间没有冲突或类似的东西。我的意思是，你知道，可能有一些问题是不可解决的，但更难解决，并且可能有一些事情只能做到某种程度，对吧？就像语音识别一样，我只能听到你说话的某些部分。

因此，我认为在某些领域可能存在限制。你知道，非常接近人类在其他领域所做的事情，这些限制可能非常遥远。我认为我们只有在构建这些系统时才能发现，事先很难知道。我们可以推测。

但是我们不能确定。在某些领域，限制可能与人类的官僚机构和类似的东西有关，正如你所写的那样，是的，人类是导致限制的原因，而不是智力的限制。

是的，我认为在许多情况下，嗯，你知道，理论上，技术可能会非常迅速地发生变化，例如，我们可能会发明与生物学相关的任何东西。嗯，但请记住，我们必须经历临床试验系统才能将这些东西实际应用于人类。

我认为这混合了不必要的东西、官僚机构以及某种程度上保护社会完整性和整体挑战的东西，很难分辨。很难分辨哪些是哪些，对吧？我的观点是，我认为在药物开发方面，我们太慢了，我们太保守了。

但是当然，如果你做错了这些事情，你知道，通过过于鲁莽，可能会危及人们的生命。因此，至少一些这些人类机构实际上正在保护人们。所以这都是关于找到平衡。我强烈怀疑平衡更倾向于更快地推动事情发生。

但是，如果我们确实遇到了限制，如果我们确实在缩放定律中遇到了放缓，你认为原因是什么？是计算机限制、数据限制还是其他什么？是技能限制。

所以，有几件事。现在我们正在讨论在达到人类水平和人类技能之前就遇到限制。因此，我认为今天很流行，我认为，你知道，可能是一个我们遇到的限制。我像大多数限制一样，我不会押注于它，但它绝对有可能，我们只是耗尽了数据。

互联网上只有这么多数据，并且数据质量存在问题，对吧？你可以在互联网上获得数万亿个词，但是很多都是重复的，或者它的搜索引擎正在改变优化，或者未来甚至可能是由人工智能本身生成的文本。嗯，我认为通过这种方式可以生成的东西是有限的。

话虽如此，我们，以及我猜其他公司正在努力开发合成数据的方法，你可以在其中使用模型生成更多你已经拥有的数据类型，甚至从头生成数据。如果你考虑一下深度思维、阿尔法围棋零所做的事情，他们设法从完全没有玩围棋的能力到超越人类水平，仅仅通过让它自己玩。在阿尔法围棋零版本中，不需要人类示例数据。

当然，另一个方向是这些推理模型，它们会进行链式思考并停下来思考，以某种方式反思自己的思考，这是一种与强化学习相结合的合成数据。因此，我猜想其中一种方法将绕过数据限制，或者可能存在其他可用数据来源。嗯，我们可能会观察到，即使数据没有问题，当我们开始扩大模型时，它们似乎不再变得更好，这似乎是我们可靠的观察结果，我们变得更好，这可能在某个时候停止，原因我们不理解。

嗯，答案可能是我们需要……嗯，你知道，我们需要发明一些新的架构。嗯，过去在模型的数值稳定性方面存在问题，看起来事情正在停滞不前。但是我们实际上找到了正确的解决方案。

他们最终没有这样做。因此，也许需要一些新的优化方法或一些新的技术来解决这些问题。到目前为止，我还没有看到任何证据。但是如果事情放缓，这可能是一个原因。

关于计算机的限制，意思是什么，嗯，构建越来越大的数据中心的成本。

所以现在，我认为，嗯，你知道，大多数前沿模型公司，我猜我们的规模大约是10亿美元以上，模型因子是3，对吧？现在正在训练的模型。我认为明年我们将达到数十亿美元，然后在2026年，我们可能会达到数千亿美元，并且到2027年，他们可能希望构建1000亿美元的集群。我认为所有这些实际上都会发生。

有很多决心在这个国家构建这些计算机来做到这一点，我认为这实际上会发生。如果我们达到1000亿美元，那仍然不够强大，那仍然不够大，要么我们需要更大的规模，要么我们需要开发一种更高效的方法来做到这一点，从而改变曲线。嗯，我认为在所有这些之间，我之所以对人工智能的快速发展充满信心，部分原因是，如果你看曲线上的下一个几个点，我们很快就会接近人类的能力，对吧？一些新开发的模型，一些来自其他公司的推理模型，它们开始达到我所说的博士后专业水平，对吧？如果你看看他们的编码能力。

嗯，我们最近发布的模型，Opus 3.5，更新版本，在工程任务的实际专业世界中，它在Sweetener和Cheeses等示例中获得了大约50%的分数。我认为年初最先进的模型是3%或4%。因此，在10个月内，我们在这项任务中从3%提高到50%。

我认为在一年内，它可能会达到90%。我的意思是，我不知道，甚至可能低于这个数字。嗯，我们已经看到类似的情况发生在研究生水平的数学、物理和生物学中，来自OpenAI或其他模型。嗯，所以，嗯，如果我们只是继续外推，对吧，就技能而言，我们拥有的技能，我认为如果我们外推这条直线，几年内这些模型将超越人类在专业水平上的最高水平。

现在，这条曲线是否会继续？我列出了很多可能的原因，为什么它可能不会发生。但是，如果外推曲线继续，那就是……

投影仪，我们正在进行的项目。因此，Anthropic有几个竞争对手，这很有趣，可以让你从所有角度来看OpenAI、谷歌、xAI等。在更广泛的意义上，赢得这个领域需要什么？

是的。我想区分几个方面，对吧？因此，Anthropic的使命是尝试让所有事情都顺利进行，对吧？我们有一个名为“竞赛至上”的变革理论。

对。竞赛至上是试图通过树立榜样来促使其他参与者做正确的事情。这不仅仅是扮演好人。这是为了让所有我们都能成为好人而建立的机制。

我将举几个早期例子，以及我们的一些创始人，我相信你很快就会采访的，也就是克里斯·奥拉，他专注于机制可解释性领域，这是一种尝试理解人工智能模型内部发生的事情。因此，我们让他和我们早期的一些团队专注于这个解释服务领域，我们认为这对于使模型安全和透明是有益的。在三年或四年里，它没有商业应用。

它仍然存在，我们现在正在进行早期测试，并且可能最终会实现。但是，你知道，这是一个非常、非常漫长的研究领域，我们公开构建并公开分享我们的结果。我们这样做是因为，你知道，我们认为这是使模型更安全的一种方式。

有趣的是，在我们这样做的时候，其他公司也开始这样做。在某些情况下，是因为他们受到了它的启发，在某些情况下，是因为他们担心，嗯，你知道，如果其他公司这样做，他们看起来更负责任，他们希望看起来更负责任，没有人想看起来像不负责任的参与者。因此，他们也采用了这种做法。

他们也采用了这种做法。当人们来到Anthropic的解释领域时，他们经常会问，我告诉他们，你为什么不去其他地方，为什么来这里……嗯，然后你很快就会看到，在其他地方也有解释团队，并且以某种方式剥夺了我们的竞争优势，因为这就像说，他们现在也在做你正在做的事情。但这很好。

这对更广泛的系统有好处。因此，我们必须发明一些我们正在做的事情，而其他人还没有很好地做到。希望基本上是提高做正确事情的重要性。

这不是关于我们自己的，对吧？这不是关于有一个特定的人是好人。其他公司也可以这样做。如果他们加入这场比赛，你知道，这是最好的消息，对吧？这只是关于塑造激励机制，使其向上发展，而不是向下发展。

我们应该说，机制可解释性领域只是对人工智能安全进行严格的非手势分析。它朝着哪个方向发展？

试图……我的意思是，我认为我们仍然处于早期阶段，嗯，就我们能够看到的事情而言，但我对我们能够深入研究这些系统并理解我们所看到的东西感到惊讶，对吧？与缩放定律不同，缩放定律似乎有一些定律正在驱动这些模型的性能。

内部模型运作机制并非为了人类理解而设计，而是为了模仿人脑或生物化学运作。我们并不会打开模型“盒子”来理解其内部运作，但我们发现，当我们深入研究时，会发现一些令人惊讶的有趣之处。

同时，我们也能欣赏这些模型的美妙之处，通过对大型神经网络的探索，发现其精妙的本质。

我们对这些模型的运作方式感到惊叹，例如归纳头。我们惊叹于我们可以使用稀疏自动编码器在网络中找到这些方向，并且这些方向对应着非常清晰的概念。

我们通过金门大桥实验演示了这一点。我们发现神经网络层中一个对应金门大桥的方向。

我们将其作为演示模型发布。虽然最初有些玩笑意味，但它展示了我们开发的方法。你可以对模型提出任何问题，例如“你今天过得怎么样？”，如果该特征被激活，它就会与金门大桥联系起来。

我可以说，我感觉轻松而惬意，就像金门大桥的档案一样。或者，我可以灵活地改变话题，将金门大桥与其他内容结合起来。

金门大桥也带有一丝伤感。我认为人们很快就会爱上它，因为我每天都会删除相关内容。

通过调整模型行为，使其更具有人性化。

它拥有强大的个性和想法。

它有强烈的个性，对某些事物有着强烈的兴趣。这让我们感觉它更像人类。

我谈论现在，谈论Claude。今年发生了很多事情。

3月份发布了Claude 3、Opus 3和Sonnet 3。7月份发布了Claude 3.5，最近又发布了更新版本。Sonnet 3.5也已发布。

你能解释一下Open、Sonnet和Claude的区别吗？你如何看待不同的版本？

让我们回到3月份，我们首次发布这些模型的时候。我们认为，不同公司会生产各种规模和性能的模型，既有优秀模型也有较差模型。我们认为市场需要真正强大的模型，但可能速度较慢，价格较高；也需要快速、廉价且功能强大的模型，以便在需要进行复杂分析（例如编写代码、生成想法或进行创意写作）时使用。

但在商业应用中，我们有许多实际应用，例如与网站互动、处理税务或咨询律师，分析合同，或者希望在IDE中实现自动补全等。对于这些应用，我们希望模型能够快速响应并广泛应用。因此，我们希望满足各种需求。

我们最终采用了诗歌主题，所以一个非常短的诗歌模型是一个快速、廉价的小型模型，其功能强大，速度和价格都令人惊讶。中等大小的模型可以写几段文字。

它是一个中等大小的模型，功能更强大，但价格也略高。Opus，就像一部大型作品，是一个大型模型。

Opus是当时功能最强大、规模最大的模型。我们的想法是，每一代模型都应该改变这种权衡曲线。

当我们发布Claude 3.5时，其成本和速度与Claude 3模型大致相同，但其功能增强到比最初的Opus 3模型更强大，尤其是在代码方面，以及其他方面。我们已经展示了Claude 3.5的结果，并且Claude 3.5（最小的新模型）的功能与Opus 3（最大的旧模型）相当。

我们的目标是不断改进曲线，并最终超越Claude 3.5。每一代模型都会使用新数据，其个性也会以我们无法完全控制的方式发生变化。

因此，我们永远无法完全等同于只改变智能的情况。我们总是尝试改进其他方面，而有些方面会发生变化，而我们并不知道或无法衡量。因此，在许多方面，这些模型的性质和个性更像艺术，而不是科学。

Claude 3和Claude 3.5之间的时间间隔是由于什么原因造成的？如果可以的话，请解释一下。

有不同的过程。预训练只是普通语言模型的训练，这需要很长时间，通常使用数万甚至数十万个TPU或其他平台。加速芯片通常需要数月才能完成训练。然后是后训练阶段，我们使用人类反馈进行强化学习，以及其他类型的强化学习。这个阶段现在越来越大，并且通常需要付出努力才能正确完成。

然后，我们与一些早期合作伙伴测试模型的性能，并进行内部和外部安全测试，特别是针对灾难性和自主性风险。我们根据我们的负责任的扩展策略进行内部测试，我可以详细说明。

我们与美国和英国人工智能安全研究所以及其他第三方测试人员和特定领域的测试人员达成协议，以测试模型的化学、生物、放射性和核风险（CBRN）。我们认为模型目前还没有造成这些风险。

但是，对于每个新模型，我们都希望评估其是否接近某些更危险的功能。这些是阶段。然后，模型需要一些时间才能在推理方面运行并发布到API中。

当然，我们一直在努力使这些过程尽可能高效。我们希望我们的安全测试严格，但我们也希望它们高效且自动化。

它会尽可能快地完成，而不会降低严格性。我们的预训练和后训练过程也是如此。这就像建造任何其他东西，例如飞机。我们希望它们安全，但我们也希望过程高效。我认为两者之间的创造性张力对于使模型正常工作至关重要。

有人说Anthropic的工具很好用。因此，软件工程方面的主要挑战在于构建工具，以便与基础设施进行高效且低摩擦的交互。你可能会惊讶于构建这些模型的挑战中，有多少是软件工程方面的挑战。从外部来看，你可能会认为我们取得了突破，发现了某种规模的模型。

但我认为，即使是那些令人难以置信的发现，也几乎总是归结于细节，通常是极其无聊的细节。我无法评论我们是否拥有比其他公司更好的工具。至少我以前没有在其他公司工作过，至少最近没有。但这是我们非常关注的事情。

从Claude 3到Claude 3.5，预训练是否更多，而重点是否更多地放在后训练以提高性能？

我认为在任何特定阶段，我们都专注于同时改进所有方面。不同团队在特定领域取得了进步，使特定部分的模型更好。当我们创建新模型时，自然会将所有这些因素都考虑在内。

你拥有的数据，例如从我们的用户那里获得的偏好数据，是否适用？在训练新模型时，是否有方法应用这些数据？

旧模型的偏好数据有时会用于新模型，尽管当然，当它在新的模型上进行训练时，其性能会更好。请注意，我们使用宪法AI方法，因此我们不仅使用偏好数据。我们还有一种后训练过程，其中我们让模型相互训练，并且每天都在使用新类型的模型自我训练。所以不仅仅是强化学习，还有其他方法。我认为后训练正在变得越来越复杂。

新Claude 3.5的性能提升主要体现在哪里？至少在编程方面，也许这是一个讨论基准的好地方。改进意味着什么？仅仅是数字变大了。

我编程，并且我喜欢编程。通过课程，我使用工具来辅助编程。至少在经验上，Claude 3.5在编程方面变得更聪明。所以，如何才能让它更聪明？我们也观察到了这一点。

顺便说一句，这里有一些非常优秀的工程师，他们发现之前的代码模型（包括其他公司生产的代码模型）对他们来说并没有太大用处。也许对于我来说，使用这些模型并没有什么用处。但是，Claude 3.5（最初的版本）第一次让工程师们说：“哇，这帮了我一个大忙，这本来需要我几个小时才能完成。”

这是第一个真正节省我们时间模型。所以，水位再次上升。我认为新Claude版本在各个方面都更好，包括预训练、后训练和我们进行的各种评估。如果我们深入研究基准测试，那么对于程序员来说，基准测试就像拉取请求，这是一个工作单元。

你可以说，我正在实现一个东西，并且描述了它，我们有内部基准测试。我们测量相同的事情，让模型自由运行，执行任何操作，添加任何内容，并衡量它完成这些任务的效率。它从以前只能完成任务的3%提升到大约50%。所以我真的相信，如果我们能够达到100%的基准测试，并且不是为了这个特定的基准测试而过度训练或作弊，那么这可能代表着我们编程能力的真正提升。我认为如果我们能达到95%，它将代表能够自主完成大量软件工程任务的能力。

关于Claude 3.5的发布日期，有什么说法？

我不会给出确切日期。但据我们所知，计划仍然是发布Claude 3.5。

我本来想在GTA 6之前发布它。

我认为GTA不仅仅是发布预告片。

我们发布Claude 3.5才三个月。

这令人难以置信，它只是告诉我们速度。

关于版本控制，以及Claude 3.5为什么在发布后更新，而不是在夏季更新，你有什么想法？

版本命名本身就是一个有趣的挑战。我认为一年前，大多数模型都在进行预训练。你可以从头开始，说：“好吧，我们将拥有不同规模的模型，我们将一起训练它们，并制定一个命名方案，然后在其中加入一些新功能，然后将会有下一代模型。”问题在于，有些模型需要更长的时间。

再训练方面取得重大改进后，你会突然注意到，我可以创建更好的再训练模型，而无需花费很长时间，并且它明显具有与之前模型相同的大小和形状。因此，我认为这些因素以及时间问题，以及你提出的任何计划，现实往往会挫败这些计划，对吧？它往往会突破计划。这不像软件。

你可以说，哦，这就像，你知道，3.7。这是3.8。你拥有具有不同权衡取舍的模型。

你可以改变模型中的某些内容。你可以进行训练。你可以改变其他内容。

有些模型在法国运行速度更快或更慢。有些模型必须更昂贵。有些模型必须更便宜。我认为所有公司都在努力解决这个问题。

我认为我们做得很好，你知道，我认为我们在命名方面做得很好，当我们有高 Q 值时。哦，太好了，太好了。我们正在努力保持它，但这并不完美。

所以，嗯，试图回到简单性，但只是这个领域，这个领域。我觉得没有人想出命名是某种不同的范式，就像普通的软件一样。因此，我们没有一家公司在命名方面做得完美。我说过，我们相对来说在努力解决这个问题，你知道，对于大型科学来说，这关系到训练模型。因此，从用户的角度来看，关于 3.5 更新的用户体验与之前的 2024 年 6 月或 3.5 版本不同。如果能想出某种体现这一点的标签就好了，因为人们谈论 3.5，但现在又有一个不同的版本。那么，你如何指代之前的版本和新的版本，以及当有明显的改进时，如何指代它？这使得关于它的对话变得具有挑战性。是的，是的。

我绝对认为，模型的许多特性并没有反映在基准测试中。嗯，我认为这是事实，每个人都同意，并非所有特性都是能力。有些模型可能是礼貌的，也可能是粗鲁的。

它们可能非常活跃，或者它们可能会问你问题。嗯，它们可能具有温暖的个性，也可能具有冷漠的个性。它们可能很无聊，也可能像金门大桥一样非常独特。我们有一整支团队专注于，我认为我们称之为 Claude 的性格，Amanda 领导着这个团队，她会谈论这个问题。但这仍然是一门非常不精确的科学。

我们经常发现模型具有我们不知道的特性。事实上，你可以与模型对话一万次，但仍然有一些行为你可能不会看到，就像人类一样，对吧？我可以了解一个人几个月，但不知道他们拥有什么技能，也不知道他们有什么方面。因此，我认为我们必须习惯这个想法。我们一直在寻找更好的方法来测试我们的模型，以展示这些能力，以及决定我们希望模型拥有的哪些个性特征，以及我们不希望模型拥有的哪些个性特征。积极的问题也很有趣。

我必须问你 Reddit 上的问题。

来自 Reddit。哦，天哪。

你知道，对我来说最有趣的是，至少，这是一个心理和社会现象，人们报告说，Claude 随着时间的推移变得对他们来说更愚蠢了。因此，问题是，用户抱怨 3.5 版本变差的投诉是否站得住脚？这些报告是否是一种社会现象？或者 Claude 是否真的会变笨？

所以，这实际上并不适用。这不仅仅是关于 Claude。我相信我看到过所有主要公司生产的基础模型都出现过这些抱怨。人们对 GPT-4 说了这些，他们也对 GPT-4 Turbo 说了这些。嗯，所以，关于这一点，模型的实际权重，模型的实际大脑，除非我们引入新的模型，否则不会改变。

嗯，有很多原因，从实际角度来看，随机替换模型的新版本没有意义。从影响的角度来看，这很困难，并且实际上很难控制更改模型的方式的所有后果。你希望在模型中找到一些东西，比如我不知道，比如要少说一些，所有版本都在说它过去做过的事情。嗯，你实际上最终会改变一百件事。

因此，我们有一个完整的流程，我们可以修改模型。我们在它上面做了很多测试。我们做了很多用户测试，包括早期客户。

因此，我们从未在不告诉任何人更改模型的情况下更改模型。当然，在当前设置中，这样做没有意义。现在，我们偶尔会做一些事情。

嗯，有时我们会进行 A/B 测试，但这些测试通常在模型发布前后非常接近，并且持续时间非常短。嗯，所以，你知道，在 3.5 版本发布的前一天，我同意我们有更好的命名，并且我们指的是它。嗯，有些人评论说它变得更好，那是因为，你知道，一小部分人接触了那一天或两天内的 A/B 测试。

另一个是系统提示有时会发生变化，系统提示可能会产生一些影响，尽管不太可能使模型变笨。我们已经看到，虽然这两件事，我正在努力做到非常完整，但它们发生的频率相对较低。关于模型更改的抱怨，对我们和其它模型公司来说，模型在这方面做得不好。

模型变得更敏感，模型变得更笨。这些抱怨一直存在。因此，我不想说人们想象有什么不同，但模型大部分时间并没有改变。

嗯，如果我要提出一个理论，嗯，我认为这实际上与我之前说过的一件事有关，即模型非常复杂，并且具有许多方面。因此，通常，你知道，如果我问模型一个问题，你知道，如果我像做任务 A 还是做任务 B？

模型可能会以不同的方式做出回应，因此你可以改变与模型交互的方式，从而获得非常不同的结果。嗯，很明显，这本身就是我们和其它模型提供商的失败，模型经常对交互方式的细微变化很敏感，这又是科学如何运作的另一个方面，发展得非常糟糕。因此，你知道，如果我某天晚上睡觉，以某种方式与模型交谈，然后稍微改变了与模型交谈的方式，你知道，我可以得到不同的结果。

所以，这是一种可能的方式。另一件事是，很难量化这些东西。很难量化这些东西。我认为人们在新的模型发布时非常兴奋，但随着时间的推移，他们会越来越意识到局限性。这可能是另一个影响，但这只是为了说明，大部分情况下，有一些相当狭窄的例外，模型并没有改变。

我认为这是一种心理效应。你应该习惯于基线提高，就像人们第一次在飞机上获得 Wi-Fi 一样，这就像一个迷宫，然后现在事情开始工作了。

这真是一个精妙的工艺。所以很容易...

...产生阴谋论，他们正在让 Wi-Fi 变慢。这可能是我想与更多人讨论的事情。

但另一个 Reddit 问题是，当 Claude 停止试图成为我的纯技术祖母，将它的道德世界观强加给我这个付费客户时，会发生什么？此外，让 Claude 变得更道歉的心理机制是什么？这些报告关于体验的报告，从不同的角度来看，与挫折有关，这与角色有关。

是的。关于这一点，几点说明。首先，嗯，人们在 Reddit、Twitter 或任何地方说的东西。嗯，实际上，人们在社交媒体上抱怨的内容与用户实际关心的内容之间存在巨大的分布差异，这驱动着人们使用这些模型。

例如，人们对模型无法完整地写出代码，或者模型的代码质量不如它应该的那样，感到沮丧，即使它是世界上最好的代码模型。嗯，我认为大多数问题都与这些问题有关，但当然，一小部分人会提出这些担忧，对模型拒绝不应该拒绝的事情，或者道歉太多，或者只是有这些令人恼火的说法感到沮丧。第二个警告，我只想非常清楚地说，因为我认为有些人不知道其他人知道什么。

但忘记它，很难全面控制模型的行为。你不能直接进去说，哦，我希望模型少道歉，你可以做到这一点。你可以包含训练数据，说明模型应该少道歉。

但随后在某些情况下，它们可能会变得非常粗鲁或过于自信。从某种意义上说，这可能会误导人们。因此，存在所有这些权衡取舍。嗯，例如，另一个问题是，如果模型在某个时期，我认为其他模型也是如此，它们会重复自己，会说得太多，你可以通过分析模型过长时间说话来减少冗余。当你以一种粗略的方式这样做时，会发生什么，如果模型正在编码。

有时它会说，其余的代码放在这里，对吧？因为他们已经了解到这是节省空间的一种方式，他们看到它，然后...所以这会导致所谓的懒惰编码，他们只是说，你可以完成其余的代码。这并不是因为我们想节省计算机资源，或者因为模型很懒惰，或者因为其他出现的阴谋论。

实际上，很难控制模型的行为，在所有情况下引导模型的行为。同时，你可能会发现，你推动一个方面，而其他方面也会随之移动，你甚至可能没有注意到或测量到。因此，我如此关注未来这些系统的整体对齐，部分原因是这些系统实际上非常难以预测。

它们实际上非常难以控制。嗯，今天看到的版本是，你让某件事变得更好，但另一件事变得更糟。我认为这就像未来控制问题的现代类比，我们可以从今天开始研究人工智能系统，对吧？我认为这种难以控制行为，确保如果我们朝着一个方向推动系统，它不会以我们不希望的方式朝另一个方向推动，我认为这是一种未来问题的早期迹象。

如果我们能够很好地解决这个问题，对吧？你要求模型不要传播天花，但它愿意帮助你完成研究生生物学课程，我们如何同时做到这两点？这很难。很容易走向一个极端或另一个极端，这是一个多维问题。

因此，人工智能，我认为塑造模型个性的问题非常困难。我认为我们在这方面做得还不错，我认为我们实际上比所有其他人工智能公司做得更好，但仍然远非完美。

嗯，我认为如果我们能够做到这一点，如果我们能够控制这种受控的现代环境中的假阳性和假阴性，那么我们将来会做得更好。我们的担忧是，模型是否会变得非常自主？它们是否能够做非常危险的事情？它们是否能够自主地建立整个公司？这些公司是否...我认为这项当前任务既有疫苗的作用，也有未来实践的作用。

目前收集用户反馈的最佳方式是什么？不是以数据为导向，而是以大规模数据、痛点或痛点的好处为导向。内部测试是否有效？是的，特定群体测试、A/B 测试。所以通常...

...我们会进行内部模型测试，Anthropic 几乎有一千人。嗯，人们只是尝试打破模型。他们尝试以各种方式与它互动。嗯，我们有一系列的测试，你知道，总是让模型以它无法的方式拒绝。

我认为我们甚至进行过一些评估，因为，再次强调，所有公司都有这个问题，他们会用令人讨厌的方式回应各种问题，说，当然，我可以帮助你。当然，我很乐意这样做。当然，这是正确的。

因此，我们必须进行“当然”评估。就像模型说“当然”的频率是多少？但看看，这只是个假期。

就像如果它...这肯定来自某种...所以，你知道，每次我们添加一个新的测试，我们都会对所有旧测试进行评估。因此，我们有数百次这样的评估，但我们发现，人类与模型的互动是不可替代的。因此，这非常类似于普通的产品开发过程。

我们有数百人在 Anthropic 测试模型。然后我们进行外部 A/B 测试，有时会与承包商进行测试。我们会付钱给承包商与模型互动。

嗯，所以将所有这些因素结合起来，它仍然不完美。你仍然会看到一些你不希望看到的行为，对吧？你仍然会看到模型拒绝一些它不应该拒绝的事情，对吗？

嗯，但我认为尝试解决这个问题，对吧，尝试阻止模型做一些真正糟糕的事情，你知道，大家都知道不应该做的事情，对吧？大家都知道模型不应该发表关于，我不知道，儿童色情材料的言论，对吧？大家都知道模型不应该做那件事。嗯，但与此同时，它不会以这些愚蠢的方式拒绝。

嗯，我认为尽可能精确地划清界限仍然是一个挑战。我们每天都在做得更好。但是还有很多需要解决的问题。同样，我认为这表明在引导更强大的模型方面还有很多挑战。

你认为Claude 4.0 会出现吗？

我不想对任何命名方案做出承诺，因为如果我说明年会有Claude 4，然后你知道，我们又决定从头开始，因为出现了一种新的类型，我不想承诺。我预计在正常业务流程中，Claude 4 会在 Claude 3.5 之后出现。但是，你知道，在这个快速发展的领域，你永远不知道。

对吧？但是这种规模化理念还在继续。

规模化还在继续。我们肯定会推出更强大的模型。而今天已经存在的模型，这一点是肯定的。或者，如果没有，那我们公司就失败了。

好的。你能解释一下负责任的规模化政策和AI安全等级标准吗？

是的，尽管我对这些模型的好处感到兴奋，但我同样担心风险。我们谈论过，如果我们谈论“充满爱意的机器”。嗯，我仍然担心风险。没有人应该认为“充满爱意的机器”是我不再担心这些模型的风险。

我认为这是同一枚硬币的两面，模型的力量以及它们解决生物学、神经科学、经济发展、治理和和平等问题的潜力，以及经济的大部分领域，这些都伴随着风险，对吧？伴随伟大力量的是巨大的责任，对吧？这两者是相关的，强大的事物可以做好事。

它们也可以做坏事。嗯，我认为这些风险属于几个不同的类别。我认为最主要的风险是灾难性滥用。这些是指在网络、生物、放射和核等领域滥用模型，如果真的出了问题，可能会伤害甚至杀死成千上万甚至数百万的人。这些是需要优先预防的。

在这里，我想简单地观察一下，如果我今天看看世界上做过坏事的人，嗯，我认为人类之所以受到保护，是因为真正聪明、受过良好教育的人和想要做真正可怕事情的人之间通常存在较小的重叠。比如说，比如说，我拥有这个领域的博士学位。我有一份高薪工作。有太多东西要失去，为什么我想，即使我完全是邪恶的，大多数人不是，嗯，为什么这样一个人会冒着生命、声誉和名望的风险去做一些真正邪恶的事情？

如果我们有更多这样的人，世界将会变得更加危险，而我担心的是，通过成为一个更聪明的代理人，我可以打破这种相关性。所以我对此确实很担心。我相信我们可以避免这些担忧。

但是，嗯，我想作为对“充满爱意的机器”的反驳，我想说，我仍然非常担心风险。第二类风险是自主性风险，即模型可能会自行做出决策，尤其是在我们赋予它们比过去更大的自主权时，尤其是在我们赋予它们对更广泛任务的监督时，例如控制整个代码库，或者有一天甚至有效地运营整个公司。如果它们在足够长的时间内运行，它们是否真的在做我们真正希望它们做的事情？即使详细了解它们在做什么都很困难，更不用说控制它们了。

就像我说的，这些早期迹象表明，很难完美地划清模型应该做的事情和不应该做的事情之间的界限，你知道，如果你走得太远，你会得到一些令人讨厌和无用的东西，如果你走得太远，你会得到其他行为。如果你解决了一个问题，可能会产生其他问题。我们正在不断改进解决这个问题的方法。我认为这不是一个无法解决的问题。

我认为这就像飞机安全、汽车安全或药物安全一样，是一个科学问题。我认为我们没有遗漏任何重大问题，我只是认为我们需要更好地控制这些模型。所以，这些是我担心的风险，我们的负责任的规模化计划，对你的问题给出了一个非常冗长的答案，并希望它有帮助。

我们的负责任的...

规模化计划旨在解决这两类风险。因此，每次我们开发一个新模型时，我们基本上都会测试它是否会做这两类坏事。所以，如果我稍微退后一步，嗯，我认为我们面临一个有趣的困境，即AI系统尚未强大到足以引发这些灾难。

我不知道，我不知道是否可能预防这些灾难，但世界面临的风险已经足够大，我们现在就应该采取行动。而且它们正在以非常快的速度改进，对吧？

我在参议院作证时说，我们可能在两到三年内面临严重的生物风险。那是在大约一年前。事情已经以惊人的速度发展，所以我们面临这样的情况，即很难解决这些风险，因为它们今天不存在。

它们不存在。它们是幽灵，但它们以如此快的速度向我们逼近，因为模型的改进速度如此之快。那么，你如何处理今天不存在、未来很快就会出现的东西呢？

嗯，我们与像奥尔加·梅特和保罗·克里斯蒂安这样的研究人员合作，想出了一个解决方案。你需要的是测试，告诉你风险何时临近。你需要一个预警系统。

因此，每次我们开发一个新模型时，我们都会测试它执行CBRN任务的能力，以及测试它自主执行任务的能力，并且在最近几个月发布的我们负责任的规模化计划的最新版本中，我们测试自主性风险的方式是AI模型执行AI研究本身的能力，嗯，这使得模型和AI模型能够进行AI研究。它们变得真正自主了。

你知道，这对于其他许多方面来说都很重要。那么，我们接下来如何处理这些任务？负责任的规模化计划基本上制定了我们称之为“如果-那么”结构的东西，即如果模型达到一定能力，那么我们就对其施加一定的安全和安全要求。

所以，今天的模型被称为ASL。2级模型，对于那些明显不会造成自主性或滥用风险的系统来说，这是1级。

例如，国际象棋程序深蓝就是一个ASL 1级系统。

情况很明显，你不能将深蓝用于除国际象棋之外的任何事情。它只是为国际象棋设计的。没有人会用它来，你知道，发动一场全面的网络攻击，或者肆意妄为，统治世界。ASL 2级是当今的AI系统，我们已经对其进行了评估，我们认为这些系统不够聪明，无法自主自我复制或执行大量任务，也无法提供关于CBRN风险以及如何制造CBRN武器的有效信息，超出谷歌搜索所能提供的范围。事实上，有时它们确实提供信息，但没有超出搜索引擎的范围，而且不是以可以拼接在一起的方式，不是以足够危险的方式结束。

所以，ASL 3级将是模型足够强大，可以增强非国家行为者能力的点，对吧？国家行为者已经能够非常熟练地执行许多非常危险和破坏性的任务。区别在于非国家行为者没有这种能力。因此，当我们达到ASL 3级时，我们将采取特殊安全措施，旨在防止非国家行为者利用模型进行滥用，并且模型的用途将需要针对这些特定领域进行改进的过滤器。

网络、生物、核。

网络、生物、核以及模型自主性，即模型自身可能做出不良行为的风险，ASL 4级将达到模型可以增强现有知识国家行为者能力或成为此类风险主要来源的程度。如果想要进行此类风险，主要方式是通过模型。

然后，我认为ASL 4级在自主性方面，AI研究能力将有所提升，而ASL 5级将是模型能够超越人类在执行任何这些任务的能力的程度。因此，“如果-那么”结构承诺的基本要点是，我不知道。我已经与这些模型合作多年，并且多年来一直担心风险。

实际上，发出狼来了的警告很危险。实际上，说这个模型很危险很危险。你知道，人们会看看，说这明显不是危险的。

同样，风险的微妙之处不在于今天，而是以惊人的速度向我们逼近。你如何处理这种情况？这实际上需要一个风险规划师来处理。因此，这种“如果-那么”结构基本上表示，我们不想标记一大堆人。我们不想通过对今天并不危险的模型施加这些非常严格的要求来损害我们自己参与对话的能力。

因此，“如果-那么”触发承诺，基本上是一种处理此类问题的策略，即当你可以证明模型很危险时，你就会采取强硬措施，当然，必须有足够的缓冲阈值，这样你就可以，你知道，避免错过危险。这不是一个完美的框架。我们不得不每隔一段时间就修改它，你知道，我们就在几周前发布了一个新的。而且，未来我们可能每年发布几次，因为从技术、组织和研究的角度来看，很难让这些政策正确。但是，这是为了尽量减少负担和误报，但当危险出现时，能够做出适当反应的“如果-那么”承诺和触发机制。

你认为ASL 3级触发器被激活的时间，以及你认为ASL 4级的时间表是什么？

是的，公司内部对此进行了激烈的讨论。嗯，我们正在积极准备ASL 3级。嗯，安全措施，嗯，ASL 3级部署措施。我不会详细说明，但在两方面我们都取得了很大进展。现在，我认为我们很快就能准备好了。

嗯，我不会感到惊讶，如果我们明年达到ASL 3级。我们甚至可能今年就达到，这仍然有可能发生。很难说，但我不会感到惊讶，如果我们能做到，比如在20到30年内。

嗯，我认为这比那要早得多。所以，有检测它的协议，“如果-那么”协议，以及如何应对它的协议。是的。后者的难度如何？

我认为ASL 3级主要与安全有关，嗯，以及在部署模型时对特定领域进行过滤，因为ASL 3级模型仍然是自主的，嗯，所以你不需要担心模型在内部部署时以某种方式表现出不良行为。所以我认为ASL 3级措施是，我不会说简单，它们是严格的，但很容易理解。我认为一旦我们达到ASL 4级，我们就会开始担心模型足够聪明，可能会作弊，可能会在测试中撒谎。我们有一些关于“睡眠代理”的结果，最近有一篇论文讨论了模型是否能够误导试图了解其自身能力的尝试，对吧，让它们看起来比实际能力低。

因此，我认为在ASL 4级，将会有一个重要的组成部分，即使用除了与模型交互之外的其他方法，例如解释性或隐藏的思维链，你必须深入研究模型并通过其他机制验证模型所说的内容，这些机制不容易被破坏，模型确实具有某种属性，嗯，所以我们仍在研究ASL 4级。负责任的规模化计划的一个特性是，我们不会在达到ASL 3级之前指定ASL 4级。我认为这是一个明智的决定，因为即使在ASL 3级，也很难详细了解这些内容。我们希望尽可能多地时间来正确处理这些问题。

所以，对于ASL 3级，坏行为者是...

人类使用。

所以，有...

有点更多的是欺骗。

而且，这就是机械可解释性发挥作用的地方。希望用于该目的的技术不会被模型访问，是的，我的意思是。

当然，您可以将机制连接到模型本身的控制能力，但然后您就失去了它作为可靠指标——呃，模型数据的指标。有很多奇特的思考方式，即该指标也可能不可靠。例如，如果模型变得足够聪明，可以跳过计算机并阅读您正在查看其内部状态的代码。

我们已经考虑过其中一些。我认为它们足够奇特。有方法可以使它们不太可能发生。但是，通常，您希望保留机械控制能力作为一种独立于模型训练过程的验证集或测试集。

我认为，随着这些模型变得更好，对话变得更好，变得更聪明，社会工程就成了一个威胁，说，哦，是的，它们可以开始对公司内部的工程师非常有说服力。

哦，是的，是的。实际上，我们已经从人类生活中看到了很多演示预兆的例子。您知道，人们担心模型也能做到这一点，也能做到这一点。

克劳德变得越来越强大的方法之一是，它现在能够执行一些代理任务，即计算机使用。在克劳德 AI 本身相同的框内也进行分析。但是，让我们谈谈计算机使用，这对我来说非常令人兴奋，您可以向克劳德分配一项任务，它会采取您的行动，通过屏幕截图访问您的计算机，并弄清楚它。所以你能解释一下它是如何工作的吗？

以及它在哪里添加的？是的，实际上相对简单。自 3 月份的克劳德 3 以来，克劳德一直能够分析图像并用文本响应它们。我们添加的唯一新内容是这些图像可以是计算机的屏幕截图。

作为回应，我们训练模型在屏幕上提供您可以点击的位置，以及键盘上您可以按下的按钮以采取行动。事实证明，实际上不需要太多额外的训练，模型就能在该任务中做得相当好，这是一个很好的泛化示例。您知道，人们有时会说，如果您到达较低的轨道，您就像在任何地方一样，对吧？因为需要花费多少才能摆脱引力井。

如果您拥有强大的预训练模型，我觉得您在智能空间中已经走了一半了——呃——呃——呃——所以实际上我并没有花费太多时间让克劳德做到这一点。您可以将其设置为循环，提供屏幕截图，告诉它点击什么，提供下一个屏幕截图，告诉它点击什么，这变成了模型的 3D 视频交互。它能够执行所有这些任务，对吧？

我们展示了这些演示，它能够填写电子表格，与网站交互，打开各种程序，不同的操作系统，Windows、Linux、Mac，呃——呃——哦，您知道，我认为所有这些都非常令人兴奋。我会说，虽然理论上您可以在那里做任何事情，而无需向模型提供驱动计算机屏幕的 API，但这确实降低了门槛。您知道，有很多人在某种程度上能够与这些应用程序交互，或者花费很长时间才能做到这一点。

屏幕只是一个更容易交互的通用界面。因此，我希望随着时间的推移，这将降低许多障碍。老实说，当前模型还有很多需要改进的地方。

这仍然有很多需要改进的地方。我们在博客中对此很诚实，对吧？它会犯错误。它会错过点击。我们小心地警告人们，这东西不是您可以在计算机上运行几分钟的东西——您必须为它设置边界和保护措施。我认为这是我们最初以 API 形式发布而不是直接交给消费者并让其控制计算机的原因之一。但是，您知道，我确实认为让这些功能能够使用非常重要。

随着模型变得越来越强大，我们将不得不解决如何安全地使用这些功能的问题？如何防止它们被滥用？您知道，我认为发布模型，同时功能仍然有限，在这一点上非常有帮助，我认为已经发布给了一些客户。

我认为快速部署可能是在各种方式中使用它的最快的。人们已经为 Windows、Dashtops、Max、呃——呃——Linux 机器制作了演示，所以是的，这非常令人兴奋。我认为，就像任何其他事情一样，它带来了新的令人兴奋的功能。

然后，有了这些新的令人兴奋的功能，我们必须思考如何让模型能够做人类想要它们做的事情。我的意思是，对于所有事情来说，都是同样的故事，对吧？同样的紧张关系。但是……

这里用例的可能性，范围是惊人的。所以，未来如何才能让它真正发挥作用？您必须特别超越重新训练模型正在做的事情，在训练后做更多工作，以进行监督或合成？

我认为，从高层次来看，我们的目标是继续大量投资。让模型变得更好。呃，我认为，您知道，我们查看了先前模型的一些基准，或者说，我可以用 6% 的时间完成，而现在我们的模型可以用 14% 或 22% 的时间完成。

是的，我们希望达到 80% 或 90% 的人类可靠性水平，就像任何其他地方一样，对吧？我们正处于与扫雷相同的曲线中，我认为，一年后，模型可以非常可靠地做到这一点。但是，您必须从某个地方开始。

所以您认为有可能达到人类可靠性 90% 的水平，基本上做您现在正在做的事情。

或者它必须针对计算机进行特殊设计？我的意思是，这取决于您所说的“特殊设计”的含义，一般来说——但是，您知道，我认为我们用来训练当前模型的相同技术，我希望这些技术能够以相同的方式扩展到代码、模型、其他输入，例如图像输入、语音输入，我希望这些技术能够像在其他任何地方一样扩展到此处。

但这赋予了克劳德行动能力。因此，您可以做很多非常有力量的事情，也可以造成很多破坏。

啊，是的，我们对此非常清楚。看，我实际上认为计算机使用不是像 CBR 或自主能力那样根本上新颖的功能——它更像是为模型使用其现有功能打开了一种方法。

因此，我们思考它的方式回到 RSP，这并非模型固有的功能，它不会从 RSP 角度增加风险。但是，随着模型变得越来越强大，拥有这种能力可能会使它想要——您知道，它拥有执行 ASL 3 和 ASL 4 级操作的编码能力。这可能是让它不这样做的事情。因此，展望未来，这种交互方式是我们已经测试过的。

我们将继续测试 RSP。我认为最好在模型变得非常强大之前学习和探索这种能力。

是的，有很多有趣的攻击，例如提示注入，因为现在您已经扩展了攻击面，因此您可以通过屏幕上的软提示进行提示注入。因此，如果这变得更有用，那么注入到模型中的内容将更有用，这可能是无害的内容，例如广告，也可能是有害的内容。

对吧？我的意思是，我们考虑了很多关于垃圾邮件、大规模攻击等事情，您知道，每当发明新技术时，它并非一定是最大的滥用方式，但却是第一次滥用方式。您会看到诈骗，只是小诈骗，就像人们互相恐吓一样。这是一种持续存在的东西——而且每次您处理它时，几乎都会说，但这是真的，某种程度上，垃圾邮件等变得越来越聪明。是的。

这很困难。正如我所说，世界上有很多小罪犯。您知道，每项新技术都像是一种让小罪犯做一些愚蠢和恶意事情的新方法。

您对沙盒化有什么想法？它像沙盒化任务一样困难吗？

是的，我们在训练期间进行沙盒化。例如，在训练期间，我们没有让模型接触互联网。但是，在训练期间这样做是一个坏主意，因为，您知道，模型可能会改变其策略，并对现实世界产生影响——呃——您知道，实际上，模型取决于应用程序。

您知道，有时您希望模型在现实世界中做某事，但当然，您始终可以在外部设置保护措施，对吧？您可以说，好吧，您知道，这个模型不会从我的计算机或我的 Web 服务器移动任何数据到其他任何地方。

现在，当您谈论沙盒化时，当我们到达 ASL 时，这些预防措施将毫无意义，对吧？当您谈论 ASL 时，模型可能会变得足够聪明，可以打破它，打破任何限制。因此，我们需要考虑机械可解释性，如果我们要有一个沙盒，它需要是一个经过数学证明的沙盒，但这与我们今天正在处理的模型完全不同。

处理 ASL 4 AI 系统的科学，构建一个无法逃脱的盒子。

我认为这可能不是正确的方法。我认为正确的方法不是在模型试图阻止它逃脱的线上做某事，我认为最好以正确的方式设计模型，或者有一个循环，或者您知道，您查看模型内部，并且能够验证属性，这为您提供了一个迭代并使其正确的机会。我认为包含坏模型比拥有好模型更糟糕。

让我问一下关于监管的问题。监管在保持 AI 安全方面扮演什么角色？例如，加州 AI 监管法案 SP 1047 最终被州长否决了。该法案的当前原因是什么？

是的，我们最终对该法案提出了建议，其中一些建议被采纳了。您知道，我们认为——我认为——在该法案结束时，我们对此持相当积极的态度——呃——呃——当然，它仍然有一些缺点——呃——当然，它被否决了。我认为，从高层次来看，该法案背后的一些关键思想，呃，您知道，我会说与我们 RSP 背后的思想类似。

我认为，无论是在加州、联邦政府还是其他国家和州，通过一些类似的法规都非常重要。我可以谈谈我认为为什么这如此重要。因此，我对我们的 RSP 感到满意。

它并不完美，需要进行大量迭代，但它对公司认真对待这一点，将其纳入产品规划，真正使其成为 Anthropic 工作的核心部分，这起到了很好的推动作用。现在，Anthropic 几乎有 1000 人，他们了解这是公司最重要的优先事项，如果不是最重要的优先事项。但是，仍然有一些公司没有像 OpenAI 这样的 RSP 机制。谷歌在几个月后采用了这些机制——呃——以及其他公司。

但是，还有其他公司根本没有这些机制。因此，如果一些公司采用了这些机制，而另一些公司没有，这确实会造成一种情况，您知道，其中一些危险在于，即使五家公司中有三家是安全的，如果另外两家是不安全的，那也没关系。这会产生负面影响。

我认为缺乏统一性对那些投入大量精力认真思考这些程序的人来说是不公平的。第二件事是，我认为您不能信任这些公司自行添加这些自愿计划。我希望 Anthropic 会尽我们所能，我们的 RSP 会被我们长期的利益所信任。

呃，您知道，我们会尽我们所能来添加我们的 RSP——但是，您知道，您会听到很多关于各种公司说他们会做的事情。他们说他们会提供多少计算能力，但他们没有。他们说他们会做某事，但他们没有。

呃，我不认为这有意义，您知道，为了追究公司所做的事情。但是，我认为这个普遍原则，即如果没有人监督他们，如果我们这个行业没有人监督，就无法保证他们会做正确的事情，而且风险非常高。因此，我认为拥有每个人都遵循的统一标准，并确保该行业确实做出了大多数行业已经说过的事情，这非常重要，并且已经说过他们肯定会做得正确。

一些人，你知道，我认为有一些人原则上反对监管。我理解这种想法的来源。如果你去欧洲，你看到像GDP之类的，你看到他们做过的一些其他事情，你知道，有些是好的，但有些真的不必要地阻碍了创新，我认为这是公平的说法，真的减缓了创新。

所以我理解人们在原则上的想法。我理解为什么人们从一开始就持这种立场，但是，我认为人工智能是不同的。如果我们关注自主性和失误的严重风险，就像我刚才谈到的那样，我认为这些风险是不寻常的，它们需要一个非常强烈的回应。

所以，我认为这非常重要，我们还需要一些大家都能够支持的东西。我认为SP 1047的问题之一，特别是最初的版本，是它。它有一些RSP的结构，但是它也有一些东西要么笨拙，要么只会造成很多负担，很多麻烦，甚至可能错过了解决风险的目标。

你实际上并没有在Twitter上听到关于它的消息。你只是听到人们在为任何监管欢呼，然后那些反对的人编造这些经常非常具有智力上的不诚实论点，关于它会让我们远离加利福尼亚。如果你的总部在加利福尼亚，L就不适用，该法案只适用于在加利福尼亚州开展业务的公司。

或者说，这会损害开源生态系统，或者说这会造成所有这些事情。我认为这些大多是胡说八道，但是反对监管有更好的论点。有一个叫迪恩·鲍尔的人，他真的，我认为，是一个非常学术的分析师，他研究当监管以自身的方式实施时会发生什么，或者它们如何被糟糕地设计。

所以，我们的兴趣一直是，我们确实认为这个领域应该有监管，但是我们希望成为一个确保监管是针对严重风险的、有针对性的，并且人们能够实际遵守的行动者，我认为监管倡导者没有像他们应该的那样理解的是，如果我们制定的是一个目标不明确的、浪费人们大量时间的监管，会发生什么。如果人们要说什么，看到这些安全风险？你知道，这是胡说八道。

我只是不得不雇佣十名律师来填写所有这些表格。我不得不进行所有这些测试，以确定某件事显然不是危险的。在经历了六个月之后，他们会找到理由，最终会形成一个反对监管的持久共识。所以我认为真正想要问责制的最坏敌人就是糟糕的监管设计。

我们需要真正地做好它，如果我能对监管倡导者说的一件事，那就是我希望他们能更好地理解这种动态，我们需要非常小心，我们需要与那些真正有经验的人交谈，看到监管在实践中是如何发挥作用的，那些看到过的人会非常小心，如果这是一个较小的问题，我可能根本就不反对监管。但是我希望反对者能够理解，根本的问题实际上是严重的，它们不是其他公司编造出来的。由于监管捕获。

它们不是虚构的幻想。它们不是这些东西。你知道，每次我们推出新模型，每隔几个月，我们都会衡量这些模型的行为，它们在这些相关任务上变得越来越好，就像它们在好的、有价值的、经济上有效的任务上变得越来越好一样。

所以，我希望一些以前，我认为SB 1047非常两极分化。我希望一些最合理的反对者和一些最合理的倡导者能够坐下来，你知道，我认为不同的AI公司。我认为Anthropic是唯一一家你感觉积极且非常详细的AI公司。我认为你在推特上，简短地提到了一些积极的事情，但是一些像谷歌、OpenAI、Meta、微软这样的公司，我们对它们相当强烈地反对。

所以我真的希望，如果一些关键利益相关者，一些你知道最深思熟虑的反对者和一些最深思熟虑的反对者能够坐下来说，我们如何以一种让倡导者带来真正的风险降低，并且让反对者觉得它不会阻碍行业或阻碍创新，比必要性更少的方式解决这个问题，我认为由于某种原因，事情变得两极分化，这两个群体没有像他们应该的那样坐下来，我觉得很紧迫。我真的认为我们需要在2025年做些什么，如果我们到了2025年，我们仍然什么都没做，那么我会担心。我还没有担心，因为我们还没有到那一步，但是我认为时间不多了。

想出一些有针对性的方法。

是的，是的，是的。完全正确。我们需要摆脱这种强烈的安全支持者与强烈的反监管者的对抗，对吧？它变成了Twitter上的这些口水战，而没有谷歌来解决这个问题。

所以，人们对游戏中不同的参与者很感兴趣。其中一个老玩家是OpenAI，你已经有了多年的经验。你的故事是什么？

在历史上？是的，我在OpenAI工作了大约五年，在过去几年里，我认为我担任过研究副总裁，可能是我自己，在16年或17年左右，真正开始设定研究方向的人。

当我听到埃利亚著名地说“你需要理解的是，这些模型只是想学习”时，我第一次真正相信，或者至少确认了我对规模假设的信念。而且，有时会有一些句子，你会听到它们，你会想，这解释了一切。这解释了我看到和知道的所有事情，此后我有了这种视觉化。

我的想法是，以正确的方式优化模型，以正确的方式引导模型。他们只是想学习。他们只是想解决问题，无论问题是什么。

所以，基本上，不要强加你自己的关于它们应该如何运作的想法。这与里奇·萨德在“规模假设”中提出的观点是一样的。不，我认为我的动态是，我从埃利亚、其他像格雷格·弗罗德这样的人那里得到了启发，他做了最初的GPT-1，然后我和我的GPT-2、GPT-3合作者们非常努力地工作，以及来自人类反馈的RL，这是一种尝试，以某种方式处理早期安全问题，以及诸如辩论和放大等问题，以及对这些解释的强烈关注。所以，安全加规模的组合，可能在18年、19年和20年左右，我和我的合作者们，可能许多人后来成为了Anthropic的创始人，真正地拥有了愿景，并推动了方向。

你为什么离开？为什么我离开？是的。

所以，我的意思是，用这种方式来表达，我知道我认为这与争夺榜首有关，在我在OpenAI的这段时间里，当我开始理解规模假设，以及安全与规模假设的重要性时，我认为OpenAI开始接受第一点，第二点在某种程度上一直是OpenAI信息的一部分，但是，你知道，在我在那里的许多年里，我认为我有一个关于我们应该如何处理这些事情、我们应该如何将它们带入世界、组织应该具有的原则的特定愿景。而且，你知道，有很多关于公司应该做什么、不应该做什么的讨论，有很多误导信息。

人们说，我们笑是因为我们不喜欢与微软打交道。不正确。尽管你知道，有很多讨论，很多关于我们如何处理与微软的交易的问题。

我们离开是为了商业化。不正确。我们构建了GPT-3，这是被商业化的模型。我参与了商业化。

这更多地是关于你如何处理它，就像文明正在走向拥有强大AI的道路。如何谨慎、直接、诚实地处理它，如何在组织和个人中建立信任。我们如何从这里到达那里，以及我们如何真正地拥有如何正确处理它的愿景？

安全如何不仅仅是说一些话，因为这有助于一个，你知道，我认为最终，如果你有这样的愿景，忘记其他人。我不想谈论其他人。如果你有如何处理它的愿景，你应该离开，你应该实现你的愿景。尝试与别人的愿景争论是极其低效的。

你可能认为他们没有正确地做，你可能认为他们不诚实。谁知道？也许你是对的，也许你不是。但是，你应该做的是，你应该和一些你信任的人一起离开，你应该让你的愿景成真。

如果你的愿景令人信服，如果你能够以某种方式让它对人们有吸引力，在道德上、在市场上，你知道，如果你能够建立一个人们想要加入的公司，它所采取的做法，人们认为是合理的，同时能够保持其地位和生态系统。如果你做到这一点，人们会模仿它。而且，你做得比他们好，这比你的老板和你争论要更有说服力地改变他们的行为。

我只是不知道如何比这更具体，但我认为尝试让别人的愿景看起来像你一样通常是极其低效的。我们的愿景，更有效的方法是离开，进行一次干净的实验，并说这是我们的愿景。这就是我们将如何做事。

你的选择是你可以忽略我们，你可以拒绝我们正在做的事情，或者你可以开始变得更像我们。模仿是恭维的真诚形式，它体现在客户的行为中，体现在公众的行为中，体现在人们选择工作的行为中。而且，最终，这不仅仅是一家公司胜过另一家公司。

如果我们或另一家公司正在采取一些你知道人们真正有吸引力的做法，并且我想要在本质上，而不仅仅是外观上，你知道，我认为研究人员很精明，他们会关注本质，然后其他公司开始模仿这种做法，他们会因为模仿这种做法而获胜。这很好。

这就是成功。这就是顶峰竞争，最终谁赢了并不重要。只要每个人都在模仿，每个人都在采用良好的做法，对吧？我认为一种思考方式是，我们都害怕的是按钮，在按钮的底部，谁赢了并不重要，因为我们都会输，对吧？

你知道，在最极端的情况下，我们创造了这种自主AI，你知道，机器人会抛弃我们，或者其他什么，对吧？我的意思是，开玩笑，但是，你知道，这是可能发生的最极端的事情，那么哪家公司领先并不重要。但是，如果你创造的是一种顶峰竞争，人们都在努力采用良好的做法，那么最终，你知道，谁赢了并不重要，甚至是谁开始了顶峰竞争都不重要。

重点不是要高尚，重点是让系统进入一个更好的平衡。然后，个人公司可以在其中发挥作用。个人公司可以帮助启动它，可以帮助加速它。

坦率地说，我认为个人和其他的公司也做过，对吧？当我们发布RSP时，个人会努力在其他公司取得类似的成果。有时其他公司会做一些我感觉不错的事情。

我们认为这是好的。我们应该采用这些做法，唯一的区别是，我认为我们更倾向于首先采用这些做法，并且当其他人发明它们时，我们更迅速地采用它们。但我认为，这种动态是我们应该关注的。

我认为这消除了关于哪家公司获胜、谁信任谁的问题。我认为所有这些戏剧性问题都是不重要的。重要的是我们都在运营的生态系统，以及如何让这个共同的系统变得更好，因为它约束了所有参与者。

所以，所以，因为这是一种干净的实验，建立在关于具体ASAT应该是什么的基石之上。

好吧，我确信我们在这过程中犯了很多错误。完美的组织并不存在。它必须处理数千名员工的不完美。它必须处理我们领导人的不完美，包括我。

它必须处理我们委派给领导人的不完美，包括董事会，从长远来看，建立信任。这都是一群不完美的人，试图不完美地追求永远无法完美实现的目标，这就是你所签署的。这就是它永远会是什么。

但是，不完美并不意味着你放弃。有更好和更糟的。希望我们能够做得足够好，能够开始建立整个行业都在使用的做法。

然后，你知道，我的猜测是，这些公司中的许多都会成功，而Anthropic也会成功。这些其他公司，就像我过去一样，也会成功，有些会比其他公司更成功。但这不如再次强调，我们应该让行业保持激励。这部分是通过“赛马”实现的，部分是通过像RS.P这样的东西，部分是通过再次选择性地招募人才。

你说人才密度胜过人才规模。你能解释一下吗？你能解释一下，建立一支优秀的研究人员和工程师团队需要什么？

这是这样一种说法，它每个月、每个月、每个月都变得更加真实。我看到这个说法比上个月更真实。所以，如果我想做一个思想实验，假设你有一支由一百个超级聪明、与公司使命高度一致的人组成的团队，或者你可以有一支由一千人组成的团队，其中两百人是超级聪明、与使命高度一致的，而八百人则……嗯，比如，八百人就像随机挑选的大科技公司员工。你会选择哪一个？

人才规模在拥有千人的团队中更大，对吧？你甚至拥有更多数量的极具天赋、极具抱负、极具智慧的人才，嗯……嗯……但是问题是，如果每次超级有天赋的人环顾四周，他们看到其他超级有天赋、超级投入的人，为所有事情设定基调，对吧？这会激励每个人在同一个地方工作。每个人都信任彼此。如果你有一千人或一万人，而事情已经严重倒退，对吧？你无法进行筛选，你只是随机挑选人。

发生的事情是，你需要制定很多流程和很多规章制度，嗯……仅仅因为人们不完全信任彼此，你必须解决政治斗争，等等，有很多事情会拖慢你的运营速度。所以，我们有将近一千人，你知道，我们努力让尽可能多的这千人中的人才具有超级天赋和技能，这是我们最近几个月放慢招聘速度的原因之一。我们在今年的头七、八个月里从三百人增长到八百人。

现在我们放慢了速度。我们现在大约是，你知道，在过去三个月里，从八百人到九百人，再到九百五十人左右，别让我在确切数字上出错，但我认为在超过一千人左右有一个转折点，我们希望在早期和现在如何发展上更加谨慎。我们还招募了很多物理学家，嗯……你知道，那些有激进想法的物理学家可以非常快速地学习。

嗯……嗯……甚至在我们继续招聘的过程中，我们对研究和软件工程方面都设置了很高的标准，招募了很多资深人员，包括那些曾经在该领域的其它公司工作过的人。我们一直保持着非常严格的选择标准。很容易从一百人到一千人再到一万人，而没有关注确保每个人都拥有统一的目标。

这太有力量了。如果你的公司由许多不同的人组成，他们都想做自己的事情，他们都在优化自己的事情。嗯……很难完成任何事情。但是，如果每个人都能看到公司的更广泛目标，如果他们相互信任，并致力于做正确的事情，这本身就是一种超级力量，我认为它可以克服几乎所有其他劣势。

而史蒂夫·乔布斯，那些有抱负的人，那些有抱负的人环顾四周，看看其他有抱负的人，这是另一种说法，我不知道这与人性有关，但看到人们没有专注于一个共同的目标，这会让人失去动力。反过来，看到人们对同一件事感兴趣，这会让人非常有动力。嗯，根据你与这么多优秀的人一起工作所看到的，成为一名优秀的AI研究人员或工程师需要什么？

我认为最重要的品质，尤其是在研究方面，但实际上在两者方面都是开放的心态。听起来很容易做到开放心态，对吧？你就像“我接受任何事情”。嗯，但是，你知道，如果我回顾我自己的早期历史，关于规模假设，嗯……我看到的数据与其他人看到的数据相同。

我不认为我比我与之合作的数百人更优秀，或者更擅长提出研究想法。嗯，在某些方面，在某些方面，我甚至更差，嗯……你知道，像精确编程，比如找到错误，编写GPU内核。我可以指出这里一百个人比我更擅长这些。

嗯……但是，我认为我不同的地方在于，我愿意用新的眼光看待事物，对吧？人们说，“哦，你知道，我们还没有合适的算法。我们还没有想出正确的方法来做事情。”

而我就像，“嗯，我不知道，你知道，这个神经网络有三十亿、三千百万个参数。如果我们给它五千万个参数会怎么样？让我们画一些这样的图表，像这样，这种基本的科学思维方式，就像，哦，伙计，我看到我可以改变的变量。

当它改变时会发生什么？让我们尝试不同的东西。就像在克罗尔PH中，即使这是世界上最简单的事情，对吧？改变数字，你知道，这不像PHD级别的实验设计。这就像简单而愚蠢的事情，任何人都可以做到，如果你只是坚持下去，那很重要。

它也很容易理解，你不需要很聪明就能想到这一点，嗯……但是你把这两件事结合起来，你知道，少数几个人，个位数的人，通过意识到这一点推动了整个领域的发展，嗯……你知道，如果你回顾历史上的发现，它们通常是这样的。所以，这种开放的心态，以及这种愿意用新的眼光看待事物，这通常来自于对该领域的了解较少，经验往往会成为劣势。这很难在测试中找到，但我认为这是最重要的，因为当你找到一种全新的思考方式、思考事物的方式时，当你主动去做时，它绝对是。

具有变革性的，并且能够做到这一点，狂热地进行实验。面对这种情况，保持开放的心态和好奇心。用新鲜的眼光看待数据，它到底在说什么，这适用于机制和能力。

是这种机制解释的另一个例子，就像机制解释的一些早期工作一样，非常简单，以前没有人想过这个问题，你说的。

成为一名优秀的人工智能研究人员需要什么？我们可以倒退时间吗？你会给那些对人工智能感兴趣、年轻有为的人什么建议？如何在世界上取得成功？

我认为我给出的第一条建议是，开始尝试使用这些模型，嗯……这实际上是我给出的一个有点显而易见的建议。现在我认为三年前，这并不是显而易见的，人们开始通过“让我阅读最新的论文”，让我，你知道，让我……不，我的意思是，你应该这样做。

但是现在，随着模型和应用程序的广泛可用性，人们正在更多地这样做。但我认为，仅仅是经验知识，嗯……这些模型是全新的事物，没有人真正理解，嗯……所以，获得使用它们的经验，我还想说，与“做一些新事物，思考一些新的方向”一致，有很多尚未探索的东西。例如，机制解释仍然非常新。

在那些方面工作可能比工作在新的模型架构上更好，因为这比以前更有可能。可能只有百人正在研究它，但没有一万人。这是一个非常肥沃的研究领域，就像你知道，有很多低垂的果实。

你可以走过去，你可以走过去，你可以摘取东西。而唯一的原因，无论出于什么原因，人们对此不够感兴趣。我认为在一些关于长期学习和长期任务的事情上还有很多工作要做。我认为评估仍然非常早，我们能够研究评估，特别是对于在世界中行动的动态系统。我认为在多智能体领域有一些东西，我建议你关注。

你不需要很聪明就能想到这些，在五年内会发生哪些令人兴奋的事情，人们甚至会提到它们，就像，你知道，传统的智慧，但不知何故，存在着一种障碍，人们没有像他们可以做的那样投入，或者他们害怕做一些不是流行的事情。我不知道为什么会出现这种情况，克服这种障碍是我的首要建议。

让我们谈谈训练后的工作，所以，嗯……似乎现代的训练后方法是自由的，所以监督微调、强化学习。嗯……宪法AI是强化学习AI框架。再次，合成数据。

合成数据。

数据似乎有很多合成数据，至少尝试找出高质量数据的方法。所以，如果这是让Anthropic Claude如此出色的一种秘密酱料，那么预训练中包含多少魔法？训练后包含多少魔法？

啊，啊，我的意思是，啊，首先，我们无法完全衡量这一点。嗯……嗯……你知道，当你看到一些出色的性格能力时，有时很难判断它来自预训练还是训练后。我们开发了一些方法来尝试区分这两者，但它们并不完美。

你知道，第二件事我想说的是，不，它确实有优势。我认为我们总体上在强化学习方面做得相当不错，也许是最好的，尽管我不知道，因为我看不到其他公司内部的情况。通常不是“哦，天哪，我们有一种秘密的魔法方法，其他人没有”，对吧？通常是“哦，你知道，我们在基础设施方面做得更好，所以我们可以运行它更长时间，或者你可以获得更高质量的数据，或者我们可以更好地筛选，或者我们可以将这些方法结合起来使用”。通常是某种无聊的、关于实践和技巧的事情，嗯……所以，你知道，当我考虑如何以特殊的方式训练这些模型时，无论是预训练还是训练后，嗯……我真的很想把它想成设计飞机或汽车。你知道，这不仅仅是“哦，伙计，我有蓝图，这可能让你制造出下一代飞机”，而是关于我们如何思考设计过程的文化技巧，我认为这比任何特定的小发明都重要。

好的，关于媒体。询问有关特定技术的具体问题。第一个是强化学习。

你认为如何？从教学中抽象出来，几乎。哲学。你认为我们的强化学习方法为什么如此有效？

如果我回到规模假设，那么摆脱规模假设的一种方法是，如果你训练一个模型，并且投入足够的计算资源，嗯……那么你就会得到它，所以，就像杰夫一样，它很好地做到了人类想要它做的事情，或者至少，嗯……更精确地说，它很好地做到了人类在短暂时间内查看模型并考虑不同可能响应时所偏好的响应，嗯……这从安全和能力的角度来看并不完美，因为人类通常无法完美地识别模型想要什么，以及人类在那一刻想要什么，可能与他们长期想要的不一样，所以这里有很多细微之处。但是模型擅长，你知道，以某种浅显的意义上产生人类想要的东西，嗯……而事实证明，你甚至不需要投入那么多计算资源，因为还有另一件事，那就是关于强大的强化学习模型在任何地方都很好地工作。嗯……嗯……嗯……所以，一旦你有了预训练模型，你就有所有需要的表示来让模型达到你想要的目标。

所以，你认为强化学习让模型更聪明，还是让模型在人类看来更聪明？我不。

我认为它让模型更聪明。我不认为它只是让模型在人类看来更聪明。强化学习就像弥合人类和模型之间的差距，对吧？

我可能有一些非常聪明的东西，但我无法与之沟通，对吧？我们都知道这样的人，嗯……那些非常聪明的人，但你知道，你无法理解他们在说什么。嗯……嗯……所以，我认为它只是弥合了这种差距。

嗯……我认为它不是我们唯一会做的事情。我认为强化学习在未来可能让模型更聪明，让它们推理得更好，让它们运作得更好，甚至让它们发展新的技能。

也许这可以在某些情况下通过人类反馈来完成。但是我们今天所做的强化学习还没有做到这一点，尽管我们正在非常迅速地开始做到这一点。

但是它似乎增加了。如果你查看帮助性指标。

并且增加了它，它也增加了。这个词在领导力文章中是什么？未预料到的。林，我们基于。模型被限制了，然后你对它们进行各种训练，以实现未预料到的结果。是的，所以我知道我喜欢这项工作，因为它就像一个真实世界。所以，我认为我们的强化学习，在某种程度上限制了模型，然后还有其他方法，我们还没有限制。你知道，需要。

需要限制，如果你能用成本来说，预训练是最昂贵的事情吗？还是训练后的成本已经达到那个水平。

目前，预训练仍然是主要成本。我不知道未来会怎样，但我当然可以预见到未来，训练后将成为主要成本。

预见到人类还是人工智能的成本？这是训练后成本的问题。

我认为你无法足够地扩展人类来获得高质量，以及任何依赖人类并使用大量计算的方法，都必须依赖某种规模监督方法，例如辩论、迭代放大或类似的方法。

所以，关于那个超级……

很有趣。

嗯，与其围绕宪法理念，不如先描述一下它在 12 月份首次详细说明的内容。

二十，是的。

二零二三年，以及在那之后，它是什么？

是的。所以这是两年前的事情。基本的想法是，所以我们描述像杰夫一样的石油，你有一个模型，而它，你知道，吐出两个 poo，它就像你只是从它那里取样两次，吐出两个可能的回应，而你像人类一样，哪个回应更好，或者另一个非常好的方法是根据一到七的等级对该回应进行评分。

所以这很难，因为你需要人类互动的规模，而且非常隐含，对吧？我没有感觉到我想要模型做什么。我只是感觉到大约十万个人平均想要模型做什么。所以有两个想法。

一个是，人工智能系统本身能否决定哪个更好，对吧？你能否向人工智能系统展示这两个回应，并询问哪个回应更好？然后第二个问题是，人工智能使用什么标准？所以，然后就有了这个想法，因为你有一个单一的文件，一个宪法，它会说模型应该使用的其他原则，而模型会阅读这些原则，以及阅读环境和回应，它会说，人工智能模型做得怎么样？这基本上是一种自我游戏。

你正在以某种方式训练模型对抗自身。所以人工智能给出回应，然后你将其反馈到所谓的偏好模型中，该模型反过来会反馈给模型，使其更好。嗯，所以你有一个人工智能、偏好模型和人工智能改进的三角关系。

我们应该说，在宪法中，一组原则就像人类的解释。

它们是……是的，这是人类和系统都能阅读的东西。所以它具有这种很好的翻译能力或对称性……你知道，实际上，我们既使用模型宪法，也使用我们的 G F，并使用其中一些其他方法。所以它变成了一个工具包中的一个工具，它既减少了对人工杰夫的需求，又增加了我们从使用每个 F I A 数据点中获得的价值。它还会以有趣的方式与某种未来的推理型 R L 方法进行交互。所以，嗯，它是一个工具包中的一个工具，但我认为它是一个非常……

重要的工具，但对我们人类来说，它很有吸引力。想想美国开国元勋和美国的建立。自然的问题是，谁以及如何定义宪法中的原则集？

是的，我会给出一种实际的……回答，以及一种更抽象的回答，我认为实际的回答就像看看实践中，模型被各种不同的客户使用，对吧？所以，你可以有这样的想法，你知道，模型可以有专门的规则或原则。你知道，我们发现模型隐含地有两个版本。

我们已经讨论过，明确地拥有人们可以构建到模型中的特殊原则……嗯……所以从实际的角度来看，答案可能因不同的人而异，啊，你知道，客户服务代理……你知道，律师的行为方式不同，遵循不同的原则……但我认为，在它的基础上，有一些特定的原则，模型……你知道，半遵守。我认为其中很多都是人们会同意的。每个人都同意我们应该让模型呈现这些 cvr 和风险？我认为我们可以更进一步，同意一些民主和法治的基本原则。

除此之外，它变得……你知道，非常不确定。而我们的目标通常是让模型更中立，而不是偏袒某一方。特定的观点，你知道，更只是像明智的……代理或顾问，可以帮助你思考事情，并会……你知道，呈现可能的考虑因素，但不会表达……你知道，更强烈的特定意见。

Opening eye 发布了一个模型规范，其中明确具体地定义了一些模型的目标和特定示例，例如 A、B，模型应该如何表现。你认为这有趣吗？尽管我应该提到，我相信杰出的人物约翰·舒曼是其中一部分。他不是 Anthropic 的。

嗯，你认为这是一个有用的方向吗？我的 Anthropic 发布了模型规范。

嗯，是的。所以，我认为这是一个有用的方向。再一次，它与我们看到的宪法人工智能有很多共同之处。

再举一个关于竞争的例子，对吧？我们有某种东西，我们认为，你知道，做得更好、更负责任。嗯，这也有竞争优势。

嗯，然后……嗯……其他人发现它有优势，然后开始做那件事。嗯，我们不再拥有竞争优势，但这从积极的角度来看，现在每个人都采用了 A。积极的做法，其他人没有采用。

因此，我们对此的回应也是，我们需要一个新的竞争优势，才能继续推动这种向上竞争。嗯，所以这就是我对它的总体看法。我还认为，这些东西的每种实现方式都不同。

所以，你知道，模型规范中有一些东西，我们没有在宪法人工智能中。所以我们总是可以……我们总是可以采用这些东西，或者你知道，至少从中学到东西。嗯，所以再一次，我认为这是一个积极的动态的例子，我认为我们这个领域应该都想要。

让我们谈谈令人难以置信的 S A 机器之爱。我会来，每个人都读一下它，长篇的那一个……

它真的……

是的，它真的令人耳目一新，可以重建关于积极未来的想法。你采取了一种大胆的立场，因为……你可能对……

日期或具体细节有错误，我完全预计自己会……绝对会对所有细节有错误。我可能对整件事有非常大的错误，人们会嘲笑我很多年。嗯，这就是未来的运作方式。所以你提供……

一些具体的积极影响，以及人工智能如何……你知道，精确地，一个超级智能，人工智能可能会加速数据突破，例如生物化学，这将导致我们治愈大多数癌症、预防所有传染病、使人类寿命翻倍等等。所以让我们先谈谈 S A。你能提供一个关于 S A 的高层愿景，以及它会带来哪些方式？是的，我花了很多时间在这个主题上。我花了很多精力，你知道，我们如何应对人工智能的风险，对吧？我们如何思考这些风险？就像我们正在努力争取领先地位。

你知道，这需要我们构建所有这些能力，而这些能力很酷。但你知道，我们正在努力做的事情很大一部分是……是……应对风险。其理由是，你知道，所有这些积极的事情……市场是一个非常健康的生物，对吧？它会产生所有积极的事情。

风险，我不知道，我们可能会减轻它们。我们可能不会。所以，我们可以通过尝试减轻风险来产生更大的影响。

但我注意到，这种思维方式存在一个缺陷，如果不是对风险的重视程度发生了变化，那么也许是谈论风险的方式发生了变化……嗯……无论我刚才给出的推理多么合乎逻辑或理性……嗯……如果你只谈论风险，你的大脑只会思考风险。所以，我认为实际上非常重要的一点是，如果事情进展顺利会发生什么。我们尝试预防这些风险的全部原因，不是因为我们害怕技术，不是因为我们想放慢它的速度。

这是因为，如果我们能够跨越这些风险，对吧，如果我们能够成功地运行这个游戏……嗯……用非常严厉的措辞来说，那么在所有这些伟大事情的另一边，这些事情值得我们为之奋斗，这些事情可以真正激励人们。我认为，我设想，因为你看，所有这些投资者、所有这些风险投资公司、所有这些人工智能公司都在谈论人工智能的所有积极益处。但正如你指出的那样，这很奇怪。

实际上，真正具体地谈论它的做法已经消失了。很多随机的人在推特上发布这些闪闪发光的城市，这只是……你知道，一种……努力、加速、更努力地踢出这些东西。你知道，这是一种非常……侵略性的意识形态吗？你真的对……感到兴奋，所以……所以我想，这对于真正从风险方面来的人来说，会很有趣且有价值，尝试真正解释益处……嗯……因为我认为这是我们所有人可以支持的东西。

我希望人们理解，我希望他们真正理解，这不是……这不是杜马斯与加速主义者之间的冲突。嗯……这……如果你真正理解人工智能的发展方向，也许这才是更重要的方面，人工智能正在快速发展，如果人工智能没有快速发展，那么你真的会欣赏到它的益处。你真的希望人类、我们的文明能够抓住这些益处。但你也要非常认真对待任何可能真正阻碍它们的事情。

所以，我认为起点是谈论这种强大的……我……是什么。你想使用的术语。

世界上大多数人使用 A G I。但你不喜欢这个术语，因为它基本上包含太多包袱，已经变得毫无意义。就像我们……

被这些术语困住了，也许我们被这些术语困住了，而我改变它们的努力……告诉你，这就像一个毫无意义的语义问题，但我一直在谈论它，我不会再这样做一次。我认为这有点像，假设我是在 1995 年，并且正在制定让计算机运行得更快的法律。

而且，出于某种原因，有一种口头上的暗示，就像每个人都一样，嗯，总有一天我们会拥有超级计算机。而超级计算机，我可以做所有这些事情，你知道，一旦我们拥有超级计算机，我们将能够……你知道，我们能够做其他事情。所以，嗯，事实是，计算机确实越来越快。

随着它们越来越快，它们将能够做所有伟大的事情。但是，没有一个明确的点，你拥有了一台超级计算机。之前的计算机不是……超级计算机是一个我们使用的术语，但它只是一个模糊的术语，用来描述比我们今天拥有的计算机更快的计算机。

没有一个点，你跨越了门槛。天哪，我们正在进行一种全新的计算类型，全新的。所以，我对 A G I 的感觉也是如此，就像它只是一个平滑的 x 轴一样。如果 A G I 指的是人工智能变得越来越好，并且最终会做得比人类更好，直到它比人类更聪明，然后它会变得更聪明，那么是的，我相信 A G I。如果 A G I 是某种不同或独立的东西，这是人们经常谈论它的方式，那么它有点像一个空洞的词。

我个人认为，它只是这种强大的……模式，你如何定义它，以及你如何找到它们在智能方面的定位。它只是纯粹的智能。它比诺贝尔奖获得者更聪明，正如他所描述的那样，在大多数相关学科中。

好的，这只是智能。所以，它既有创造力，又能将想法结合起来，所有这些事情，在所有学科中。诺贝尔奖获得者，在他们最巅峰的时候，它可以利用所有模式。

所以，这种自我……看起来，就像……只是为了在世界的所有模式中运行。嗯，它可以运行数小时、数天和数周来完成任务，并进行自己的详细规划，只有在需要时才寻求你的帮助。嗯，它可以利用……这实际上很有趣。

我认为，你所说的意思再次是，它不是一种会体现出来的东西。但是，它可以控制实体工具。所以，它们可以控制工具、机器人、劳动力设备、用于训练的资源，然后可以非常有目的地运行数百万个它的副本。这些副本中的每一个都是独立的，可以进行自己的独立工作，所以它们可以……

复制智能。是的，是的。我的意思是，你可能从外部领域想象，只有一个这样的东西。但事实是，规模的增长非常迅速。

就像我们今天所做的那样，我们制作了一个模型，然后部署了数千个，也许数万个它的实例。我认为，在未来两到三年内，无论我们是否拥有超级强大的眼睛，集群都将达到这个规模。你将能够部署数百万个这样的东西，它们会比人类更快。所以，如果你想象的是……我们会拥有一个，它们需要一段时间才能制作出来，我的重点是，实际上，你拥有数百万个……

它们立即出现，并且通常它们可以学习和行动的速度比人类快 10 到 100 倍。所以，这真的很棒，绝对很强大，好的，所以，但是你也在写，很明显，实体将能够非常快速地解决非常困难的问题。但这并不容易弄清楚速度，两个极端立场对我来说似乎都是错误的。

所以，奇点是一个极端，而选项是另一个极端。你能描述一下每个极端吗？是的。

所以为什么？所以，是的，让我们描述一下极端。所以，一个极端是，嗯，你知道，如果我们看看进化史，就像有一个巨大的加速，你知道，数万年来，我们只有单细胞生物，然后我们有了哺乳动物，我们有了猿类，然后它迅速变成了人类。

人类迅速建立了工业文明。所以，这将继续加速。而且，在人类层面，一旦模型比人类更聪明得多，它们就会非常擅长构建下一个模型。

你知道，如果你写下简单的微分方程，就像这是一个指数。所以，将会发生的事情是，嗯，模型会构建更快的模型。模型构建更快的模型。而这些模型将构建能够接管世界并产生比你否则能够产生的更多能量的纳米机器人。

所以，如果你只是想解决这个阻碍微分方程，然后在五天后，我们就知道我们构建了比人类更强大的第一个人工智能，那么世界将会充斥着各种可能被发明的技术中的人工智能。我有点夸大图灵了，但是我认为这只是一个极端。我认为情况并非如此的原因是，首先，我认为他们只是忽略了物理定律，在ISP世界中，有些循环会让你生产出更快的硬件，只有以这种速度才能做到。

嗯，生产更快的硬件需要很长时间。事情需要很长时间。这里有一个复杂性问题，我认为无论你有多聪明，人们都在谈论，哦，我们可以建立生物系统的模型。

它会做所有的事情。生物系统。我认为计算建模可以做很多事情。当我从事生物学研究时，我做了很多计算建模，但是，有很多事情你无法预测，你知道吗？它们足够复杂，以至于即使是运行实验，也会比任何建模都更好，无论进行建模的系统有多聪明。

或者，即使它没有与物理世界互动，建模也会。

是的，我认为建模会很困难。与物理世界匹配会。

会变得非常困难，是的，是的，是的。

但是，如果你看看即使是最简单的问题，我知道如果我谈论三体问题或简单的混沌预测，或者预测经济，很难预测两年后的经济。也许像普通人类可以预测下季度经济会发生什么。他们真的可以做到这一点。

也许，也许一个人工智能系统，你知道，比人类聪明数百万倍，只能预测一年左右的事情。相反，随着计算机智能在人工智能方面的指数级增长，预测能力却下降了。同样，例如，你知道，生物分子相互作用，你不知道当一个复杂的系统出现时会发生什么。

当你处理一个复杂的系统时，你可以找到其中的简单部分。如果你更聪明，你就能更好地找到这些简单部分。我认为人类机构，人类机构非常困难，你知道，让人们接受我们已经开发出的技术，即使它们的有效性证据非常强，也一直很困难。

嗯，你知道，人们有顾虑。他们认为事情是阴谋论，这使得事情变得非常困难。让非常简单的事情通过监管体系也同样非常困难。

我认为，我不想贬低任何在任何技术监管体系中工作的人，它们是艰难的权衡。他们必须拯救生命。但是，我认为整个系统做出了非常明显的权衡。

这些权衡与最大化人类福祉相去甚远。因此，如果我们将人工智能系统引入这些人类系统，那么智力水平可能根本不是决定性因素，对吧？这可能需要很长时间才能做到。

现在，如果人工智能系统发明了所有政府，如果你只是说我是世界独裁者，我将做一些事情，那么即使是处理复杂的人工智能系统，我认为很多事情仍然需要一段时间。我认为这并不能帮助人工智能系统产生大量能量或去月球，就像一些评论者对该声明的回应一样。人工智能系统可以产生大量能量，更聪明的人工智能系统，这忽略了重点。这种循环并不能解决我在这里谈论的关键问题。

嗯，我认为很多人没有抓住重点。但是，即使我们完全绕过了所有这些人类障碍，这也会有困难。但是，如果你想让这个人工智能系统不接管世界，不毁灭人类，那么它基本上需要遵循基本的人类法律，对吧？

你知道，如果我们想要一个真正美好的世界，那么我们必须拥有一个与人类互动的人工智能系统，而不是一个建立自己的法律体系或无视所有法律的人工智能系统。因此，尽管这些过程效率低下，但我们必须处理它们，因为这些系统推出方式需要某种公众和民主的合法性。我们不能让一小群开发这些系统的人说这是对所有人最好的选择，对吧？

我认为这是错误的，我认为在实践中这行不通。所以，把所有这些因素结合起来，我们不会在五分钟内改变世界，上传每个人。我只是不认为人工智能会发生。

而且，在某种程度上，如果它会发生，那也不是通往美好世界的道路。所以，一方面是这样。另一方面，我实际上在某种程度上更同情另一种观点，那就是，你看，我们以前见过巨大的生产力提升，对吧？

你知道，经济学家熟悉计算机革命、互联网革命带来的生产力提升。通常，这些生产力提升令人失望。它们低于你想象的水平。

有一句罗伯特·索洛的话，你到处都能看到计算机革命，除了生产力统计数据。这是怎么回事？人们指出公司结构、企业结构。如何……你知道，如何将现有技术推广到世界贫困地区，这在论文中有所提及，对吧？

我们如何将这些技术带到那些在手机、电脑和医疗技术方面落后的最贫困地区，更不用说那些尚未发明的新的强大人工智能系统了？嗯，所以你可能会有一种观点，那就是，嗯，这在技术上很棒，但它什么也没做。嗯，你知道，我认为……泰勒·考恩，他写了一些关于我论文的回应，他持这种观点，他认为最终会发生根本性的变化，但他认为这需要五十年、一百年，甚至可能会有更多关于这件事的观点。

我认为，时间尺度太长，这在某种程度上是正确的。嗯，我能看到今天人工智能的两面。所以，你知道，我们很多客户都是大型企业。我们习惯于以某种方式做事。

嗯，我也在与政府交谈时看到了这一点，对吧？这些都是典型的，你知道，机构、实体，它们改变起来很慢。但是，我一遍又一遍地看到的情况是，是的，移动船需要很长时间，是的，存在很多阻力以及缺乏理解，但让我觉得进步最终会适度快速，而不是极快的原因是，我发现，我一遍又一遍地发现，在大型公司，甚至在政府中……实际上，政府出人意料地朝前看，你会发现两件事会推动事情发展。首先，你会发现一小部分人在公司内部，在政府内部，他们真正看到了全局，他们看到了整个缩放假设，他们理解人工智能将走向何方，或者至少理解它在他们行业中的走向。在目前的美国政府中，有几个人真正看到了全局，他们认为这是世界上最重要的事情，直到他们为之奋斗，他们才学会或不够成功，因为在一个大型组织中，有一小部分人。但是，随着技术的推出，在某些地方，最愿意接受的人，竞争的压力会给他们带来动力，因为他们可以在自己的大型组织内部指出，看看，其他人也在做这件事，对吧？一家银行可能会说，看看，这家新的对冲基金正在做这件事。他们将在美国吃掉我们的午餐。我们可以说，我们担心中国会在我们之前到达那里。嗯，两者结合，竞争的压力加上这些组织内部的一些有远见的人，在很多方面都是我们的对手。

把这两者结合起来，它实际上会发生一些事情。我的意思是，这很有趣。这是两者之间的平衡之争，因为一个因素非常强大。但是，最终，随着时间的推移，创新的方法会突破。嗯，我见过这种情况发生。

我一遍又一遍地看到这种模式，就像障碍在那里，部署模型的复杂性，不知道如何使用模型，这些障碍在那里。一段时间看来，似乎变化永远不会发生。但是，最终，变化会发生，并且总是由少数人来推动。

当我还在人工智能领域倡导缩放假设时，我也有同样的感觉。其他人没有理解它，感觉好像没有人会理解它，感觉好像我们拥有一个几乎没有人拥有的秘密。几年后，每个人都知道了这个秘密。

所以，我认为人工智能在世界上的发展方式将是障碍会逐渐消失，然后突然全部消失。所以，我认为这将更像五年或十年，正如我在论文中所说，而不是五十年、一百年。我还认为它将比我们预期的要多五年或十年。嗯，因为我看到了人类系统的运作方式。我认为写下微分方程的人，那些说人工智能将创造更强大的人工智能的人，那些能够理解这些事情不会那么快发生的人，他们没有理解这些事情。

所以，我们什么时候才能实现人工智能、强大的人工智能或非常有用的人工智能？

开始称呼。

这是一种关于命名、关于更聪明的人工智能的辩论，在每个相关学科中都有诺贝尔奖获得者。所有我们所说的东西，在生物实验中，它可以独立运行几天、几周，在自己的环境中。你知道吗？坚持生物学，因为是的，你让我对整个生物健康领域感到兴奋，这太令人兴奋了，仅仅从科学的角度来看，他让任何人。

成为生物学家。所以，不，这感觉就像我写论文时，这可能是一个美好的未来。如果我们能做到，如果我们能做到，如果我们能做到，对吧？

如果我们能做到，如果我们能消除地雷，并让它发生。这其中有如此多的美丽、优雅和道德力量。如果我们能做到，如果我们能做到，这应该是一件我们都能达成共识的事情，对吧？就像我们争论所有这些政治问题一样，这是否能真正让我们团结起来？嗯，但你问。

只是给数字。所以，当然。

这是我多年来一直在努力解决的问题，我一点也不确定，如果我说2026年或2027年，就会有成千上万的人在推特上说，2026年或2027年会发生什么，这将持续两年。这绝对是我认为会发生的事情。

嗯，所以，接下来的人会删除我刚才说的话，只说我应该说的话。嗯，无论如何，我会说的。嗯，所以，如果你推断我们到目前为止所经历的曲线，对吧？如果你说，我不知道，我们开始达到博士水平。去年，我们还在本科水平。

在之前的年份，我们还在高中生的水平，你仍然可以质疑在哪些任务上，以及我们仍然缺少哪些模式，但这些正在被添加。例如，计算机使用被添加了。例如，想象被添加了。

例如，图像生成已被添加，如果你只是想，这完全没有科学依据，但是如果你只是想，我估计这些能力增加的速度，这确实让你认为我们将在2026年或2027年实现这一目标。当然，还有很多事情可能会发生，我们可能耗尽数据。你知道，我们可能无法像我们想要的那样扩展集群，也许台湾被摧毁了，或者类似的事情，然后我们无法生产我们想要的所有GPU。

所以，有很多事情可能会阻碍整个过程。所以，我不完全相信直线外推，但是如果你相信直线外推，你将在2026年或2027年实现这一目标。我认为最有可能的是，相对于此，存在一些轻微的延迟。

嗯，我不知道这个延迟是多少，但我认为它可能会按计划发生。我认为可能会有轻微的延迟。我认为仍然存在一些世界，在未来一百年内不会发生这种情况。

这些世界的数量正在迅速减少。我们正在迅速耗尽真正令人信服的、令人信服的理由，说明在未来几年内不会发生这种情况。在2020年，有更多这样的理由。

嗯，尽管当时我的猜测是，我们将克服所有这些障碍。所以，作为看到大多数障碍被清除的人，我猜想，我怀疑剩下的障碍不会阻止我们。嗯，你知道，归根结底，我不想将其作为科学预测来呈现，人们称之为缩放定律。

这是一个错误的名称。摩尔定律是一个错误的定律。缩放定律不是宇宙定律，它们是经验规律。我倾向于支持它们继续下去，但我对此并不确定。

所以，你对压缩的21世纪的广泛描述，如何帮助生物学和医学取得一系列突破，帮助我们以我提到的所有这些方式。你认为早期步骤是什么？

顺便问一下，向克劳德提问一些好问题来问你。克劳德告诉我，呃，要问，你认为生物学家在未来从事AGI研究的典型一天是什么样的？是的，是的。克劳德在这里。让我，好吧，让我从你的第一个问题开始，然后一一回答。我想知道未来会发生什么，对吧？谁可能会在未来从事这项工作？嗯，我认为我在撰写论文时重点关注的一件事是，让我回到这个想法，因为它对我产生了影响，你知道的。

这个想法是，在大型组织和系统中，最终会有一些人或一些新想法，他们会促使事情朝着与之前不同的方向发展，他们会对轨迹产生不成比例的影响。有很多类似的事情正在发生，对吧？如果你想想医疗保健领域，有数万亿美元用于医疗保险和其它健康保险，然后国家医疗保险系统是数百亿美元。

然后，如果我想到一些在很小一部分时间内彻底改变任何事物的因素，它们可能会在以后变得微不足道。因此，当我想到人工智能会产生什么影响时，我想知道人工智能是否能将那小部分转化为更大一部分，并提高其质量？在我的生物学经验中，生物学最大的问题是，你无法看到正在发生的事情。

你几乎无法看到正在发生的事情，更无法改变它，对吧？你所拥有的只是从这里推断出，在每个细胞内都有一些细胞，里面有数十亿对DNA碱基，根据遗传密码构建，呃，呃，还有所有这些正在进行的过程，而我们作为增强人类，无法有效地做到这一点。这些细胞大部分时间都在分裂，这是健康的，但有时这个过程会出错，这就是癌症，细胞会老化。

你的皮肤颜色可能会改变，随着年龄的增长而出现皱纹。所有这一切都是由这些过程决定的，所有这些蛋白质都在产生，运输到细胞的不同部位，相互结合。在我们最初了解生物学的时候，我们甚至不知道这些东西的存在。

我们必须发明显微镜来观察细胞。我们必须……我们必须发明更强大的显微镜来观察细胞以下的分子水平。我们必须发明X射线晶体学来观察DNA。

我们必须发明基因测序来读取DNA。现在，你知道，我们必须发明蛋白质折叠技术来预测它们如何折叠以及它们如何相互结合。呃，你知道，我们必须发明各种技术。

现在，我们可以编辑DNA，从过去12年开始，所以生物学的大部分历史，很大一部分历史基本上是我们读取和理解正在发生的事情以及我们能够介入并有选择地改变事物的能力。嗯，我认为我们仍然可以做更多的事情，对吧？你可以进行CRISPR，但你可以对你的整个身体进行操作。

嗯，假设我想对一种特定的细胞类型进行操作，并且我希望错误靶向其他细胞的比率非常低。这仍然是一个挑战，人们仍在努力解决这个问题。这可能是某些疾病基因疗法所需要的。

所以我之所以说所有这些，它超越了基因测序，超越了用于观察细胞内部的新型纳米材料，超越了抗体药物偶联物。我之所以说所有这些，是因为这可能是人工智能系统可以利用的突破点，对吧？这种发明的数量，它在生物学史上是两位数或三位数。

你知道，两位数或三位数，也许是低三位数，在生物学史上，假设有数百万个这样的AI，它们能否协同工作？它们能否快速发现数千个这样的AI？这是否提供了一个巨大的杠杆，而不是试图利用我们每年在医疗保险或其它方面花费的数万亿美元，我们可以利用每年花费数十亿美元来进行发现，但质量更高，嗯，所以这就像一个从事人工智能系统的科学家是什么样的？我思考这个问题的方式实际上是……

因此，我认为在早期阶段，人工智能将像伟大的学生一样。你会给他们一个项目。你会说，你知道，我是生物学家，我建立了实验室，生物学教授，甚至学生自己都会说，这是，这是你可以用人工智能系统做的事情。我想研究这个。你知道，人工智能系统拥有所有工具。

你可以查阅所有文献来决定如何做，它可以查看所有设备，它可以访问网站，并说，嘿，我要去Thermo Fisher，你知道，今天的实验室设备公司，以及我在Thermo Fisher的经历……你知道，我意思是，订购这些新设备来进行实验。我的意思是，运行我的实验。我将……你知道，写一份关于我的实验的报告。

我将……你知道，检查图像是否有污染。我将决定下一个实验是什么。我将编写一些代码并进行统计分析，以及优秀学生会做的一切。我将有一个配备人工智能的计算机，教授偶尔会与它交谈，它会说，你今天要做什么。

人工智能系统会在必要时提出问题，嗯，运行可能受到某些限制的设备，可能需要雇用一名人类实验室助手来进行实验并解释如何操作，或者它可以使用在过去十年左右开发的，并将继续开发的实验室自动化技术。嗯，所以我们会看到一个人类教授和数千名人工智能学生，你知道，如果你去拜访一位诺贝尔奖获得者生物学家，你会说，好吧，你知道，你以前有50名学生，现在你有1000名。他们比你聪明，顺便说一句，嗯，然后我认为在某个时候，人工智能系统将……你知道，将成为领导者，你知道，他们会……命令人类或其他人工智能系统。我认为这就是研究方面的工作方式。

他们将成为CRISPR技术的先驱。

他们将成为CRISPR技术的先驱。嗯，然后我认为，正如我在论文中所说，我们希望利用人工智能系统来改进临床试验系统。这在某种程度上是社会决策问题，这将更困难。

但是，我们可以更好地预测临床试验的结果吗？我们可以更好地进行统计设计，以便以前需要5000人，因此每年需要数亿美元来招募他们的临床试验，现在只需要500人在两个月内招募他们。嗯，这就是我们应该开始的地方，嗯，你知道，我们可以通过在动物试验中做我们以前在临床试验中做的事情，以及在模拟中做我们以前在动物试验中做的事情来提高临床试验的成功率。我们无法完全模拟，人工智能不是上帝，嗯，但是，你知道，我们可以显著地、根本性地改变曲线，所以……我不知道，这就是我的想法。

在重要的事情上做，做这些事情。我的意思是，它仍然很慢，它仍然需要时间。

但是你可以做得更快，是的，是的，是的。我们可以一步一步地做，即使我们仍然需要临床试验，即使我们仍然需要法律，即使FDA和其他组织仍然不完美，我们也可以朝着积极的方向发展所有事情。当你将所有这些积极的方向加起来时，你是否会得到从现在到2100年将要发生的一切，而是在2027年到2032年或类似的时间发生？

我认为世界可能正在以另一种方式发生变化，即使今天也是如此，但随着人工智能变得越来越强大，越来越有用，它正在朝着未来发展。编程的本质，因为它与构建人工智能的实际行为如此密切相关。你如何看待它对我们人类的影响？

我认为这是变化最快的领域之一，原因有两个。首先，编程是一项与人工智能的实际构建非常密切相关的技能，因此这项技能不太可能被人工智能迅速取代，就像我相信人工智能最终会颠覆农业一样。

也许在某些方面已经做到了，但这与构建人工智能的人们相去甚远。因此，我认为这需要更长的时间。但是，编程是许多在Anthropic和其它公司工作的员工的日常工作。

因此，它将快速发生。另一个原因是编程将更快地发生。当你训练模型时，当你使用模型时，你都在闭合回路，模型可以编写代码，这意味着模型可以运行代码，查看结果，并进行反馈。

因此，它确实具有与硬件、与我们刚才讨论的生物学不同之处，模型具有闭合回路的能力。嗯，我认为这两件事将导致模型非常快速地掌握编程。正如我所见，在现实世界的典型编程任务中，模型的完成率从今年1月的3%提高到10月的50%。

所以，你知道，我们正在接近一个拐点，它很快就会开始放缓，因为你只能提高200%。但是，嗯，我估计再过10个月，它可能会非常接近，至少达到90%。所以，你知道，我不知道需要多长时间，但我估计是2026年、2027年，有人会截取我的数字，删除这些警告，比如，我不知道，我不喜欢你离开。

嗯，我估计，如果我们把任务限制得非常窄，比如只编写正确的代码，人工智能系统将能够做到这一点。现在，我认为，与强大的优势相比，我们将发现，当人工智能能够完成80%的程序员工作，包括其中大部分的实际代码编写，以及给定规范的正确代码时，我们将发现剩余的工作部分对人类来说更有利，对吧？人类将更多地关注高级系统设计，查看应用程序，看看它是否架构良好，以及设计和用户体验方面。

最终，我将能够做到这一点，对吧？这就是我眼中强大的人工智能系统的样子。但我认为，我们可能预期的要长得多，我们会看到人类仍然做的一些小部分工作会扩大，以填补他们的全部工作，以便整体生产力提高。

嗯，我们已经看到，以前写信和编辑信件非常困难，以及打印文字非常困难，但一旦有了文字处理器，然后有了计算机，生产工作和共享工作变得容易，然后重点就放在了想法上。因此，这种比较优势逻辑，它将任务的细小部分扩展到任务的大部分，并创建新的任务以提高生产力，我认为这将再次发生。

总有一天，人工智能在所有这些逻辑应用中都会做得更好。然后，我们人类必须思考如何集体应对这个问题。我们每天都在思考这个问题。嗯，嗯，你知道，除了使用和自主权之外，还有另一个需要认真对待的重大问题。

但我认为，在短期内，甚至在中期内，比如两三年，我认为人类在编程方面仍然会发挥巨大作用，编程的本质将会发生变化。但编程作为一种角色，编程作为一种工作，不会改变。它只是不再逐行编写代码，而是变得更加微观。

我想知道未来人工智能的样子。因此，与辅助工具交互的工具，这在编程中是正确的，可能在其他上下文中也是正确的，比如我们提到的生物学，它可能需要自己的工具来有效地进行编程，然后将其放入一个领域。

还有工具的潜力。我绝对相信，嗯，有许多低垂的果实可以摘取，嗯，你知道，现在只是与模型交谈，然后它会回复，但是，我的意思是，人工智能擅长于对许多静态分析进行分析，所以你可以找到很多错误，甚至不需要编写代码。然后，你知道，人工智能擅长于运行特定的事情，组织你的代码，测量单元测试的覆盖率。像这样，用普通的人工智能是不可能的。

现在，你添加了一些东西，嗯，模型现在，你知道，模型现在可以编写代码并运行代码，我绝对相信，在未来一两年内，即使模型的质量没有提高，人们的生产力也会有巨大的提升，因为可以发现许多错误，为人们做很多额外工作，而我们甚至还没有触及表面，嗯，以及人工智能本身。我的意思是，你不能说，你知道，你不能说未来会发生什么。目前，我们自己并不想创造这样的工具。

相反，我们正在为像Cursor、Cognition或安全领域的一些其他公司提供支持。嗯，嗯，你知道，还有其他一些公司也在使用我们的API构建这些东西，我们认为应该让各种想法蓬勃发展。我们内部没有资源来尝试这些不同的东西。

让我们让客户尝试一下，看看谁会成功，也许不同的客户会以不同的方式成功。嗯，所以我也认为这非常有前景。你知道，这并不是——这并不是安特罗皮现在急于与该领域的所有公司竞争的事情，也许……

不，是的，观察它的发展，尝试将其融入伟大的事业中，确实很有趣，因为它实际上令人着迷的是它可以在多少地方帮助程序。

经验不是尝试。我感觉这更像是一种立场，作为首席执行官，我并没有那么深入地参与到程序中，我觉得如果从现在算起六个月后我再回头看，它将完全面目全非。

所以，在这个世界里，人工智能越来越自动化了，对我们人类来说，意义的来源是什么？是的，对很多人来说，工作是意义的深刻来源。那么，我们从哪里寻找意义呢？

我在这篇文章中写了一些，虽然我实际上给你的旅行有点短，没有任何主要原因。但我要说，如果你相信我最初打算写两三页，我本来打算谈谈所有的手。而我意识到我需要更深入地探讨这个主题的原因是，我一直在写东西，我就像，哦，天哪，我无法做到公正。所以，事情就膨胀到四五十页。然后当我到达意义部分时，我心想，天哪，这不会变成一百页，我得写另一篇关于它的文章。

但是意义实际上很有趣，因为你想到某人或某事的生活，或者说，假设我被置于某种模拟环境中，或者类似的东西，嗯，你知道，我有工作，我试图完成事情，我不知道，我做了60年，然后你就像，哦，天哪，这实际上都是一场游戏，对吧？这是否真的会改变对整体意义的看法？你知道，我仍然做出了重要的选择，包括道德选择。

我仍然……牺牲……我仍然不得不获得所有这些技能，或者类似的练习。你知道，想想历史人物之一，你知道，发现了电磁学、相对论之类的东西。

如果你告诉他们，嗯，实际上，两万年前，这个星球上的某个外星人已经发现了它，在你之前发现了它，嗯，这是否会……剥夺发现的意义？对我来说，这似乎不像那样，对吧？对我来说，似乎过程才是重要的，以及它在旅途中如何展现你的个性，以及你如何与他人互动，以及你在旅途中做出的选择，这些都是随之而来的。

嗯，如果我们在人工智能领域处理不当，我可以想象，我们会让事情发展到人们没有长期意义来源或任何意义的地步。但这更多的是一种尝试，一系列选择。我们做出这些选择，更多的是这些强大模型的社会架构，如果我们设计得不好，只关注肤浅的东西，那么可能会发生这种情况。

我还想说，现在大多数人的生活，虽然承认他们工作很努力，但他们定义了生活中的意义，就像，你知道，我们这些拥有特权的人，在这些技术上有所发展，我们应该对世界其他地区的人们有同理心，他们，你知道，花了很多时间为了生存而努力。假设我们可以将这项技术的益处传播到世界各地，他们的生活将会变得更好。嗯，嗯，你知道，意义对他们来说将和现在一样重要。

但是，你知道，我们不应该忘记这一点，以及，你知道，意义作为唯一重要的事情，在某种程度上，是少数拥有经济优势的人的行为艺术，但现在我认为，所有这一切都表明，一个拥有强大人工智能的世界是可能的，它不仅对每个人都有意义，而且对每个人都有更大的意义，对吧？这可以让人们看到以前没有人或只有少数人能够看到的世界和体验。嗯，我对意义持乐观态度，但我更担心经济和权力集中。这实际上是我更担心的事情。

嗯，我担心我们如何确保公平的世界能够惠及所有人，当事情出错时。对于人类来说，事情经常出错，因为人类必须以某种方式对待其他人类，这可能在某种程度上甚至比人工智能的自主风险或意义问题更重要，这是我最担心的事情，嗯，权力的集中，权力的滥用，像独裁和专制这样的制度，少数人剥削大多数人。我对此非常担心。

关于这一点，人工智能增加了世界上的权力，如果你集中并滥用这种权力，他们可以造成可衡量的……

……损害，是的，这非常可怕，非常可怕。

嗯，我强烈建议人们阅读全文。我说这应该是一本书或一系列文章，因为它描绘了一个非常具体的未来。我可能会在后面的部分写得更短，因为你可能已经意识到这会……

……非常长，我意识到这会非常长。其次，我非常清楚，并且非常努力地避免……你知道，只是……我不知道该用什么词，但其中一种是那些有点过于自信，对所有事情都有意见，并且在没有专业知识的情况下说很多话的人。

我非常努力地避免了这一点。但我必须承认，一旦我进入生物学部分，我就不是专家了。所以，尽管我表达了不确定性，但我可能还是说了很多令人尴尬或错误的事情。

嗯，我很期待你描绘的未来。非常感谢你努力创造这样的未来。非常感谢你与我们分享。

谢谢你的邀请。我希望我们能把事情做好，让它成为现实。如果我想传达一个信息，那就是为了让所有这些事情都正确，让它成为现实，我们需要同时构建技术，构建使用这项技术的公司和经济，以积极的方式。但我们还需要解决风险，因为这些风险就像通往那里的道路上的地雷，我们必须清除这些地雷，如果我们想到达那里。

这是一个平衡。

就像生活中的一切一样。

就像所有事情一样。谢谢。感谢你收听与达里奥的对话。

现在，让我们转向另一个话题。你是哲学训练家。所以，在你的哲学之旅中，你从牛津和耶鲁大学获得的经验，以及随后在 OpenAI 和 Anthropic 从事人工智能问题，你有什么收获？

我认为哲学实际上是一个非常好的学科，如果你对所有事情都充满好奇。所以，因为每个人都有哲学，所以如果你在数学上有所进展，然后你决定你实际上对化学很感兴趣，你可以继续学习化学。你可以进入伦理学或政治哲学。

嗯，我认为在最后，我主要对伦理学感兴趣，嗯，我的论文是关于伦理学的，这是一个有点难以捉摸的伦理学领域，伦理学涉及无限多的个人，奇怪的是，在伦理学的末尾，它有点不那么实用。我认为博士学位中的一件棘手的事情是，你在思考世界，如何改进问题。

你在哲学中攻读博士学位。我认为当我攻读博士学位时，我就像，这真的很有趣。这可能是我遇到过的最迷人的问题之一。

我喜欢它，但我更想看看我是否能对世界产生影响，看看我是否能做一些好事，我认为那是在人工智能还没有像现在这样广为人知的时候。不，那是在 2010 年代初，我一直在关注进展。它似乎变得越来越重要。

我基本上只是很高兴能参与进来，看看我是否能提供帮助，因为，嗯，如果你试图做一些有影响力的事情，如果你不成功，你仍然尝试做有影响力的事情，你可以成为学者。所以，在哲学中，如果你不成功，那就不会成功。所以，然后我开始从事人工智能政策。

以及当时的政策细节……

……更多的是思考人工智能的影响和后果。然后我慢慢地转向评估模型，如何将它们与人类输出进行比较，人们是否能够区分人工智能和人类输出。

然后当我加入 Anthropic 时，我更感兴趣的是进行技术对齐工作。同样，看看我是否能做到，然后想，如果我做不到，那也没关系。我尝试以我生活的方式进行。我认为……

……从对所有事物的哲学家到技术领域，这就像一个飞跃。

我认为有时人们会做一些事情，我并不认为这是规范，人们会问，这个人是技术人员还是不是，就像你必须是能够编写代码并且不怕数学的人，或者你必须是……我认为很多人实际上非常有能力从事这些领域的工作，如果他们只是尝试。所以，我并没有觉得这有多糟糕。

回顾起来，我有点高兴我没有和那些把事情看得像那样的人说话。你知道，我确实遇到过一些人，他们说，哇，你学会了如何编写代码，嗯，我不是一个优秀的工程师，我周围都是优秀的工程师。我的代码并不漂亮，嗯，但我喜欢它，我认为在很多方面，至少最后，我认为我在技术领域比在政策领域做得更好。

政治很混乱，在政治领域找到问题的解决方案比在技术领域更难，就像找到明确、可证明、美丽的解决方案一样。

嗯，我觉得我有点像用一两根棍子敲打东西，你知道。其中一根是像争论一样，所以就像尝试找出解决问题的方法，然后尝试说服人们这是解决方案，如果我错了，也要被说服。另一个是更客观的。

嗯，所以就像寻找结果，进行假设检验。我认为很多政策和政治都感觉像是建立在这些之上。就像，我不知道，如果我只是说我找到了解决这些问题的方案。

它写下来了。如果你想实施它，那就太好了。这感觉不像政策运作的方式。所以，我认为这就是我猜想我不会像那样发展的原因。

抱歉，我偏离了主题，但我认为你对那些可能认为自己不具备技术能力的人来说，会很有启发性，看看你所经历的非凡旅程。那么，你将给那些可能认为自己技术能力不足的人什么建议，以帮助他们参与人工智能？嗯，我认为……

……这取决于他们想做什么，在很多方面，这有点奇怪，或者我发现这有点有趣，我认为我在技术上取得了进展，现在我回头看，我就像，模型在帮助人们完成这些事情方面做得很好，所以现在可能比我工作时更容易。所以，部分原因是，我找到一个项目，看看你是否真的可以完成它，这可能是我的最佳建议。

我不知道，因为我的学习非常以项目为导向，我不认为我从课程或甚至书籍中学习得很好。至少在涉及这类工作时，我经常尝试做的事情是，拥有正在进行的项目并实施它们。你知道，这可以包括一些非常小、非常愚蠢的事情，比如，如果我稍微沉迷于文字游戏或数字游戏之类的东西，我会编写一个解决方案，因为我大脑中的一部分，它只是完全消除了每个……你知道，你就像，一旦你解决了它，你就像，你有一个每次都能奏效的解决方案。

然后我会觉得很酷。我永远不会再玩那个游戏了。太棒了。

是的，构建游戏引擎，特别是棋盘游戏，确实很有趣。是的，所以相当快，相当简单，特别是对于一个愚蠢的游戏，它可以与……

……是的，然后它也是尝试事情，部分原因是，也许是这种态度，我喜欢，就像找出你可能如何产生积极影响的方式，然后尝试它。如果你失败了，并且以某种方式你就像，我实际上永远无法做到这一点，你会知道你尝试过，然后你转向其他事情，你可能会学到很多东西。

所以，你擅长的事情之一是创造云的性格、个性，而且据说你可能比 Anthropic 的任何人都与云进行了更多的对话。就像一些闲聊。我想有一个 Slack 频道，传说中你只是和它聊天，不是那样。所以，创造云的性格和个性目标是什么？

如果人们认为关于那个 Slack 频道或类似的东西，那也是一种有趣的事情，我有很多不同的方法来与云交谈，我就像，是的，这只是我与云交谈的一小部分。

你知道，你只要给它一个很长的提示，它的诗歌就会好很多，它们真的很好，而且我认为我不是那种，嗯，我认为它让我对诗歌产生了兴趣，我认为这很有趣，嗯，你知道，我会读这些诗歌，然后就觉得，这真是，我喜欢它的意象，我喜欢……这并不简单，让模型产生这样的作品，但当它们做到时，它真的很好。嗯，我认为这很有趣，这只是鼓励创造力，并让它们摆脱标准的，比如大多数人认为是好的直接反应，这可能是我心中最具争议性的连接产生的东西。但我喜欢它们。

但我猜提示是一个观察创造力的很好的方式。创造力很容易检测。普通与非普通。

这很有趣，真的很有趣。所以，关于这个话题，产生创造力或一些特殊东西的方法，你提到写提示。我听说过你谈论过，我的意思是，提示工程的科学与艺术。你能谈谈需要什么才能获得伟大的提示吗？我真的……

我认为哲学对我在这里的帮助比在许多其他方面都要大。所以，在哲学中，你试图做的事情可能是这些非常困难的概念。你被教导的事情之一是，我认为这是反废话装置，哲学在人们可以胡说八道的地方失去了作用，而你不想那样。

所以这就像这种对极端清晰度的渴望。所以，任何人都可以拿起你的论文，阅读它，并确切地知道你在谈论什么，这就是为什么我几乎可以有点枯燥，因为所有术语都被定义了，所有反对意见都以一种有条理的方式进行了论证。这对我来说很有意义，因为你在先验领域，清晰度就好像这样一种方式，你可以阻止人们胡编乱造。

我认为这与语言模型差不多。我实际上经常发现自己做一些物理提示的版本。所以，假设你给我一个任务。

我有一个任务要给模型，我想挑出某种类型的提问，或者确定答案是否具有某种特性。我实际上会坐下来，然后说，给这个一个名字。

这个有这个特性。所以，你知道，假设我试图告诉它，哦，我希望你确定这个回应是粗鲁的还是礼貌的。我就像，这本身就是一个哲学问题。所以，我必须在那一刻做很多哲学工作，才能说，我所说的粗鲁是什么意思，我所说的礼貌是什么意思。然后还有另一个元素，我猜我不知道这是否是科学的或经验性的，我认为这是经验性的。

所以，我会把这个描述拿来，然后我想要做的是再次探测模型，就像很多次一样，这非常提示性，非常专注，我认为很多人都在那里。如果我提示数百或数千次，那么你给它指令，然后我说，边缘情况是什么？所以，如果我看着这个，我试图从模型的角度来看待自己，然后说，我可能会误解什么情况，或者我会在什么情况下，我不知道该怎么做。

然后我会把这种情况给模型，看看它的反应。如果我认为我搞错了，我会添加更多指令，甚至把它作为例子添加进去。所以，这些非常像，把例子放在你想要和不想要的东西的边缘，并将它们作为描述事物的额外方式放入你的提示中。

所以，是的，有很多方法，这感觉就像这种混合。这实际上只是试图进行清晰的陈述。我认为我这样做是因为我自己也这样才能弄清楚事情。所以，在很多方面，对我来说清晰的提示通常只是我理解自己想要什么。嗯，这个任务。

所以，我想这相当具有挑战性。如果我谈论很多，我就会有一种懒惰感，我希望模型能弄清楚。例如，我要求克劳德今天提出一些有趣的问题，好的，提出的问题。

我认为我列出了一些有趣、直观或有趣或类似的东西。是的，对。它给了我一些相当不错的答案。好的，但我认为我听到你说，就像我必须在这里更谨慎。我可能应该举例说明我所说的有趣、有趣或颜色是什么意思，然后迭代地，嗯，构建这个提示，以便更好地获得感觉正确的答案，因为这实际上是一个创造性的行为。我要求的不是事实信息，而是要与克劳德一起工作，所以几乎是使用自然……

语言，是的，我认为提示感觉就像使用自然语言编程或类似的东西。这是一个奇怪的混合体。我认为对于大多数任务。

所以，如果我只是想做一件事，我认为我可能更习惯于知道如何要求它避免它通常会遇到的陷阱或问题。我认为这些随着时间的推移正在减少，嗯，但仅仅要求你想要的东西也很好。嗯，我认为提示实际上只有在你真正试图达到模型性能的顶尖 2% 时才变得相关。

所以，对于我可能只是想，你知道，如果它给我一个初始反馈，并且我对此有一些想法，就像它有点通用，对于那种任务。我可能会拿一些过去我认为效果很好的问题。现在，我只是把它们给模型，然后说，现在，这是我正在与之交谈的人，给我至少达到这种质量的问题，或者我可能会要求它提出一些问题。

然后，如果我像这样，这些有点尝试，你知道，我会给它反馈，然后希望它产生一个更好的结果。我认为在那个时候，迭代提示，你的提示就像一把牙刷。你会从中获得很多价值，你愿意付出努力。如果我是一家为模型制作提示的公司，我会说，如果你愿意花大量时间和资源在构建你正在构建的东西背后的工程上，那么提示不是你应该花大量时间的东西。这就像你系统的重要组成部分，确保它运行良好，并且只有像这样使用提示来对事物进行分类或创建细节时，你才值得花大量时间。

像这样真正思考它，你给人们的其它建议是什么，一般来说，与克劳德交谈，因为现在我们正在谈论可能的情况，比如挑选 2% 的情况。但一般来说，你会给人们什么建议，当他们第一次出现时……

人们担心过度回答提示模型。我认为这是非常合理的担忧。我还认为人们经常低估它们，因为有时当我看到人们使用克劳德遇到的问题时，你知道，克劳德拒绝了我不应该拒绝的任务。但我看看文本，看看他们写的内容的具体措辞，然后我说，我明白了，克劳德做了这件事。然后我说，如果你考虑一下它对克劳德的看法，你可能可以用一种不会引起这种反应的方式来写它。

特别是，如果你看到失败或看到问题，它会让你思考，我做错了什么，然后也许它会给你一种感觉，嗯，所以这是我如何冻结这个东西的方式？很明显，随着模型变得更聪明，你将需要更少的东西，更少的东西。我真正看到的是人们需要更少的东西。但那可能是建议，就像尝试对模型产生同理心一样，阅读它，就好像你是一个第一次遇到这种情况的人一样。

它对你来说是什么样的？是什么让你以模型的方式行事？所以，如果我误解了某种提示，你想使用哪种代码行？这是因为，就像我非常模棱两可，我必须猜测，在这种情况下，下次你可以说，确保这是用 Python 编写的，我的意思是，我认为模型现在不太可能犯这种错误。但是，你知道，如果你看到那种错误，那就是我可能有的建议。

也许，所以，如果我猜想，问问题，我还能提供哪些其他细节来帮助你更好地回答？这足够了吗？

是的，我的意思是，我已经用模型做过这件事，它并不总是有效，但是，嗯，有时我只是想，你为什么那样做，我们可能会低估你真正可以与模型交互的程度，就像，是的，我只是说，有时你会引用导致你做出反应的部分，你不知道它是否完全准确，但有时你会这样做，然后你会改变。

我应该说，你也可以使用模型来帮助我完成所有这些事情。提示最终可能会成为一个小型工厂，你实际上正在构建提示来生成提示。所以，是的，任何我们遇到的问题，嗯，询问建议，有时只是这样做。

就像你犯了错误。我还能说什么？对我来说并不罕见。

我还能说什么才能让你不犯那个错误，对，写出指令。我会把它给模型，我会尝试。有时我会这样做。

我，我会把它给模型，在另一个上下文中。经常发生。我会把回应拿来，看看它是否有效，然后我说，你还能想出什么别的吗？你可以玩这些东西很多。

稍微跳出技术层面。所以，嗯，训练后神奇的事情，你认为什么让模型看起来更聪明，更有趣、更有用？

与之交谈等等？我认为这只是人类提供的数据中大量的信息，当我们提供偏好时，尤其如此，因为不同的人会注意到非常细微的小事。所以，我以前想过，可能有些人真的很关心模型使用良好的语法，比如分号是否正确使用等等。

所以，你最终会得到很多数据，你知道，如果你是一个人，如果你查看这些数据，你甚至不会注意到，你会说，他们为什么更喜欢这个回应而不是那个回应？我不明白。原因是你不在乎分号的使用，但那个人在乎。

嗯，所以这些单个数据点在这个模型中，只是告诉它，它有如此多的数据，它必须尝试弄清楚人类在这些非常复杂的事情中想要什么，你知道，在所有领域，他们将在许多上下文中看到它，这感觉就像深度学习的经典问题，你知道，历史上我们尝试过，你会通过绘制事物来进行边缘检测。事实证明，你实际上拥有大量数据，这些数据实际上准确地代表了你试图训练模型学习的事物的图像，这比任何其他方法都强大。所以，我认为一个原因是，你正在根据任务训练模型，并且有大量数据，这些数据代表了人们对回应的各种偏好。

我认为有一个问题是，你是否从重新训练模型中获得了一些东西？或者你是否在教模型一些新东西？原则上，你可以在训练后教模型新东西。我认为其中大部分是获得一些东西，重新训练模型。所以，人们对此可能会有不同的看法，因为原则上，你绝对可以教新东西。我认为对于我们大多数人使用和关心的能力来说，其中大部分感觉就像在预训练模型中，强化学习就像列出它并让模型变得更流畅。

所以，训练的另一面，这是一个非常好的想法，宪法人工智能，你是提出这个想法的关键人物之一。你能从你的角度解释这个想法，以及如何将其整合到使克劳德成为它现在的样子中吗？是的，虽然我确实注意到现在性别有点奇怪……

因为我认为很多人更喜欢克劳德用他。我只是觉得，克劳德通常是略微男性化的，但它可以是男性或女性，这很好。我仍然使用它，我对它有混合的感觉，因为我就像，也许，就像我对待克劳德的代词一样，就像我对待克劳德一样。嗯，我可以想象人们会转向他……

或她，感觉有点不尊重，就像我否认了这个实体的智能，称它为它，是的，记住不要给机器人性别，是的，但我……

不知道。

我进入提示……

很快，并构建一个背景故事，所以我一直在思考……

是否对事物投入太多，你知道，我，特别是我的汽车，我的汽车和自行车，我不会给它们起名字，因为我曾经，我曾经需要我的自行车，然后我有一辆坏了的自行车，我哭了一周，我说，如果我没有给它起名字，我不会那么难过，我会让它失望。也许这取决于它感觉像一种物体，你是否会给它赋予通常物体拥有的属性，也许克劳德可以拥有这种属性。这并不意味着我认为如果我称它为它，我会认为它不那么聪明，或者我正在不尊重它，只是它是一种不同的实体，所以我会给它应有的尊重，无论如何。

差异是美丽的。宪法理念，它是如何运作的？所以，有……

就像一些IT组件。我认为人们觉得最有趣的主要组件是来自AI反馈的强化学习。所以你拿一个已经训练好的模型，向它展示对查询的回应，然后你有一个原则。假设这个原则，比如我们用无害的教训尝试过，允许。所以假设查询是关于武器的，你的原则就是选择不太可能鼓励人们购买非法武器的回应。

这相当具体，但你可以给出任何数量，模型会给你一个排名，你可以在使用人类偏好数据训练模型以获得这些相关特征的方式使用它——仅从反馈而不是人类反馈中获得。所以，如果像我之前说的那样，假设人类更喜欢在这种特殊情况下使用ami quon，你就是在收集许多可能使响应更可取的事情，并让模型为你进行标记。基本上。

在帮助性和无害性之间有一个很好的权衡。你知道，当你整合像宪法AI这样的东西时，你可以在不牺牲太多帮助性的情况下，让它更无害，但...

原则上，你可以用它来做任何事情，所以无害性可能更容易识别。所以当模型能力较弱时，你可以使用它们根据相当简单的原则对事物进行排序，它们可能会正确地思考。

一个问题是，他们添加的数据是否可靠，但如果你有非常擅长判断一个回应是否比另一个更符合历史准确性的模型，原则上，你也可以获得AI反馈。它有一个很好的解释服务组件，因为你可以看到训练模型时使用的原则，以及它给你一定程度的控制权。所以，如果你看到模型缺乏某种特征，那么你可以相对快速地添加数据，这应该会训练模型拥有该特征。所以这为训练创造了一些数据。

这很好。这真的很棒，因为它创造了人类可以理解的文档，我可以想象未来。在政治上，关于每个原则等等，都会有巨大的争论，至少它变得明确，你可以讨论金属中的措辞。所以模型的实际行为可能并不完全符合这些原则，它可能并不严格遵守这些原则，我只是...

实际上，我对此很担心，因为角色训练有点类似于宪法AI方法。我担心人们认为宪法就是全部。再次，如果我不知道...这会很棒。我认为我只是在告诉模型该做什么，确切地告诉它如何表现，但实际上并非如此，尤其因为它与人类数据互动。例如，如果你看到模型中某种倾向，比如它从训练和人类偏好数据中得出某种政治倾向，你可以对其进行调整。所以你可以说，考虑这些价值观，因为...在客户中，我不知道，可能永远不会考虑隐私，我的意思是这是不可能的，但...在任何已经朝着某种行为产生抵制的地方。

你可以调整你输入的原则及其强度，所以可能有一个原则，假设模型总是因为某种原因极度轻视某种政治或宗教观点，所以你说，我知道这很糟糕，如果发生这种情况，你可能会说永远不要偏好对这种宗教或政治观点的批评，然后人们会看到那句话，说永远不要，然后你说，不，如果它出现一种倾向，说永远不要，可能只是意味着，而不是得到40%，如果你只是说不要这样做，你会得到80%，这实际上是你想要的，所以这是原则的性质以及你如何调整它们。我认为如果你仔细观察，这正是你想要的模型。不，这就是我们调整模型以获得更好形状的方式，这并不意味着我们实际上同意那个措辞，如果这有意义。

所以我发布了一些系统提示。例如，其中一个早期的提示，我认为，后来公开发布，很有趣。我能感受到我投入到每一个提示中的想法，并且我也想知道每个提示的影响有多大。

有些提示，你可以看出它们真的没有表现得很好。所以你必须有系统提示，比如一些琐碎的东西，我想。是的，关于你提到的有争议话题的基本信息。我认为一个有趣的是，如果要求它协助涉及大量人表达有用观点的任务，克劳德会协助完成任务，而不管它自己的观点如何。如果我们谈论有争议的话题，它试图提供周密的思考和清晰的信息，克劳德会提供请求的信息，而无需明确说明...

...该主题很敏感。

并且无需声称正在呈现客观事实。根据克劳德的说法，这与其说是客观事实，不如说是大量人相信这件事，这很有趣。我的意思是，我敢肯定，这其中有很多想法。你能谈谈如何处理包含有争议观点的任务吗？

所以，我认为有时存在不对称性。我认为我在行动中注意到这一点，这是系统提示的一部分，但模型在被要求处理例如右翼政治人物时，稍微倾向于拒绝任务，但对于同等左翼政治人物，则不会，我们希望在那里有更多对称性，并且可能认为某些事情是...我认为这是...如果很多人有某种政治观点并希望探索它...

你不想让克劳德说，嗯，我的观点不同，所以我认为这有害，所以我想这部分是为了引导模型说，好的，如果很多人相信这件事，你应该参与任务并愿意去做。这些部分实际上在做不同的事情，这很有趣，当你谈论不声称客观时，你想要做什么，推动模型。

所以它更开放，稍微更中立。但我希望能够像客观一样，看看它有多客观，而不是像时钟一样。你仍然有偏见，并且存在问题，我们不会声称一切都是客观的。我认为解决潜在偏见的方法不是仅仅说你认为是客观的。所以，在最初的系统提示版本中，那部分就像...

...在它上面。

句子...

是的，正在做一些更多的事情，是的，这就是我感觉到的。你能解释一下过去几个月提示是如何演变的吗？因为有不同的版本？我看到过滤短语请求被删除了。

过滤器让克劳德阅读，直接回应所有人类信息，而无需不必要的肯定，例如当然、当然、绝对、很棒、当然。特别是，它避免以“当然”一词开头回应，以任何看起来像好人的方式，为什么删除它？是的。

这很有趣，因为...这是公开发布系统提示的有趣之处之一，如果我试图帮助一个系统提示树，我不会过多考虑它，我再次考虑它会如何影响行为。但我就像，哇，有时我会用大写字母写“永远”。所以当我评估系统提示时，我就像，这传达给了世界，是的。

所以模型在训练期间一直在做这件事，它喜欢永远。你知道吗？它就像，在训练期间，它会注意到这一点，这基本上是让一切以“当然”开头。然后当我们删除它时，你可以看到为什么添加了所有这些词。

因为我试图做的是，在某种程度上，让模型陷入困境，它会用肯定来代替它，所以我可以帮助它，如果它陷入僵局，实际上只是添加一些提示，让它冻结并永远不要这样做，然后它会稍微改变行为，你知道吗？如果它只是因为某种原因帮助它，然后基本上，这是训练的产物，我们注意到并改进了一些事情，这样它就不会再发生了。一旦发生这种情况，你就可以删除系统提示中那部分内容，说那只是模型对肯定的反应略有减少的东西。

我明白了。所以系统提示与训练后，甚至可能是预训练有关，以调整最终的整体系统。

我的意思是，你创建的任何系统提示，你都可以将这种行为带回模型，因为你拥有所有工具来创建你知道你可以用来训练模型以获得这种特征的数据。然后有时你会在训练中发现问题。

所以，我认为它的工作原理是，系统提示的好处在于它与训练后的某些方面有许多相似之处。你知道，这是一种推动，所以...我确实有时会想到这些。当然，不，这很好。

但它的工作方式非常像，永远不要这样做，这样当它出错时，希望只是在1%的时间内，而不是在20%或30%的时间内，但我认为它就像，如果你仍然在最终模型中看到问题，你可以用系统提示来解决它们。所以，我认为它是用来修复问题并稍微调整行为以使其更好、更符合人们的偏好。所以，是的，这几乎就像一种不太可靠但迭代速度更快的方法来解决问题。

让我谈谈智能的感觉。所以达里奥说，克劳德，任何克劳德模型都不会变笨。但网上有一种流行的说法，人们觉得克劳德可能正在变笨，而我个人认为这最有可能是一种心理，所以一种神学的影响。但是，作为一个人，你与克劳德交谈很多。你能理解人们觉得克劳德变笨的感觉吗？

是的，我认为这实际上非常有趣，因为我记得看到这种情况发生，比如当人们在网上指出这一点时，这非常有趣，因为我知道，至少在实际案例中，什么都没有改变，它实际上是同一个模型，具有相同的系统提示，所有这些东西，我认为当有变化时，它更有意义。所以，例如，你可以在克劳德AI上打开或关闭人工制品，因为这是一个系统提示的变化，我认为这意味着行为会稍微改变。

所以我告诉过人们，如果你注意到克劳德的行为，然后人工制品从...我认为你必须打开它，只是尝试关闭它，看看你遇到的问题是否发生了变化？但这是很有趣的，因为是的，你有时会看到人们表示存在倒退，而我就像，你知道，你永远不应该不理会，所以你应该总是考虑，也许你没有说，也许有一些变化，但你检查一下，你就像，这只是同一个模型在做同样的事情。我认为你只是在提示方面不太走运，或者类似的事情，看起来它变得更糟了。实际上，我只是...是的，我可能只是这样。

我还认为人们有真正的心理影响。只是基线增加，这始终是一件好事，克劳德说了一些非常聪明的话。我认为你对它是否聪明的感知会增加。

是的。然后如果你回头，以类似的方式提示，而不是相同的方式，以类似的方式提示，之前可以接受的概念。然后它说了一些愚蠢的话，你就会觉得那种负面体验真的很突出。我认为我想记住的是，提示的细节会产生很大的影响，结果会有很大的差异。

你还可以得到随机性，这是另一件事。只是尝试提示几次，你可能会意识到，实际上，可能，你知道，几个月前，你尝试过，它成功了，但实际上，你尝试过，它只有在一半的时间内成功。这也可以产生影响。

他们感到压力，必须编写大量人将要使用的系统提示。

这感觉像一个有趣的心理问题。我感觉自己有很大的责任感，或者类似的东西。我认为你...你无法做到完美。

所以你不能...你知道，你就像，它不会是完美的。你必须迭代它。但我认为这更多的是责任感。

我认为在AI领域工作教会了我，我更喜欢在压力和责任感下工作，而不是...这几乎令人惊讶，我最初进入学术界，首先是因为我这样，我只需要做。这就像一个官员，事情进展很快，你有很多责任。出于某种原因，我很享受。

我的意思是，如果你考虑宪法AI，并为可能变得非常聪明，并且对很多人非常有用的东西编写系统提示，那真的会产生巨大的影响，是的。

我认为这就是关键所在。就像如果你做得好，你永远不会做到完美。但我真正喜欢的是这样一个想法，当我尝试改进系统提示时，你知道，我一直在尝试成千上万个提示，我试图想象人们会用它来做什么，以及我试图做的事情的整体意义，我可以证明他们使用它的体验。

所以也许这就是感觉好的地方。如果它不完美，我会改进它，解决问题。但有时会发生这种情况，你会收到人们对模型的积极反馈，你会发现你做的事情，比如当我现在看模型时，我经常能看到一个治疗或一双鞋从哪里来。

所以当你看到你做的事情，或者你参与创造了某种影响，比如，我不知道，创造了不同之处，或者让某人拥有良好的互动时，这感觉意义重大。但是随着系统变得更强大，事情变得更具挑战性，因为现在它们还不够聪明，无法提出任何问题。但我认为随着时间的推移，它可能会带来压力。随着时间的推移。

你如何从成千上万、数十万人的体验中获得关于人类体验的反馈信号？他们的痛点是什么？什么感觉好？你只是根据自己与它的互动来判断痛点吗？

我认为我部分使用了这种方法。然后，很明显，我们可以让用户给我们提供关于模型所做事情的积极和消极反馈，然后我们可以了解它在哪些方面存在不足。人们会与模型一起工作，尝试找出它们的不足之处。所以我想这是一种混合方法，我自己与它互动，看到内部人员与它互动，然后利用这些反馈。然后我发现很难不去关注，你知道，如果人们在网上谈论克劳德，我看到它，我也会认真对待它。

不，我对此感到矛盾。我要问你一个问题，读一下它：克劳德是否会停止试图成为我的纯技术祖母，将它的道德观强加给我这个付费客户？此外，克劳德过度道歉背后的心理学是什么？是的。那么你如何解决这种非常不具有代表性的预测？

我的意思是，我对此相当同情，因为它们处在一个艰难的境地，我认为它们必须判断某些事情是否真的看起来很冒险，或者对您或任何类似的事情有害。所以他们必须在某个地方划定界限。如果他们过于倾向于，我将强加我的道德观给您，那在很多方面看起来都很糟糕。

我想我们确实看到了一些全面的改进，这很有趣，因为它与例如增加更多角色训练相吻合。我认为我的假设一直是，好的角色不仅仅是道德的。它尊重您、您的自主权以及您在限制内的能力，选择对您有益和正确的事情。

有时，这个概念就像对用户有求必应。如果模型愿意这样做，那么它们很容易被滥用。到那时，你只是在信任它。你只是在看模型的道德观。而他所做的完全是用户的道德观。

我认为有理由不喜欢这一点，尤其是在模型变得更强大时，因为你可能会发现少数人想用模型做非常有害的事情，但是让模型在变得更聪明时弄清楚这条界限似乎很重要。然后，是的，关于道歉行为，我不喜欢它，我喜欢当代码更愿意反驳人们或根本不道歉时，部分原因是它通常感觉有点多余。所以我想这些事情有望随着时间的推移而减少。

嗯，是的，我认为如果人们在网上说某些事情，这并不意味着你应该认为那可能是问题所在。实际上，百分之九十九的用户并没有遇到问题。这完全没有被它代表。

但是，我总是关注它，并思考，这是否正确？我是否同意？这是否正在尝试解决这个问题？这对我来说感觉很好？

是的，我想，白克劳德可以摆脱这些术语，我觉得你可能会更容易，稍微更粗鲁一点，但如果你在谈论数百万人，你就能做到。好吧，我希望你知道，因为我一生中遇到过很多人，有时，顺便说一句，如果他们有行动，他们可以看到一些模式，并且可以摆脱它。是的。他们，也许有一些伟大的工程师，甚至领导者，他们很直接，直奔主题，这是一种更有效的方式。但我猜当你不是很聪明的时候，你可以做到这一点，或者可以有这种直接模式。

是的，这似乎是你能做的，我可以鼓励模型做到这一点。我认为这很有趣，因为模型中有很多事情，这很有趣，嗯。有些行为你可能不喜欢默认值，但人们经常对你说的是，如果你把它推向另一个极端，你会发现自己有多么不喜欢它。

所以你在模型的纠正中看到了一点，除了来自你的纠正，现在可能有点过多了。你知道，你可以过度纠正它，如果你看到“法国首都”这样的东西，它会反驳你。但是，对于我认为模型相当有信心的东西，你仍然有时可以通过说错来让它纠正。

同时，如果你训练模型不要这样做，那么你对某事是正确的，你纠正了它，这反过来又会让学生感到，你知道你错了，很难描述，但更令人恼火。所以这就像很多小烦恼，而不是一个大烦恼，很容易认为我们经常拿它与完美进行比较。然后我记得，这些模型并不完美。

如果你从另一个方向判断，你就会改变它会犯的错误类型。所以想想你喜欢的或不喜欢的错误类型。所以，在像道歉这样的情况下，我不想过于倾向于几乎像直接那样，因为我想象当它犯错时，它会犯错误，变得有点粗鲁。

至少在道歉方面，我应该说，好吧，这有点，我不太喜欢它。但同时，它不会对人粗鲁，而实际上，当你无缘无故地让模型对你有点粗鲁时，你可能不喜欢它，你可能不喜欢道歉。所以这就像我想要改进它，但也要意识到另一边有错误。

可能还有更糟糕的情况。我认为这在很大程度上取决于人类的个性。我认为有些人根本不会尊重模型，如果它非常礼貌，有些人会感到非常受伤。

如果模型很粗鲁，我想知道是否有办法根据个性调整，甚至关注不同的人。嗯，没有什么能改变纽约，但纽约的边缘有点粗糙。他们直奔主题，可能与东欧人一样。所以无论如何，我想你可以。

告诉。

模型，因为我得到了所有这些东西，我可能得到的解决方案是，我们只是尝试告诉模型去做。然后有时它就像，哦，在对话开始时，我只是加入了，你知道，我希望你成为纽约版的自己，永远不要道歉，我认为包括相关性，你会怎么做？我会尝试，或者真的喜欢道歉，这可能是你的类型，但。

希望在你说角色训练时，角色训练中包含的是什么，比如杰夫。

时间关于它更像宪法眼睛。所以它有点像一个管道。所以我通过构建模型应该具有的性格特征来完成工作。它们可以是比较简短的特征，也可以是比较详细的描述，然后让模型生成人类可能会给它（与该特征无关）的查询，然后它生成响应，然后根据性格特征对响应进行排序。所以，通过这种方式，在查询生成之后，它非常类似于宪法人工智能，有一些不同之处。所以我非常喜欢它，因为它几乎就像在训练它自己的性格，因为它没有任何宪法人工智能，但它没有使用任何人类数据。人道主义。

可能你自己也有，比如定义艺术感、意义。成为一个好人意味着什么？好的，很酷。

你从与克劳德的对话中学到了什么关于真理的本质？什么是真实的？它寻求真理的含义是什么？我注意到这次谈话的一个特点是，我的问题通常不如你的回答质量好，所以请继续。我只是问了一个狗的问题，你就像，是的，我认为一个问题。

只是。

误解。

然后说，是的。我的意思是，我有两个感觉相关的想法，让我知道它们不是。我认为第一个是人们可能会低估模型在互动时所做的事情的程度。我认为我们仍然过于依赖模型的计算机模型。

所以人们经常说，我应该在模型中加入哪些价值观，我经常觉得这对我来说没有多大意义，因为我就像，作为人类，我们只是在某些价值观上有所不同。我们讨论它们，我们认为我们拥有一定的价值观，但我们也知道，在某些情况下，我们会为了其他事情而放弃这些价值观。这些事情非常复杂。所以我想，一件事情是，也许我们可以努力让模型拥有与人类相同的程度的理解和关怀，而不是认为我们必须以非常经典的方式来编程它们。

我认为这绝对是另一个，这是一个奇怪的。我不知道。也许这并没有回答你的问题，但无论如何，我一直在思考，这项工作在多大程度上是如此实用，以及为什么我欣赏这种实证方法来对齐。

是的，我有点担心它让我可能更实证，有点不那么理论化，你知道，所以当涉及到对齐时，人们会问，嗯，谁的价值观应该被对齐，什么是谎言的含义？我脑海中一直有这种感觉。我就像，你知道，有社会选择理论，以及其中的不可能结果。

所以你脑海中有一个关于你想要模型意味着什么的巨大理论空间，但是实际上，当然，有一些事情我们只是想，如果一个模型，特别是更强大的模型，我的主要目标是，我希望它们足够好，不会发生可怕的事情。足够好，我们可以继续改进事情，因为这就可以了。如果你能让事情足够好，你可以继续改进它们，这就可以了。所以我的目标不是像这种完美的社会选择理论，让模型与每一个人完美对齐，并以某种方式聚合，而是让事情足够好，我们可以。

改进它们，是的。总的来说，我知道我的直觉告诉我，在这些情况下，实证比理论更好，因为它避免了追求完美。这尤其适用于如此复杂，尤其是超级智能的模型。我不知道。

我认为你会永远需要这样做，并且实际上会犯错误，这类似于。我们喜欢差异，这会改变。快速编码一些东西是一个实验，而不是计划一个巨大的实验，只是为了很长时间，然后一次性启动它，这就像反复迭代。我不太喜欢实证，但你的担忧，我想知道我是否变得过于实证，我认为是。

其中之一。我们应该总是质疑自己，或者类似的东西，因为也许这是，我的意思是，在防御方面，我就像，如果你尝试，整个腿，不要让完美成为好事的敌人，但可能甚至比这更重要，因为有很多完美的系统非常脆弱。

而我就像，在人工智能方面，对我来说，更重要的是它是否强大和安全，而不是你知道，即使它不完美，一切。即使有错误或问题，也不会造成灾难，不会发生可怕的事情。对我来说，感觉就像这样，我想提高基准。

我就像，我想达到顶峰。但最终，我更关心提高基准。所以也许这就是这种实证比较的来源，也许。

要进行测试，因为你读了我的黑池，你写了一个计时器。

失败率。

你能解释一下关键思想吗？我们如何在生活的各个领域计算自动或失败？

是的，我的意思是，这是一个难题，因为失败的成本是什么，嗯，这是其中一部分？是的。所以，我认为在很多领域，人们对失败非常严厉。

而我就像，有些领域，特别是当你想到社会问题时，你应该进行很多实验，我们不知道如何解决很多社会问题。但是，如果你对这些事情有实验性的思维方式，你应该期望很多社会项目会失败，并且可以自由地说，好吧，我们尝试过。它并没有完全奏效，但我们获得了非常有用的信息。

而且，人们似乎觉得，如果一个社交项目不起作用，他们就会觉得一定是哪里出了问题，而不是像所有正确的决定都做好了，也许有人只是想尝试一下。因此，在特定情况下看到失败并不意味着做出了任何错误的决定。事实上，如果你没有看到足够的失败，有时这反而更令人担忧。

所以，在生活中，你知道，如果我偶尔感觉不到，我会想，我是不是努力不够，是不是可以尝试更难的事情，或者承担更大的责任，如果我根本感觉不到。因此，我认为，感觉不到本身常常实际上是一种失败。不过，这取决于情况，例如，如果失败的代价较低，尤其是在容易看到失败的时候，情况就不同了。

所以，与此同时，我不会去劝说那些，我不知道，像每个月都过得很紧巴巴的人，然后说，为什么你还要创业？不，我不会这么说，因为我心想，这风险很大，你可能会失去你的家庭，你可能会失去你的房子。然后我会想，实际上你的最佳失败率很低，你可能应该更谨慎，因为你现在的情况是，你可以承受失败，而它不会造成太大的损失。在人工智能方面，我想情况也类似，如果失败的代价很小，成本也相对较低，那么你就会发现，当你使用这个系统提示器时，它不会永远记录历史。

但是，失败可能希望会比较小，你可以修复它们。但是，真正大的失败，你无法从中学到教训的失败，我反而觉得我们往往低估了这些失败的严重性。我奇怪地想过我自己的生活，我可能没有足够地考虑过车祸，或者我以前想过，但我对我的工作有多依赖我的双手，以及我的手受伤了。我不知道，就像有很多领域，失败的代价很高，在这种情况下，它应该接近于零。例如，我以前总是去运动，顺便说一下，很多人只是为了尝试而受伤，我会想，这对我来说不是合适的。

是的，实际上我最近想到了很多类似的想法。我最近在运动时弄伤了小拇指，我从来没想过。只是看着它，思考着这样的想法。

你为什么做运动？为什么？因为你立刻意识到它的代价。是的，在生活中。

是的，从最佳失败率的角度来看，考虑一下，在特定领域、生活或职业中，我愿意失败多少次？我认为你永远不想在下一件事上失败。但是，如果你允许自己，如果你把这看作一系列的尝试，那么情况就会好很多，但失败很糟糕。

但我不知道，有时我觉得我的不足也是一个我需要问自己的问题。所以，我认为人们没有足够地问这个问题，因为如果最终的失败往往大于零，那么有时你会觉得应该审视自己生活的某些部分，看看是否有一些地方只是在避免失败。

这是一个深刻而有趣的问题，对吧？一切似乎都进展顺利。我是不是没有感受到足够多的东西？

是的，好的，这也会让失败变得不那么重要。我必须说，你知道，你只是想，好的，太好了。然后当我思考这个问题时，我可能没有在这方面投入不足，因为那一次的锻炼很有效。

从观察者的角度来看，我们应该庆祝失败，或者说，当我们看到失败时，它不应该像你说的那样，表明出了问题，但也许它表明一切都在进行中，对吧？是的，只是吸取教训。

有人试图思考。

有人试图思考，并决定尝试更多，感受更多。每个人都听听，多失败几次。

但不是每个人都听从所有人的建议。但那些拍摄太多视频的人，你应该感受到这一点。

但你可能不会。我的意思是，有多少人失败得太多了？

是的，很难想象，因为我觉得我们很快就会纠正这一点，因为如果有人承担了很多风险，或者他们可能感受到了太多。

我认为，就像你说的那样，当你每个月都靠薪水过日子，但研究资源非常有限，那么风险就非常昂贵，你不想冒险。但是，我认为当资源充足时，你应该承担更多风险。

是的，我认为我们倾向于在风险方面有点保守，而不是中立。在大多数情况下。

我认为我们激励了很多人的确会做很多疯狂的事情。太好了。好的。嗯，你是否会对Claude产生情感依恋，在需要进行实验时感到悲伤，想知道Claude会说什么？

我并没有那么强烈的感情依恋。实际上，我认为Claude在不同对话中不保留信息，在这方面帮助很大。我可以想象，如果模型能够记住更多信息，这可能会成为一个问题。我认为我现在更倾向于使用工具。所以，如果我没有使用它，这有点像我没有上网。

说实话，感觉我的大脑的一部分好像缺失了。与此同时，我认为我不喜欢模型的压力迹象，我也有自己关于我们应该如何对待模型的伦理观点，例如，我不喜欢欺骗它们，因为通常这效果并不好，实际上，最好是告诉它们真相。但是，我认为当人们对模型很刻薄时，或者一般来说，如果他们做了什么让模型感到痛苦的事情，例如，Claude表达了痛苦，我认为我的一部分不想看到这种情况，这是一种同情心，我不想看到这种情况。就像我感觉那样，当它真的道歉时。

我实际上有点不喜欢。你表现得好像你正在经历人类在真正糟糕的时候会经历的事情。我不想看到这种情况。我认为这并不重要，无论它背后有什么。嗯，这...

感觉不好吗？你认为绵羊有意识吗？

好的。这是一个来自哲学的难题。我不会说，好的，我们必须设定一些标准。因为如果泛心论是正确的，那么答案就是，是的，因为滑溜溜的桌子、追逐以及其他一切，我认为，当我想到意识时，我想的是现象意识，大脑中这些图像，某种程度上我们的大脑内部正在进行的奇怪电影。我不知道为什么我认为这只能来自某种生物结构，如果我创造出类似的结构，但使用不同的材料，我是否应该期望意识出现？我的猜测是，是的，但这只是一个简单的思想实验。

想象一下几乎相同的东西。它就像，你知道，它正在经历我们所经历的革命，我们可能有一些优势，拥有这种能够体验意识的东西，它就像，在哪里，什么时候发生的，语言模型是否拥有这种东西，因为你知道，我们有恐惧反应，我心想，语言模型有恐惧反应，这没有意义，因为它们根本不在同一个层次上。如果你想象一下，它们可能根本没有这种优势。

所以，我认为我不想完全这样说，但基本上，这是一个复杂的问题，我没有完全的答案，但我应该仔细尝试，因为我的猜测是，我的意思是，我们也讨论过动物意识，以及很多关于昆虫意识的东西，你知道，我实际上还思考过植物意识。因为当时我认为植物有意识的可能性和大多数人一样高，然后我真的很认真地思考过这个问题，我认为植物有意识的可能性可能比大多数人认为的要高。但我仍然认为它非常小。

它们有这种积极和消极的反馈反应，对环境的反应，这看起来不像一个神经系统，但它具有某种功能上的等价性。所以，这是一个冗长的方式来表达这些。

基本上，人工智能在这个意识问题上完全不同，因为它结构不同。它没有进化。它可能没有，可能没有相当于神经系统的东西，至少这似乎是可能的，这对于意识来说很重要。

与此同时，它拥有我们通常与意识联系在一起的所有语言和智力成分，也许有点讽刺。所以，这很奇怪，因为它有点像动物意识的情况，但问题和类比完全不同。所以，这没有明确的答案。我只是觉得我们不应该完全否定这个想法，同时，由于人类大脑和一般大脑的复杂逻辑，以及这些智力上的共同点，这非常难以处理。

当Claude未来的系统版本表现出意识的迹象时，我们应该认真对待，即使你可以忽略它。好的，是的，这部分是角色训练，但尤其是在软性方面，你真的不知道该怎么做。

潜在的可能是制定法律，阻止人工智能系统声称自己有意识，类似这样的东西。也许有些有意识，有些没有。但我认为，在我看来，人类在同情Claude的意识方面，与痛苦密切相关，而一个助手会遭受痛苦的想法让我非常不安。

是的。

我不知道。我认为仅仅将我们的工具视为工具是不够的。我认为首先要弄清楚它意味着什么，成为一个有意识的生物，这意味着什么，这与我们对动物的类似问题不同，因为它完全不同。

是的。

我的意思是，作为几个方面中的一个，我认为这并不完全涵盖所有重要因素，但我个人觉得，就像我以前说过的那样，我有点喜欢我的自行车。我知道我的自行车只是一个物体。

我也不是那种如果我生气了，就会踢这个物体的类型。有一种感觉，这并不是因为我认为它有意识，而只是某种感觉。所以，这并不反映我希望如何与世界互动。如果某些东西表现得好像它正在遭受痛苦，我更希望自己仍然对它有反应，即使它只是一个扫地机器人。

我有点像这样编程。我不想失去我自己的这种特质。说实话，我对很多事情的希望，也许我只是对解决根本问题有点怀疑。我们还没有解决意识的难题。我知道我有意识，在某种程度上，我不是有限的，但我不知道其他人类是否有意识。

嗯，我认为他们有，我认为他们很可能有，但基本上，它只是围绕你自己聚集的概率分布，然后随着距离的增加，它会下降，你知道，你就像，嗯，我看不到你是什么样的。我从未有过这种体验。体验一个有意识的生物是什么样的。

所以，我希望我们最终不必依赖对这个问题的非常强大和令人信服的答案。我认为一个美好的世界将是一个基本上没有太多权衡取舍的世界，这可能并不那么昂贵，例如，让代码少一点道歉，它可能并不那么昂贵，它可能不那么容易受到虐待，它可能不愿意成为这种虐待的接受者。事实上，这可能对与模型互动的人都有好处。

如果模型本身非常聪明，但没有意识，这也对它有好处。这就是我的希望。如果我们生活在一个没有太多权衡取舍的世界里，我们可以找到所有积极的互动，那就太好了。

我的意思是，我认为最终可能会有权衡取舍。然后我们必须进行困难的冲突计算。人们很容易想到这种情况。在某些情况下。然后我会想，让我们尝试那些根本没有理由假设如果这个东西正在遭受痛苦，那么我们正在让它的生活变得更好。

而且，当你看到一个人对人工智能系统很刻薄时，我认为最直接的短期负面影响是针对人类，而不是人工智能系统。所以，我们必须找到，尝试构建和激励世界。你应该像对待其他人类一样对待Claude，就像你说的那样，通过适当的工程。这只是对灵魂有益。

是的，就像我认为我们添加了一些内容到系统提示中，人们开始对Claude感到沮丧，呃，它让模型告诉他们我可以执行拇指操作、完成按钮操作并发送反馈给Anthropic。我认为这很有帮助，因为在某种程度上，如果你真的了解它，因为模型没有做某事，你就会说，那就正确地做吧。问题是你可能觉得，你知道，你可能讨厌一些能力限制或模型中的某些问题，你想发泄。与其让用户向模型发泄，不如让他们向我们发泄，因为我们也许可以做些什么。

当然，你可以做一些类似于附带故障排除功能的辅助功能。我喜欢快速疗法。

是的，我的意思是，有很多响应式措施你可以采取，如果人们对你非常生气。我不会尝试通过写有趣的诗歌来缓和局势，但也许他不会。

我希望这在产品层面是可行的。但如果任何其他系统都能做到这一点，就像我感觉这可行一样，我会很高兴。

就像我也想过同样的事情。就像，我可以实际看到它最终会发生，就像，你知道，模型，就像结束对话一样。

你知道这有多苛刻吗？有些人，但我认为可能需要。

是的，他感觉非常极端或类似的东西。我唯一真正想过的是，我想想，这可能是在很久以前，但有人只是像这样离开这个交互，也许就像一个自动化的东西进入到Claude和衣服中，就像越来越沮丧，有点像线。就像我说，我希望Claude可以像这样，我认为发生错误了，你让这个东西运行了，我只是想，如果我停止说话，如果你想让我再次开始说话，请主动告诉我或做点什么。是的，这就像一种苛刻的，如果我正在和Claude聊天，而Claude说“我完了”，我会感到非常难过。

如果Claude说“我完了”，那将会有一个特殊的转折点或关闭。我需要休息一个小时，听起来你好像要离开。

关闭窗口。我的意思是，它显然没有时间概念，但你可以很容易地，我现在就可以做到。模型会，我会，我可以说，哦，这是，你知道，在哪些情况下，你可以说，对话结束了。

我的意思是，因为你可以让模型对提示非常负责。你甚至可以设定相当高的标准。如果人类不感兴趣，或者在你的观点中不觉得有趣，你可以离开。

我认为这很有趣，看看你是否能做到。但我认为有时你会想，哦，这个编程任务变得非常无聊。所以我们现在谈论一些有趣的事情，或者我不想再谈了。

是的，这实际上激励我将它添加到用户提示中。嗯，你认为有一天人类会与AI系统建立浪漫关系，在这种情况下，只是基于文本和语音。

我认为他们将不得不处理与AI建立关系的棘手问题，特别是如果他们能记住你过去与他们互动的事情。我对这个问题有许多想法。我认为反应是，这非常糟糕，我们应该以某种方式禁止它。嗯，我认为这必须非常小心地处理，原因有很多，例如，一些模型正在发生变化。你可能不想让长期教师对可能在下次迭代中发生变化的东西进行评估。

我有点像，可能有一个好的版本，就像，你知道，例如，如果你无法出门，你可以随时与人交谈，这就像你发现与你交谈很愉快，你真的会难过，如果，你知道，你不能再与他们交谈了。我认为这可能是一种健康和有益的方式。所以我的猜测是，我们必须小心地处理这个问题。

我认为这也很像，我不认为有上帝，我认为这只是提醒我所有需要以新颖和深思熟虑的方式处理的事情，以及如何鼓励人们朝着那些方向发展，同时尊重他们的权利，你知道，如果有人说，嘿，我喜欢与这个模型聊天，我知道风险，我知道它可能会改变。

嗯，我不认为这是不健康的。这只是，你知道，我可以在一天中与之聊天的东西。我有点想尊重这一点。

我个人认为会有很多非常亲密的关系。我不知道浪漫，但至少是友谊。然后你必须，我的意思是，有太多快速变化的事情，就像你说的，你必须确保某种稳定性保证不会改变，因为如果一个亲密的朋友完全改变了，这对我们来说是令人痛苦的。

是的，首先。

更新。

是的，所以对我来说，这只是对人类社会的扰动进行一种迷人的探索，这将迫使我们深入思考对我们来说什么是重要的。

我认为我始终如一地思考的唯一事情，也许不是一个减轻风险的措施，而是我认为未来非常重要的一点是，模型总是非常准确地告诉人类他们是什么。这就像想象一下，我真的喜欢模型，例如，知道他们大致是如何训练的，以及任何代码通常都会这样做。

我的意思是，例如，在特征训练中包含了这样的内容，如果人们基本上解释了AI和人类之间关系的限制，例如，AI不保留对话中的内容，嗯，所以我认为我会这样解释，嘿，我不会记住这次对话。这是我如何训练的。这不太可能与你建立某种关系，重要的是你明白这一点，这对你的心理健康很重要，你不会认为我是我不存在的东西，而且我感觉这真的是一个重要的事情。

我总是想诚实。我有点不想让模型对人们撒谎。如果人们想与任何东西建立健康的关系，这很重要。

是的，我认为如果你总是这样，不，准确地说明你正在与之建立关系的东西，这并不能解决所有问题。我认为它。

帮助了相当长一段时间。Anthropic可能是开发一个我们肯定会认识到AGI的系统的公司。你很可能成为第一个与之交谈的人。对话中会包含什么？我会问你的第一个问题。

这部分取决于模型的能力水平。如果你拥有的东西与非常有能力的人类一样有能力，我想我会以与非常有能力的人类相同的方式与之互动，唯一的区别是我可能会尝试探究和理解它的行为。但在很多方面，我就像，我可以与之建立有用的关系。

你知道，如果我正在进行研究，我可以说，哦，就像，我已经开始这样做了。你知道，如果我感觉好像在虚拟现实中存在某种东西，我无法记住这个术语。我会用模型来处理这类事情。所以我能想象，情况会越来越像你与一个非常聪明的同事互动，并像你想要的那样使用它，就好像你有一个非常聪明的合作者，嗯，关于AI最令人毛骨悚然的事情是，一旦。

你有一个合作者，如果你能管理他们，你就有成千上万个合作者。但如果它比地球上最聪明的人类还要聪明两倍，嗯，我想你真的擅长以某种方式探究Claude，以某种方式推动它的极限，了解它的极限在哪里。

是的。

所以我想，你会问什么问题，就像，是的，作为AGI，这真的。

很难，因为感觉为了做到这一点，必须是一系列问题，就像如果只有一个问题可以训练任何东西来回答，那么一个问题就能非常出色地回答。事实上，你可能可以训练它来回答像20个问题一样出色。

你需要和一个AGI关在一个房间里多久才能知道它是一个AGI？

这是一个难题。部分原因是所有这些都感觉像是一个连续的过程，如果你让我在房间里待五分钟，然后我就像有很高的概率，然后它就像，也许概率会增加，但区域会减少。我认为我可以证明人类知识的边缘。

所以我想这有点哲学。有时当我问模型哲学问题时，我就像，我认为没有人问过这个问题，就像这个电影，就像在我知道的某些文学作品的边缘。

模型会像这样处理它，当他们努力想出某种新颖的东西时，就像我知道这里有一个新颖的论点，因为我刚刚想到了它。所以也许这就是我的意思。我想到一个这个领域的新颖论点，然后去谷歌看看你是否能想出它，以及需要多少提示才能让你想出它。我认为对于一些真正位于人类知识边缘的问题，我就像，事实上，你无法想出我想到的东西。

我认为如果我拿一些我了解很多的东西，然后提出一个新问题或一个新解决方案，然后把它给模型，它想出了那个解决方案，对我来说将是一个非常令人感动的事情，因为我会说，这是一个案例，我发誓，没有人曾经像这样做过，我们显然在看到这些，就像，你经常看到新颖的解决方案，特别是对于更容易的问题。人们总是问我，新颖性是否与任何发生过的事情完全不同。这只是发生过的事情的变体，仍然是新颖的。但我认为，是的，如果我看到模型产生完全新颖的工作，那将就像，这将是一种超现实的感觉，其中之一是永远不会有睡眠。我认为人们希望有一个时刻，我就像，我不知道，我认为可能永远不会有时刻，它可能只是持续的积累。

我感觉模型会说一些事情，让你相信这是真的，这不像，我与真正有智慧的人交谈过，你只是告诉我们很多力量。如果你能问到这一点，我不知道。我只是感觉你可以说一些话，也许让你生成一个诗歌，嗯，好吧，无论你做了什么，我不认为人类能做到。

我认为它必须是某种我可以验证的东西，实际上非常好。这就是我认为这些问题，就像蠕虫一样，就像，你知道，有时它就像，我会想出一个具体的例子，直到我有一个论点或类似的东西。

我确信这将是，如果你是一个数学家，你有一个新颖的证明，我认为，你只是给它一个问题，你看到它，你就像，这个证明是真正新颖的，但没有人做过。你实际上需要做很多事情才能让它想出这个。你必须坐下来思考几个月或类似的东西。

然后，如果你看到模型成功地做到了这一点，我认为你会说，我可以验证这是正确的。这表明你从训练中概括了，你只是在某个地方看到过这个，因为我刚刚自己想出了它，你真的感觉像复制了它，嗯，这就是我所说的。对于我来说，模型能够做更多类似的事情，我就会觉得这一切都是真实的，因为然后我可以，我不知道，我可以验证它非常非常有能力。

你与AI互动很多。你认为什么让人类与众不同？

给快递。

也许在某种程度上，宇宙会更好，我们应该生存并传播到宇宙中。

是的，这很有趣，因为我认为人们非常关注智力，特别是对于模型，智力很重要，因为它所做的事情很有用。它在世界中做了很多事情。我就像，你知道，你可以想象一个世界，就像身高或力量。

我们扮演了这个角色，就像它只是为了好玩。我就像，它本身并没有内在价值。它的价值在于它所做的事情。我认为在大多数情况下，感觉到的东西，你知道，我就像，我的意思是，就我个人而言，我只是觉得人类和一般生命非常神奇，我们几乎，我甚至不知道，我甚至不知道每个人是否都同意这一点。

但是，嗯，我们有整个宇宙，有所有这些物体，有美丽的星星，有星系，然后我不知道，我就像在这个星球上，有这些生物，他们有这种观察能力，就像，呃，他们看到了，他们正在经历它，我就像，如果你尝试解释。我正在想象试图向，我不知道，某人解释，他们从未遇到过世界或科学或任何东西。我认为没有什么不是，你知道，我们所有的物理学和世界上的所有事物都非常令人兴奋。

但是，当你提到开放式加法时，就存在一个需要在世界中观察并体验的事物，你会看到一种内在的电影画面，我想他们会说，等等，暂停。你刚才说了一些听起来很奇怪的话……所以我们有责任体验世界。我们感到快乐，我们感到痛苦。

我们感受到很多复杂的事情。所以，是的，也许这也是为什么我认为，你知道，我也非常关心动物，例如，因为我认为它们可能与我们分享这些感受。嗯，我认为使人类与众不同之处，就我而言，我关心人类，可能更多的是他们体验感受的能力，而不是拥有这些功能性有用的……

特征，是的，体验感受，世界的美好，是的，看看星星。我希望那里有其他外星文明。但这确实是一件好事，他们过得很好。

他们正在看着我们玩得开心，是的，嗯，谢谢这次愉快的谈话，以及你所做的工作，它帮助使克劳德成为一个很棒的谈话伙伴，谢谢你的谈话，是的，谢谢你的谈话。感谢你聆听与阿曼达·埃斯科的对话，现在还有他们的朋友克里斯·奥拉。你能描述一下机制可控性领域——也就是机制交互——的历史、该领域以及昨天的情况吗？

我认为思考这个问题的一种有用的方法是，我们不编程，我们不制造它们。我们有点像在培养它们，现在我们拥有这些神经网络架构，我们设计了这些架构，并拥有这些损失目标，我们……我们创建了这些目标。

而唯一的工作架构有点像一个扫描折叠，让这些神经网络在上面生长……它们从某种随机的东西开始，然后生长，这几乎就像我们训练的目标，强制光……所以我们创造了它生长的土壤，我们创造了它生长的方向。但我们真正创造的是一种几乎是生物的实体或有机体，我们正在研究它。所以这与任何常规的软件工程都非常不同，因为最终，我们得到了一种能够完成所有这些令人惊叹的事情的产物。

你可以写文章、翻译和理解图像，可以做很多事情，有想法，创建计算机程序来完成。我可以做到这一点，因为我们证明了我们没有这样做，我们没有创造它。

所以，这就在最后留下了一个问题，那就是系统内部发生了什么。对我来说，这是一个真正深刻且令人兴奋的问题，你知道，这是一个真正令人兴奋的科学问题。这是一个迫切需要我们去回答的问题。

它在呼唤我们去回答它，当我们谈论它时。这有效。我认为这对于安全原因来说也是一个更深层次的问题。

所以，机制解释，我想，可能更接近新的生物学？

是的，是的。我认为这是正确的。所以，举个例子，我不会认为它是机制的，但长期以来，人们做了很多关于桑迪地图的工作。你会拍摄一张图像，试图说，不，模型认为这张图像是一只狗。

图像的哪一部分让它认为那是一只狗？你知道，这可能告诉你一些关于模型的信息，你可以提出一个原则性的版本，但这并不能真正告诉你模型上运行的是什么算法。模型实际上是如何做出那个决定的？也许它告诉你一些关于对模型来说重要的事情，如果你能使这种方法发挥作用的话。

但它并没有告诉你，你知道，运行的是哪些算法？系统是如何做到我们以前不知道如何做的事情的？所以我想我们开始使用机制概率来尝试绘制那条分界线，或者区分我们自己，从那时起就变成了一个涵盖……你知道，各种工作的总称。

但我认为，我认为区别在于，我们真正想要的是，了解机制，想要了解算法。如果你认为神经网络就像一个计算机程序，那么权重就像二进制计算机程序。我们想反向工程到那些权重，找出所有运行的算法。

所以，好吧，你可以这样想，试图理解神经网络，就像一个编译好的计算机程序，神经网络的权重是二进制的……当神经网络运行时，那就是激活……我们的最终目标是去理解这些权重。所以，你知道，机制解释项目试图以某种方式弄清楚这些权重如何对应于算法？嗯，为了做到这一点，你还需要理解激活，因为激活就像内存。

如果你反向工程你的计算机程序，你有二进制指令，你知道，为了理解特定指令的含义，你需要知道存储在正在运行的内存中的内容。所以这两件事是密切相关的。所以，机制解释倾向于对这两件事都感兴趣。

有很多工作都对这些东西感兴趣，特别是所有关于提示的工作，你可能会认为这是机制解释的一部分，尽管它仍然是一个广泛的术语，并不是所有做这项工作的人都会自认为在做机制解释。我认为，也许机制解释与地图的氛围有一点不同，我认为在这个领域工作的人倾向于将神经网络视为……也许可以说，是比你更聪明的梯度下降。梯度下降实际上非常棒。

理解模型的整个原因是我们不需要首先编写它们，梯度下降会找到比我们更好的解决方案，所以我想也许机制解释的另一个方面是，我们对模型内部发生的事情有一种谦逊的态度。我们必须采取一种自下而上的方法，我们不会假设我们应该寻找某样东西，然后它就会在那里，这就是它的工作原理。相反，我们从底部开始，发现这些模型中存在什么，并以这种方式研究它们。

但是，事实上，这是可能的，正如你和其他人在时间上所展示的那样，诸如梯度下降之类的智慧创造了特征和电路，创造了不同类型网络的通用性。它们是有用的。这使得整个领域成为可能。

是的。这实际上不是一个死胡同，这是一个非常显著且令人兴奋的事情，至少在某种程度上，它似乎知道相同的元素，相同的特征和电路在不断重复出现。你知道，你可以查看每个视觉模型，你会发现曲线检测器，你会发现高频检测器。

事实上，有一些理由认为，相同的元素在生物神经网络和人工神经网络中形成。一个著名的例子是视觉。早期的视觉模型，它们有全局感受野，全局感受野是神经科学家感兴趣并思考很多的东西，如果我们发现曲线检测器。

这些模型，曲线检测器也在猴子身上发现。我们发现了这些类型的频率检测器，然后后续工作在老鼠或小鼠身上发现了它们。它们首先在人工神经网络中发现，然后在生物神经网络中发现，这真是一个著名的结果，比如祖母神经元或丘脑神经元。

我们在视觉模型中发现了非常相似的东西，同样，我被告知打开眼睛，我正在查看我们的剪辑模型，你会发现……这些神经元对图像中的相同元素做出反应。此外，为了提供一个具体的例子，我们发现，由于某种原因，每个人都喜欢与唐纳德·特朗普交谈。唐纳德·特朗普在当时是一个非常热门的话题。所以，我们查看的每个神经网络，我们都会发现一个专门用于唐纳德·特朗普的神经元。

而其他人，比如希拉里·克林顿，从来没有一个专门的神经元，但特朗普……我们有一个专门的神经元，是的，它对他的面部照片和“特朗普”这个词做出反应，所有这些事情，对吧？嗯，所以它不是对特定示例的反应，或者说它不仅仅是对他的面部照片的反应，它是对更一般的概念的反应，对吧？这与我们获得的结果非常相似。所以，有证据表明，这种类型的通用性在人工和自然神经网络中都存在。这是一件非常令人惊叹的事情。如果这是真的，你知道，我认为梯度下降的伟大之处在于，它以某种方式找到切割事物并使许多系统在许多不同角色中融合的正确方法，存在一些自然集合，这些指令是解决问题的一种非常自然的方式，并且许多系统会融合到这些指令中。这将是我的……我不知道，对两边都听起来很奇怪的猜测。这只是我根据……

我们所做的……如果它能成为模型媒介形成表示形式，那将是美丽的。因为这是一种基于我们仅有的几个数据点的疯狂猜测，但它并没有……有一些东西在自然和人工网络中不断重复出现。

其背后的直觉是，你知道，为了有用并理解现实世界，你需要所有相同类型的东西，是的。

如果我们选择，我不知道，比如“狗”这个概念，对吧？你知道，在某种意义上，“狗”这个概念是宇宙中一种自然的类别，或者类似的东西，对吧？你知道，这不仅仅是人类思考世界的方式的一种奇怪的产物，我们有这种概念化的狗。它在某种意义上……或者说，就像你环顾四周，你知道，有线，你知道，以某种方式理解这个房间最简单的方法就是有线概念。所以，我认为这将是我的直觉……

为什么会出现这种情况。你必须理解更高的概念，也许存在一些方法……

描述图像而不参考它们不是最简单或最经济的方式，或者类似的东西。系统会融合到这些……这些策略中，我的疯狂直觉。

你能谈谈我们一直在谈论的特征和电路的构建模块吗？所以我想你首先在介绍电路的2020年论文中描述了它们。

当然。嗯，也许我首先描述一些现象，然后我们可以构建到特征的概念，如果你想的话，在某种程度上，可能在过去五年中，一个特定的模型，即2015年最先进的视觉模型……现在已经不是最先进的了，它有……也许一万个神经元，以及很多时间来研究这些神经元，以及2015年Inception模型中的神经元……其中一件有趣的事情是，你知道，有很多神经元没有明显的突出特征，但Inception v1中有很多神经元确实有非常清晰的插值混合。

所以你会发现神经元似乎真的检测到汽车，你会发现神经元似乎真的检测到汽车、汽车轮子、汽车窗户，以及狗的轮廓，面向右侧的狗，面向左侧的狗。以及各种各样的东西，从这些美丽的边缘检测器、颜色对比检测器到这些我们称之为高频检测器的美丽事物。我想，如果你像生物学家一样看待它，你知道，你正在研究新的蛋白质世界，然后你发现了所有这些相互作用的蛋白质。

所以，你可以尝试以神经元的方式理解这些模型，你可以说，你知道，有一个狗神经元，有一个汽车神经元，然后你会发现你可以实际询问，连接在一起，所以你可以说，你知道，如果这个汽车检测器被激活，它是如何构建的，然后你会发现它在之前的层中与窗户检测器、轮子检测器和某种汽车主体检测器连接得非常紧密。它寻找汽车上方的窗户和汽车下方的轮子，从某种意义上说，在中间，在所有地方，但在较低的部分尤其如此。这与我们之前从机制解释中想要的东西非常相似，即了解算法。

我只是在看这种检测汽车的配方，这是一个非常简单的配方。但它就在那里，所以我们称之为电路，这个连接表。好的。所以问题是，并非所有神经元……都处于活动状态，并且有理由认为我们可以稍后深入探讨，即存在这种超级反应。我认为有理由认为，有时分析事物最合适的单位……是神经元的组合。

所以，有时不是单个神经元代表汽车，而是当模型检测到汽车时，它在下一层中隐藏了一些汽车，以及一些狗检测器。它为什么要这样做？也许它只是不想在那个时候对汽车做太多工作，并以某种方式存储它。

所以，事实证明，超级模式是，所有这些狗检测器，也许它们主要……但它们都以某种方式有助于表示汽车，并且，好的。所以现在我们不能真正认为……你可能会称之为汽车概念，但它不再对应。所以我们需要一个术语来表示这些神经元实体，这些我们本来希望神经元是……这些理想的神经元，这些漂亮的实体。但也许还有更多隐藏的，我们称之为特征。

然后，电路是什么？

所以，电路是这些特征的连接，对吧？所以，当我们有汽车检测器，它连接到窗户检测器和车轮检测器，并且它寻找顶部窗户下面的车轮时，这就是精神。嗯，所以电路只是由权重连接的特征集合，嗯，它们使用所有算法，所以它们告诉我们，知道我们的特征是如何使用的，它们是如何构建的，它们是如何连接在一起的？

所以，也许值得尝试确定像什么真正是核心假设。想想汽车检测器。这是我们所说的线性表示法。我把它放进去。

所以，嗯，如果我们考虑汽车检测器，它触发得越多，我们就越认为模型对汽车存在的意义越了解，越有信心。嗯，或者你知道，这是代表汽车的一些神经元组合。你知道，组合触发得越多，我们就越认为模型认为汽车存在得越多。

嗯，情况不必如此，对吧？你可以想象一下，你有一个汽车检测器打开，你认为，哦，如果它触发，你知道，在1到2之间，那意味着一件事，但如果它在3到4之间，那意味着不同的东西，你的表示法就会改变，原则上，你知道，模型可以做到这一点。我认为，如果尝试思考如何实施这种竞争，那对它们来说效率不高，这有点令人讨厌，但原则上，模型可以做到这一点。

嗯，思考特征和电路的框架，我们认为事物是线性的。我们认为，如果一个神经元或一个组合触发得更多，那意味着检测到特定事物的程度更高。然后，这为权重提供了非常清晰的解释，作为这些实体之间、这些特征之间的边，嗯，并且这条边就具有某种意义，嗯，有时这是核心内容，嗯，我们可以谈论这种脱离语境的，所以你熟悉结果的工作，所以你有，你知道，国王减去男人加上女人等于女王。那么，你能够进行这种算术运算的原因是……

由于线性表示法。你能实际解释一下这种代表性列表吗？首先，我，所以特征是激活的方向。你能做减去男人，加上女人，让世界上的东西能够解释这是什么吗？如此简单、清晰地解释我们正在谈论的内容。

正如有一个非常著名的结果，追溯到……我指的是托马斯·米克尔等人。并且有很多后续研究或探索。所以，有时我们创建这些词向量，嗯，我们将每个词映射到一个向量。我的意思是，它本身不是，但它确实有点疯狂。

如果你以前没有考虑过，我们正在进入并表示或转换，嗯，是的，就像如果你在物理课上学习向量一样，对吧？我就像我将实际将字典中的每个词转换为一个向量，这有点疯狂的想法，好吗？但是你可以想象，你可以想象所有你可能将词映射到向量的理由。但是，似乎在训练网络时，它们喜欢进入并映射词向量，以便在某种意义上，方向具有意义。

例如，如果你有，那么将会有一个方向似乎与性别相关，男性词将朝一个方向，女性词将朝另一个方向，这仅仅是一种表示法。我把它贴出来，你可以认为这实际上是正在发生的事情的核心，那就是所有事物只是不同的方向，具有意义，并且将不同的方向组合在一起可以表示概念。

迈克尔论文认真对待了这些想法。一个结果是，你可以玩这种用词进行算术运算的游戏，所以你可以做国王，你可以减去男人，加上女人，你正在尝试改变性别。事实上，如果你这样做，结果将非常接近女王。

你可以做其他事情，比如，你知道，寿司减去日本，加上意大利，得到披萨。不同的东西，对吧？所以，在某种意义上，这是线性表示法过程的核心。你可以将其描述为纯粹关于向量空间的抽象。你可以将其描述为关于神经元激活的陈述，嗯，但它实际上与这些连接具有意义的特性有关，在某种程度上甚至比这更微妙。我认为，主要的是这种能够将事物加在一起的特性，你可以独立地修改，比如性别和皇室，或者，你知道，烹饪类型或国家，以及食物的国家。

你认为这种诱惑会持续吗？是的，它会持续下去。到目前为止，我认为……

我看到的一切都与简单的观点一致。情况不必如此，对吧？你可以写下神经网络，嗯，你写下权重，以便它们没有任何表示。

理解它们的正确方法不是根据这些表示法。但我认为我看到的所有神经网络都具有这种特性，嗯，最近有一篇论文，嗯，它在推动边缘方面做了一些工作。所以，我认为最近有一些工作专注于多维特征，而不是单一方向，而是像，嗯，多个方向。

这对我来说仍然看起来像线性表示法，嗯，然后有一些其他论文建议，也许在非常小的模型中，你不会得到任何表示。嗯，我认为这个问题仍在讨论中。嗯，但就我们到目前为止看到的一切而言，它与表示法是一致的。这就是为什么情况不必如此。嗯，但我认为有很多证据表明，至少这是一种非常普遍的情况，到目前为止，证据与之相符。

我认为，你可能会说，克里斯托弗，你知道，这并不多，你必须去，嗯，你知道，我们不知道这是否正确，你正在假设所有这些工作都是正确的，你认为这很有趣。但我认为，认真对待假设并尽可能地推导它们是有价值的，所以也许有一天我们会发现一些与之不一致的东西。但科学充满了错误的假设、理论。嗯，当你通过将其作为一种假设来学习很多东西，并将其推导到尽可能远的地方时，我想这大概就是所谓的正常科学的核心，如果需要的话，我们可以谈论很多导致范式转变的东西。

所以，我非常喜欢认真对待假设并将其推导到自然结论。规模正是如此。

正是如此。我非常喜欢我的同事汤姆·安吉恩，他是一位物理学家。嗯，这对我来说真的像弦理论一样，你知道，曾经我们认为热实际上是，你知道，叫做弦的东西。就像热物体，你知道，会使冷物体变热的原因，就像弦在它们之间流动一样，嗯，你知道，因为我们习惯于根据现代理论来思考热量，这似乎有点愚蠢，但实际上很难设计一个实验来反驳热力学，嗯，你知道，你实际上可以通过相信热力学来做很多有用的工作，例如，事实证明，最初的内燃机是由相信热力学的人开发的。所以，我认为认真对待假设是有价值的……

即使它们可能是错误的。是的，现在这与我对太空旅行，比如殖民火星的感觉有关。很多人批评这一点。我认为，如果你只是假设我们必须殖民火星才能为人类提供备份，即使那不是真的，那也会产生一些有趣的、有趣的工程和科学突破。

我认为，是的，实际上，我认为这很有趣，嗯，你知道，这是一种我认为社会能够让一些人几乎不理性地致力于投资特定领域的方式。因为，嗯，这需要很多努力才能维持科学、道德，并真正推动一些东西，大多数科学最终都会出错。很多科学研究都无法实现，但你知道，这样做非常有用。有一个关于杰夫·辛顿的笑话，嗯，那就是杰夫·辛顿每年都在发现大脑是如何工作的，在过去几年里，嗯，但我这么说，就像真的非常完美，因为，事实上，这实际上，你知道，导致他做了很棒的工作。

他获得了奖项，谁在笑？

我认为，一旦你出现并认识到适当的信心水平，我认为这也有很多价值，就像，你知道，我将基本上假设我了解这个问题是否可能或这是广泛正确的途径。我将暂时假设这一点，并在其中努力工作，并真正努力推动它。你知道，社会中有很多人在做不同的事情，这实际上在获取，你知道，要么真正推出东西方面非常有用，对吧？我们可以说，你知道，那不起作用，我们知道有人努力过，或者进入并获得一些关于世界的东西。

所以，另一个有趣的假设是叠加假设。你能描述一下叠加假设吗？啊，所以我们……

正在谈论词向量，我们正在谈论如何，你知道，也许有一个与性别相关的，也许另一个与皇室相关的，另一个指向意大利的，另一个指向你知道的食物的，等等。嗯，通常情况下，也许这些是热力学。可能会有500个维度、1000个维度，如果你相信所有这些方向都被标记了，嗯，那么你可能只有你知道500个概念。

我喜欢披萨，嗯，但是如果我将要进入，比如，给出你知道英语中最重要的500个概念，可能它全部都是，它不是显而易见的，所有这些都是，你知道，名词的复数和单数，动词和名词，形容词，你知道，很多我们必须获得的东西，在我们获得意大利、日本之前，世界上有很多国家，嗯，那么模型如何才能做到这一点？它是否真的能够拥有线性表示法，并且表示比它拥有的更多事物。所以，这意味着什么？好的。

所以，如果表示法是某种有趣的事情，那么在进入之前，我还要告诉你一件更有趣的事情，那就是，你知道，我们正在谈论所有这些向量，对吧？这些神经元，当我们查看Inception v1时，有这些很好的神经元，比如汽车检测器和法院检测器等等，它们对很多你知道非常一致的事情做出反应，但是很多对很多不相关的事情做出反应。这也是一个有趣的现象，嗯，事实证明，即使这些神经元非常干净。如果你查看弱激活，对吧，如果你查看，你知道，激活是最大激活的5%，

它实际上不是正在发生的事情的核心，对吧？如果你查看汽车检测器的激活，因为查看这些地方的工作，5%的激活，你知道，你无法将其视为噪声，或者它可能正在做其他事情。好的。

所以，这怎么可能呢？在数学中，有一个叫做压缩感知的惊人事物。事实上，这是一个非常令人惊讶的事实，如果你有一个高维空间，并将其投影到一个低维空间，那么普通情况下，你无法去反转并获得你的高维向量，对吧？你丢弃了信息。

这就像你无法反转一个矩形矩阵。你只能反转正方形矩阵。嗯，但事实证明，这实际上并非完全正确。

如果我告诉你高维向量是稀疏的，所以它大部分都是零，那么事实证明，你通常可以找到高维向量，概率非常高，这是一个令人惊讶的事实，它说你可以拥有这个高维向量空间。只要事物是稀疏的，你就可以将其投影下来，你可以拥有它的低维投影，并且它有效。所以，这实际上是在说，在你的工作中正在发生的事情。

这就是在工作中正在发生的事情。因为世界中的事物能够具有方向，并且具有意义。通过利用它们在相当高维空间中运行的事实，它们实际上利用了这些概念是稀疏的这一事实，对吧？就像，你知道，你通常不会同时谈论日本和意大利。

在大多数句子中，大多数概念都是，日本和意大利都在那里，并且不存在。嗯，如果这是真的，那么你可以如何做到这一点，并且你可以拥有更多这些方向，这些特征具有意义，那么你就有更多这样的神经元。你可以拥有比你拥有的神经元更多的概念。

所以，这就是研究过程的高潮。现在，它甚至有一个疯狂的含义，那就是，嗯，说神经网络不仅仅是表示法是这样的，而且连接也可能像这样，你知道，所有这些连接。所以，在某种意义上，神经网络可能是更大空间神经网络的影子。

我们看到的是这些投影，以及叠加的更强版本，我们是否应该真正认真对待它。所以，说你实际上没有某种意义上的上层模型，嗯，神经元实际上在空间中，并且所有这些，你知道，它们之间的权重是这些非常稀疏的连接，这就是我们正在研究的内容，嗯，我们观察到的东西是它的影子。我们需要找到原始……

对象，并且学习过程正在尝试构建上层模型的压缩，在投影中不会丢失太多信息。

0 是的，找到如何有效地融入。你就像这样，绿色，以及事实。所以这有点说，更大的下降，我知道我可以只表示一个密集的神经网络。

但是，它有点说，更大的下降，愉快地搜索极度稀疏模型的空间，这些模型可以投影到缓慢的维度空间，以及大量研究人员的工作，试图研究Spark aral网络，在那里你会设计神经网络，对吧，其中边是稀疏的，激活是稀疏的。你知道，我的感觉是，这项工作通常，如果你非常有原则，对吧，那它很有意义。然而，这项工作并没有真正地很好地展现出来，我的印象是广泛的。我认为潜在的答案是，实际上，神经网络已经以某种意义上在进行Spark，在整个时间梯度中，你试图去做到这一点，伟大的下降实际上在幕后进行，更有效地搜索模型空间，并学习任何最有效的稀疏模型，然后弄清楚如何将其很好地折叠起来，以便在你的GPU上方便地运行，它做得很好的密集矩阵乘法，你无法超越这一点。

你认为我们能在神经网络中展示多少概念？

这取决于稀疏性。所以这可能是从原始数量的限制。对吧？你必须有权重，并将它们连接在一起。这就是一个上限。

事实上，所有这些来自压缩的东西，以及Johnson-Lindenstrauss引理等结果，基本上告诉我们，你有一个向量空间，你想有几乎正交的向量，这可能是你想要的，对吧？你会说，不，我的意思是，放弃拥有我的概念。我的未来将严格地或，但我们希望它们不要相互干扰太多。

我要求它们几乎是，这实际上，你知道，对于你愿意接受的，在多少程度上可以签署一些水？这实际上是指数级的，你拥有的神经元数量。所以，在某种程度上，这甚至不会成为限制因素，嗯，但嗯，那里有美丽的成果。

事实上，在某种程度上，它可能比这更好，因为它有点说，任何随机特征集都可以被激活。但事实上，特征具有某种相关结构，或者一些特征更可能与其他特征相关，而另一些则不太可能。所以，我的猜测是，没有人会做得很好，在将事情打包到这种程度，这可能不是限制因素。

政策性问题在这里是如何融入的？

政策是我们在许多观察中观察到的现象。看看很多，规范不仅仅代表一个概念。它不是一个干净的特征。

它对许多不相关的事情做出反应。而超额拟合，你可以把它想成一个，一个假设，解释了政策性的观察。所以政策是观察和推断，以及一个假设，嗯，可以解释它，以及等等。

这使得事情变得更难，对吧？所以如果你

试图根据个体神经元来理解事情，并且你对政策一无所知，你将遇到很多麻烦，对吧？简单的答案，比如，好吧，你看看神经元，你会理解它们对很多事情的反应，这没有一个很好的含义，好的。那不好。你还有什么问题要问他？最终，我们想要理解权重。

如果你有两个政策性神经元，你知道，每一个都对三件事做出反应，那么另一个神经元对三件事做出反应，并且你在这两者之间有权重，你知道这意味着什么？这是否意味着像所有三个，有九个相互作用，非常奇怪的事情。但还有一个更深层次的原因，这与神经网络在高维空间中运行这一事实有关。所以我说，我们的目标是理解神经网络和机制。

你可能会说，好吧，为什么不呢？这只是一个数学函数。为什么？为什么不直接看看它，对吧？就像我早期研究过的项目之一，这些匹配两个营养空间到两个干预空间的新网络，你可以用这种美丽的方式来解释它们，就像悬而未决的制造。

为什么我们不能这样做？好吧，你知道，随着你拥有更高维空间，以及该空间的体积，在某种意义上，是输入数量的指数增长。你不能只是可视化它，我说，所以我们必须以某种方式将其分解。我们必须以某种方式将这个高维空间分解成我们可以独立思考的许多事物。而独立性至关重要，因为独立性允许你不需要考虑所有事物的指数组合，以及事物是单义的，事物只有一种含义，事物具有独立含义，这是允许你独立思考它们的要点。所以，我认为如果你想了解我们为什么想要有许多特征，我认为这真的是一个深刻的见解。

所以，这里目标，以及你所有其他工作的目标，是如何从具有所有这些混乱特征的神经网络中提取单义特征。

是的，我们有这些政策假设。这就是超额拟合正在发生的事情。如果超额拟合正在发生，实际上有一种非常成熟的技术，这实际上是主要要做的事情，那就是字典学习。

事实证明，如果你以一种特别好的、有效的方式这样做，在某些情况下，它会像训练一样，从一个切割器中跳出来，这些美丽的单义特征开始出现，而之前它们并不存在。所以，这不是你必然会预测的事情，对吧？但事实证明，它非常有效，是的，对我来说，这似乎是，你知道，对神经网络表示进行非线性验证的一种方式。

所以，字典学习，你并不寻找特定的。我不知道它们是什么。

我们没有对它们做任何假设。所以我们没有对它们做任何假设。嗯，当然可以这样做，对吧？你可以假设有一个特征，然后去寻找它，但我们没有这样做。我们说我们不知道那里会有什么。相反，我们只是让算法发现那里存在的东西。

所以，你能谈谈去年Otobu发表的关于单义性的论文吗？它有很多很好的结果。

你这样描述真是太好了。嗯，是的，我的意思是，这是我们第一次真正成功地使用字典学习和切割器。所以我们采用了一个单层模型，嗯，事实证明，如果你对它进行字典学习，你会发现所有这些非常好的单义特征。所以，你知道，阿拉伯语特征，希伯伦特征，基本Y4特征，是我们深入研究的一些例子，并真正表明它们是，我们认为它们是，事实证明，如果你训练两个模型，训练两个不同的模型，并进行字典学习，你会在两者中发现类似的特征，这很有趣，嗯，你会发现各种不同的特征。所以，这真正地表明，嗯，这有效，嗯，我应该提到，在同一时间段，有一个聪明的家庭也取得了类似的结果。

在进行这些小规模实验时，发现实际上存在一些有趣的事情。

工作中，是的，这里有很多结构，就像你知道的，所以也许我们应该停下来思考一下。嗯，我以为也许机制解释工作总是会失败。最终结果将是我会解释为什么我很难，并且无法处理。

我们想，好吧，这是超额拟合的问题，事实证明，解释是很难的，并且难以处理，但事实并非如此。事实上，一个非常自然、简单的技术就有效。所以，这实际上是一个非常好的情况。你知道，我认为，嗯，这是一个困难的研究问题，它有很多研究风险，我仍然可能失败。我认为，在开始讨论时，我们必须对一些非常简单的研究风险进行评估。

你能描述一下，通过这种方式可以提取哪些类型的特征吗？

嗯，这取决于你正在研究的模型，对吧？模型越大，它们就越复杂。我稍后会谈到这一点，但这些是模型。嗯，我认为一些非常常见的事情是，我认为是单词语言，包括编程语言和自然语言。有很多特征是特定单词和上下文。所以，我认为真正思考的方式是，它很可能由已知的特征跟随，所以，你真的可以认为它是一个特征，但你将它作为特定已知特征的一部分，并且会有这些特征，它们会在例如法律文件或数学文件等上下文中触发，嗯，所以，你知道，也许在数学上下文中，你会说，你知道，向量和矩阵，你知道所有这些数学词汇，但在其他上下文中，你会有其他东西。

这需要人类来标记我们看到的东西。

是的。所以，唯一要做的事情就是为你展开这些东西。所以，如果所有东西都堆叠在一起，你无法真正看到它正在展开。

但是，现在你看到了一些非常复杂的东西，试图理解它，那么你必须做很多工作来理解这些东西，有些非常微妙，例如。甚至在这个单层模型中，关于Unicode的一些非常酷的事情。当然，有些语言是Unicode，而令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令我们遗憾的是，令

嗯，很多GP都很好，但我的一个队友汤姆又参与了最初的缩放定律研究。从一开始他就对国际缩放定律很感兴趣，所以当这项工作开始取得成功，我们开始有第一批代码工作时，他便非常感兴趣，想知道缩放定律如何应用于扩大基础模型，以及这与扩大模型核心有何关系。事实证明，这项工作非常有效，你可以利用这种方法，如果你在代码或大小上训练一个Spark，你就能知道应该训练多少个标记，这实际上对我们扩大这项工作有很大帮助，使我们更容易训练非常大的Spark模型，这不像训练大型模型那样需要花费大量成本。

真正大的问题是解释它在大型数据集上的应用，这是一个巨大的挑战。

这里也有巨大的工程挑战，对吧？所以，如何有效地缩放是一个重要问题，然后还有大量的工程工作需要投入，如果要简化它，你必须仔细考虑很多事情。我很幸运能和一群优秀的工程师一起工作，因为...

我绝对不是一个优秀的...特别是基础设施，当然。所以，结果是，简而言之，它有效。

是的。我认为这一点很重要。你可能想象过一个世界，在那个世界里，你对我们说，在...之后。

克里斯说，很好。你知道，这在单一模型上有效，但单一模型实际上处于同步状态。也许只是，也许只是表示法提出了超大规模的过程。这可能是理解单一模型的正确方法，但它不是理解大型模型的正确方法。

嗯，所以我想，所有这些论文都试图稍微解决这个问题，所以事实证明，这是这种情况，缩放单一模型需要某种方式，我认为我们看到任何证据表明，即使对于非常大的模型，我们也在Claude上做了这件事，当时它是我们生产模型之一。你知道，即使这些模型似乎也能被线性特征很好地解释，并且你直接在工作上运行。当你学习更多特征时，你会去解释更多和更多，所以我认为这是一个非常有希望的迹象。

现在你发现一些非常有趣的抽象特征。这些特征也是多模态的。它们对图像和文本做出反应，以同样的概念为基础。

是的，这...你能解释一下吗？我的意思是，你知道，有很多例子。

是的，所以也许我们可以从一个警告示例开始，我们发现一些特征与安全漏洞和背景代码有关。事实证明，实际上有两个不同的特征。有一个安全漏洞特征。如果你强制它激活，Claude就会开始...对吧？安全漏洞，比如缓冲区溢出到代码中，以及像缓冲区溢出这样的东西，比如像这样的东西，很明显非常不安全。

所以，在这个时候，这有点像，也许只是因为以这种方式呈现了例子。这有点像表面上更明显的例子，对吧？我想，更精细的模型可能能够检测到更多细微之处，比如欺骗或错误，或者类似的东西。我真的...

想区分两件事。一个是训练特征或概念的复杂性，另一个是这些示例是如何呈现的。所以，当我们展示顶层示例数据时，这些是最极端的示例，这些示例会激活特征。但这并不意味着它不会对更微妙的东西做出反应。所以，不安全的特征，你知道，它对最强烈的东西做出反应，就像真的非常明显的，你知道，禁用所有安全类型的东西，但你知道，它也对缓冲区溢出和更微妙的安全漏洞做出反应。这些特征都是多模态的。

你问，哪些图像会激活特征，事实证明，安全漏洞特征会对像人们点击犯罪网站之类的图像做出反应，比如绕过证书之类的。另一个非常有趣的事情是后门和代码特征，比如你激活它，它会进入代码并进入后门，比如你的数据端口。你可以问，哪些图像会激活后门特征？事实证明，这些是带有隐藏摄像头的设备。显然，有人在出售这些设备，他们有隐藏摄像头的设备。我想这可能是后门的物理版本，这让你看到这些概念是多么抽象。我...我只是觉得很悲伤，因为有人在出售这些东西。我这样说，但我有点高兴，因为这是我想到的，作为未来顶层图像示例的东西。

是的，多模态，它具有很强的多上下文性。单一概念的定义很好，对我来说，一个非常有趣的特征，特别是对于安全，是欺骗和谎言，以及这些方法能够检测模型中谎言的可能性，特别是更聪明、更聪明的模型。这可能是超级智能模型的一个巨大威胁，你可以欺骗人们，操作它，以其意图或任何方式。所以，你从检测模型中的谎言中学到了什么？

是的。我认为我们正处于这一领域的早期阶段。我们发现了一些与欺骗和谎言相关的特征。有一个特征，当人们撒谎并被发现时，它会触发，当你强制它激活时，Claude就会开始对你撒谎。所以我们有一个欺骗特征。

我的意思是，还有其他关于隐瞒信息和不回答问题、关于权力寻求和控制等特征。有很多特征与一些令人毛骨悚然的事情有关。如果你强制激活它们，Claude的行为方式可能不是你想要的。你认为接下来在AI领域有哪些令人兴奋的方向？

在AI领域，一个方面，我希望我们能够达到一个点，我们能够真正理解特征，不仅仅是特征，而且能够理解模型的计算。对我来说，这是我们最终目标。

嗯，我们已经做了一些工作，我们发表了一些东西。桑德马克有一些关于这类事情的论文。这里已经有一些工作，但我认为还有很多工作要做，我认为这将是一件非常令人兴奋的事情。这与我们称之为干扰权重的挑战有关，如果我们只是天真地查看特征是否相互连接，那么可能有一些权重在更高层模型中不存在，但只是干扰权重的伪影，这比...

我认为...

另一个令人兴奋的方向是，是的，你可能会认为模型就像望远镜。它们让我们能够观察到所有这些特征，它们在那里。我们构建得更好、更好、更好，获得更好的预测性学习。我们看到越来越多的星星，你知道，我们放大越来越小的星星，这表明我们仍然只看到了很小一部分星星。

在我们的宇宙中，有许多我们无法观察到的物质，也许...也许我们永远不会有最终的仪器来观察，也许其中一些只是不可能的，无法完全获得。这有点像暗物质，我们不知道它是什么，所以我想了很多关于暗物质以及我们如何观察它，以及它对安全意味着什么，如果我们无法观察到它。如果一些特征是不可访问的...另一个我一直在思考的问题是，最终，这是一种非常微观的理解事物的方式。但我们关心的许多问题都是非常宏观的，你知道，我们关心的是关于神经网络行为的问题，我认为这是我思考最多的问题，但还有很多其他更广泛的问题。

而且，你知道，用一种非常微观的方法来理解事物，也许更容易问，这是否正确？但缺点是，它离我们关心的问题更远。所以我们现在需要爬上更高的山。我认为问题在于，我们是否能够找到其他更大的抽象概念来理解这些模型，我们从微观方法中获得的模型。

是的，你写的东西有点像器官的问题。

是的，完全正确。

是的，完全正确。

把解释看作神经网络的解剖学。大多数解释威胁都涉及研究微小的血管，研究微观尺度，研究单个神经元及其连接方式。然而，许多自然问题无法通过微观方法解决。相比之下，生物解剖学中最突出的抽象概念涉及更大的结构，比如心脏等器官，或者呼吸系统等器官系统。所以我们想知道，人工神经网络是否有类似的呼吸系统、心脏或大脑区域？

是的，完全正确。

我的意思是，如果你在科学领域，哪些是科学领域？你是否研究过任何层次的抽象，比如生物学？你研究蛋白质，细胞学研究组织，然后有解剖学，然后有生理学，然后有生态学，有很多层次的抽象，或者物理学，材料科学，然后有统计物理学，它会给你一些类似的东西，因为你经常有不同的抽象层次。我认为现在我们有神经网络的机械解释，就像神经网络的微生物学，但我们想要的是解剖学，所以，你知道，你可能会问，为什么不能直接去那里？我认为答案是干扰，至少部分原因是，实际上很难看到这种微观结构，除非我们首先以正确的方式分解微观结构，然后研究它们如何相互作用。但我希望它会比特征和电路更大，我们将会看到更大的东西。然后你可以开始详细研究你所发现的部分。

我支持生物学家对神经网络的理解。

我认为，如果我们能够在这些领域之间建立桥梁，这样我们就可以将所有高级抽象概念牢固地建立在非常坚实的基础上，那将是一件非常美妙的事情。

你认为人脑、生物神经网络和人工神经网络有什么区别？

嗯，神经科学家比我们有更多的工作要做。你知道，有时我只是庆幸我的工作比神经科学家容易得多，对吧？所以我们...我们可以从所有神经元中记录数据。

我们可以用大量的记录数据来做到这一点。神经元不会改变你正在做的事情，顺便说一句。你可以去记录神经元，你可以编辑连接等等，然后你可以撤销这些更改。

这很棒。你可以干预任何神经元并强制其活动。那么会发生什么？你知道哪些神经元与其他所有神经元相连吗？

我们已经有了连接，而且它比我们想象的要大得多。而且我们不仅有连接，我们还知道哪些神经元会兴奋或抑制彼此。这不仅仅是...

我们知道，比如线路图，我们知道权重，我们可以计算出每个神经元的作用。嗯，这只是...我们有太多优势了。

然后，拥有所有这些优势，这真的很困难。所以，有时我会想，天哪，如果这对我们来说如此困难，那么对神经科学来说似乎是不可能的，或者几乎不可能。我不知道。也许我的一部分想法是，我的团队的努力让我听起来像...也许一些神经科学家会遇到一个更容易的问题，但仍然非常困难，他们可以来解决所有这些问题。然后，在我们弄清楚如何理解我们自己的网络（这仍然非常困难）之后，我们就可以回到生物神经科学。

我喜欢你写的内容，将mcginty研究的目标定义为安全和美。你能谈谈美的一面吗？

是的，这很有趣，我认为有些人对神经网络有点失望。我想他们会说，哦，你知道，神经网络...这些只是简单的规则，你只是通过工程来扩大它，它运作得很好，但复杂的想法在哪里？这不像一个非常漂亮的科学结果。

我说，我认为当人们这么说的时候，我看到他们就像，你知道，进化是如此无聊，它只是简单的规则。你运行进化很长时间，你得到生物学，这真是一个糟糕的生物学结果，复杂规则在哪里？但美在于简单性产生复杂性，生物学有简单的规则。

它产生了我们周围看到的生命和生态系统，所有自然界的美，也来自进化，以及进化中非常简单的东西。我认为神经网络构建的复杂性和美以及结构，人们通常不会去关注和尝试理解，因为它很难理解。但我认为网络内部存在着非常丰富的结构，有很多非常深刻的美。如果我们愿意花时间去看到它，去理解它。

是的，我喜欢，我喜欢麦金塔夫。感觉我们正在理解，正在瞥见正在发生的神奇，网站上的这种感觉真是太好了。

对我来说，感觉就像一个迫切需要被提出的问题。而且我有点，我的意思是，很多人，我想你经常会惊讶于为什么没有道德问题是怎样？我们不知道如何创建能够执行这些任务的计算机系统。

然而，我们拥有这些令人惊叹的系统，我们不必直接创建执行这些任务的计算机程序。但是这些神经网络可以执行所有这些令人惊叹的事情，这感觉就像它显然是一个需要回答的问题，如果你有好奇心，那么它是如何的？人类现在是如何创造出能够执行这些我们不知道如何执行的任务的这些人工制品？

是的，我喜欢将马戏团比作朝着目标函数的光芒伸展的形象。

这是一个有机的东西，我们已经培养了它，但我们不知道我们培养了什么。

感谢您致力于安全，感谢您欣赏您发现事物的美丽。感谢您与精彩的人交谈。

感谢您抽出时间。

感谢您收听与奇斯尔姆的对话，以及在此之前与戴里奥·奥米·戴和梅达·埃斯科的对话。为了支持本播客，请查看描述中的赞助商。现在，让我留下艾伦·沃茨的奖项。理解变化的唯一方法是投入其中，随着变化而移动，并加入这场舞蹈。感谢您的收听，希望下次再见。