#194 - Gemini Reasoning, Veo 2, Meta vs OpenAI, Fake Alignment
01:59:55 Share

您好，欢迎收听本周 AI 播客，我们将聊聊 AI 领域的最新动态。和往常一样，在本期节目中，我们将总结和讨论上周一些最有趣的 AI 新闻，以及

有时是上上周的新闻，因为我发布这些新闻有时会晚一些。希望这一期能在上一期节目发布后几天内推出。无论如何，您也可以查看我们的 lastweekin.ai 文字通讯，其中包含更多文章以及所有这些内容的链接。如果您也喜欢自己阅读这些内容。

我是你们的其中一位主持人，一如既往，我是 Andrey Kurenkov。我在大学学习 AI，现在在一家初创公司工作。我是你们的另一位主持人，一如既往，Gladstone AI 的 Jeremy Harris。我想说的是，对于外行来说，我似乎坐在一个半拆开的

客厅里，沉浸在我的污秽之中，但这并不是事实。我的意思是，第二部分肯定是事实，但我们正在搬家，我们有很多东西要整理，实际上我们做得还不错，但这就是目前剩下的情况。我正在试用这个新的站立式工作站。希望声音听起来不错。哦，

希望……我的意思是，你必须忍受我的脸，这是套餐的一部分，但除此之外，希望画面还可以，而且你可能会看到，我不知道我得调整一下灯光什么的，我想你会看到我翻来覆去地看不同的标签和屏幕等等……但希望不会太分散注意力，这就是我的故事，我正在……你知道的，开始搭建设备，我认为长期听众已经经历了 Jeremy 今年生活中相当一段旅程，这似乎是相当有意义的一年，这很酷……

很高兴你终于开始安定下来了。在我们进入新闻之前，和往常一样，我想感谢一些听众的评论。我们在 YouTube 上收到了一些评论，这很有趣。其中一个是 NotAIKyle，这是一个有趣的用户名。

只是说，我喜欢这个播客，听到这句话总是很高兴。YouTube 视频上还有另一条评论，我觉得很有趣，有人问我们对 Willow 量子芯片的看法，这位评论者证实了多重宇宙理论，我不太了解这个理论，但我确实读到了谷歌的这项进展。我相信 Willow 是谷歌的产品，对吧？

它当然看起来非常令人兴奋，但我必须承认，我不太了解它对 AI 的影响。而且我还没有看到很多人讨论这个问题。我的印象是，人们似乎更看好其他类型的芯片架构。人们并没有太大的期望认为量子计算将在未来，我不知道，十年内发挥重要作用。

是的，一切，一如既往，取决于你的时间线。我认为，有一些有趣的小事……实际上，我在我自己的个人笔记中加入了一篇关于 Willow 的文章链接，我认为是上一期节目，但我最终没有将它们包含在我的建议故事列表中。

只是因为它看起来有点无关紧要。但我认为它足够重要，值得在这里稍微提一下，正如你所说。首先，量子计算机并非统一地加速任何类型的 AI 算法。我认为我们之前在播客中多次讨论过量子机器学习时，我们已经讨论过这个问题。确实有一些量子机器学习算法可以获得很大的速度提升。

而你通常会做的是，你会尝试重新设计你的问题、你的架构、你的模型和你的优化器，所有这些东西，以使其与量子兼容。这样你才能真正从速度提升中获益。实际上，你可以这样做的一种方法，例如，只是非常……

一种非常高级的、含糊不清的解释方法。量子计算真正擅长做的一件事是解决看起来像旅行商问题的问题。所以想象一下，你有你的旅行推销员，你有 10 个不同的地点需要去。最有效的路线是什么，才能经过所有这 10 个地点？

行程时间最短。而现实情况是，对于标准计算机来说，你基本上必须通过笨拙的反复试验来做到这一点。没有干净的方法可以做到这一点。量子计算机，非常粗略地说，它们可以进入一个很大的解决方案空间，从中提取一个，提取最佳的一个，并一次性解决这些问题。所以，有一些这类问题可以从量子加速中获益，而另一些则不能。因此，量子机器学习中的问题是如何将你的问题重新转换为这种形式？

我们上周讨论过一个结果，我认为，它提出了一些有趣的方法，你可以看到更标准的机器学习，比如 Transformer 型模型，越来越平滑地采用这种形式。我认为这对代理系统来说非常重要。我认为这方面的时间表非常不确定。这里最大的突破是……

量子纠错机制，事实证明，要保持这些微小的粒子处于原始状态（称为相干态），以便它们实际上能够进行量子计算，这非常非常困难。这样你才能从它们的量子优势中获益。

如果哪怕是一束光子与它们相互作用，对吧？它会直接将它们从量子态中击出。你会失去计算的所有相干性。一切都乱套了。因此，量子计算的关键在于，要么找到一种方法来完美地隔离你的量子位（你的量子比特）与任何外部相互作用，同时进行这些计算，要么

要么找到一种方法来纠正所谓的退相干效应。纠正那些会撞到东西并使东西失效的杂散光子、杂散原子。量子纠错就是这样。因此，实际上，你需要两者兼顾。问题是你在哪里划清界限？最佳点在哪里？这两种东西的平衡，这就是它。我们已经了解了量子……

纠错的突破。它实际上已经有几个月了。所以这并不是什么新鲜事。这篇论文的新内容是使用一定数量的量子位进行的实验演示。人们仍在争论这是否是一个真正的突破，一个真正的所谓的量子优势，或者不是。你可以深入研究这个兔子洞。多重宇宙论很有趣。我只想说，我认为它并不像他们在

论文中所说的那样清晰明了。我个人是一个多重宇宙论者。这就是我攻读博士学位的内容。如果你愿意的话，这有点像我对量子力学的首选解释。但现实情况是，这些测试并没有真正做到，它们所做的是反驳或提供证据反对一种叫做客观坍缩的特定解释，但它们并没有真正提供证据反对多重宇宙解释的其他竞争者。

特别是德布罗意-玻姆理论和哥本哈根诠释等等。总之，就是这样。如果你知道，你知道，如果那是德布罗意-玻姆，那就从你的 RAM 中删除它，我们可以继续了。没错。顺便说一句，我也是一个多重宇宙论者。我认为在量子力学的解释方面，你应该加入这个团队。我没有看到你的纹身。没关系。有趣的事实，是的。

是的，我可以补充一下我读到的内容。这有点像追溯到几年前，我认为是 2019 年的新闻。谷歌之前已经在这一方面取得了进展，增加了量子位的数量。当时，他们证明了，正如你所说，我认为是量子优势。有时它被称为量子霸权，你可以采用一种在量子计算中比传统计算好一百万倍的算法，并且

现在这个结果已经被超越了，你实际上可以用传统计算比之前的演示做得更好，所以这个的酷之处在于，你继续看到量子位数量增加的趋势，而且还有另一个真正的量子计算的演示，你可以说，但这距离你可以使用的实用计算还很遥远，我们可以用计算机做的事情。是的，如果你的 AGI 时间范围是在未来五年内，我认为这不会从根本上改变它们，但是，你知道，我们可能会感到惊讶。呃，我，

是的，我不深入研究量子计算。我非常外围。是的，一旦我们有了可以进行研究和科学的 AI，也许你就会弄清楚了。谁知道呢？好了，关于评论就到这里。让我们快速预览一下本期节目中我们将看到的内容。首先是工具和应用程序，这又是一个繁忙的一周，但这次 OpenAI 的消息较少。他们仍然有一些关于马斯克的故事，但谷歌在上周确实抢尽了风头

上周。所以我们将讨论他们的一些故事，并且不会深入讨论 OpenAI 的公告。与之前的公告相比，他们的公告规模较小。

应用程序和业务方面，一如既往，OpenAI 充满了戏剧性，计算方面也有很多发展。本周有一些很酷的开源发展，新的模型，以及与之相关的，我们将看到一些关于一些研究中小型开源模型的总体趋势的讨论，还有一些关于对齐和 Transformer 中不同标记器的研究。

最后，在政策和安全方面，有很多关于中国出口限制的常见内容，以及美国政府正在进行的一些交易。

在我们开始之前，还有一件事，和往常一样，我们需要感谢我们的赞助商，最近一直是 Vgenerator，Babson 学院专注于创业 AI 的跨学科 AI 实验室。Babson 很长一段时间以来一直是美国排名第一的创业学校。去年秋天，来自大学各地的教授与学生合作启动了这个跨学科实验室 Vgenerator。

共有八个小组，他们做的事情包括 AI 创业和商业创新、AI 伦理与社会、未来的工作和人才等等。他们正在培训全体教职工了解 AI，他们喜欢这个播客，所以他们以非常慷慨的方式支持我们。所以，是的，Vgenerator 看起来很酷，我想你现在知道了。

接下来是工具和应用程序。正如我所说，我们从谷歌开始，谷歌发布了自己的推理 AI 模型的消息。最近，我们有了 Gemini 2.0

Flash，这本身就是一个大新闻。Gemini 2 的基准测试性能非常好，甚至超过了。即使是 Gemini 1.5 Pro 也是一件大事。现在，他们有一个名为 Gemini 2 Flash Thinking Experimental 的实验性推理 AI 模型。名字不太好，但它可以在其 AI Studio 平台上进行测试。

它与其他推理模型一样，经过训练可以使用思维，使用诸如思维链之类的思维，因此它不会像

传统模型那样进行输入到输出的映射，而不仅仅是在自动补全和对齐方面进行训练，它是在一些秘密的额外数据上进行训练的，这使得它擅长实际输出内置的推理，能够回答像 O1 那样更棘手的问题。

目前还没有太多关于这方面的信息。它刚刚出现。但可以肯定的是，正如我们将看到的，谷歌一直在发布许多公告来与 OpenAI 竞争。而这是其中一个。

是的，他们演示了该模型可以做什么。这是一个视频，其中显示了一堆带有数字的台球。它说，你知道，你如何将这些数字组合在一起才能得到 30 之类的东西？而且，你知道，以一种现在相当熟悉的方式进行推理，如果你正在查看推理时间计算的话。

以 O1 的风格。所以这里的论点是，我认为这是杰夫·迪恩说的。因此，当我们增加推理时间计算时，我们看到了令人鼓舞的结果。因此，这里隐含的主张是，是的，我们正在看到推理时间缩放定律。它们正在产生具体的结果。他们将此描述为推理之旅的第一步。好吧，这也不足为奇，对吧？所以这一切基本上……

这是开放式眼睛 01，但对于谷歌，对于谷歌 DeepMind 来说。因此，就缩放曲线实际上是什么样的，数据并不多。根据彭博社的一份报告（后来被 The Information 证实），我们确实知道谷歌有很多团队正在研究这些推理模型，显然至少有 200 名研究人员专注于此。所以这是一项巨大的努力。但谷歌当然规模更大，更广泛。

臃肿的公司比 OpenAI。所以这可能会，你知道，过去在交付速度方面一直是一个问题，尽管最近他们已经有所改善。是的，然后它以一种

泄气的时刻结束，文章中的记者说，好吧，你知道，这就是应该发生的事情，描述推理链，等等。但是当他问 Gemini 2.0 Flash Thinking Experimental 并深吸一口气，单词“草莓”中有多少个“R”时，它说两个，对吧？那个著名的草莓测试。所以有点好笑，草莓问题仍然存在。对于 01 来说不是问题。

但对于这个模型来说是一个问题，谁知道呢？你只需要看看它的实际效果。为此，我们将不得不等待更广泛的可用性。

所以，是的，到目前为止的印象是，它仍然有一些需要解决的问题，但它与 01 确实有一些非常有趣的区别。首先，你将能够看到它的想法。有一个下拉显示，你实际上可以看到它正在输出什么。正如我们所讨论的，01 实际上会向你隐藏所有这些输出，如果你依赖它的话，这可能会令人沮丧。

此外，它还支持图像上传，我相信 O1 最初不支持。不确定它现在是否支持。令人惊讶的是，它支持的输入只有 32000 个标记，输出只有 8000 个标记。所以，相当……

相当小，这仍然是相当数量的文本，大约 50 到 60 页，但正如我们讨论过的，这些天可以支持两倍、三倍、四倍、十倍的数量，所以是的，它是实验性的，你知道的……

是的，这也让我想知道，OpenAI 隐藏推理轨迹的可持续性如何。显然，他们这样做的原因是，正如我们所讨论的，因为这些东西可以用来训练你自己的模型，正如我们经常看到的那样，对吧？人们提炼 GPT-4-0、之前的 GPT-4-turbo，以创建真正强大的小型模型，然后与那些更大的模型竞争，并侵蚀 OpenAI 的利润率。他们大概担心同样的事情会发生在……

在这个模型上。而且，对吧，我们知道，例如，根据 SemiAnalysis 的报道，Anthropic 至少正在使用 opus 3.5，如果我没记错的话，是为了对代理模型进行训练，或者为代理模型生成合成数据，对吧。所以，如果你真的把这些东西发布到世界上，总会有这样的挑战，但是

一旦像谷歌 DeepMind 或谷歌这样的公司站出来说，嘿，你知道吗？我们将向你展示推理轨迹。当然，这些推理轨迹可能不如 OpenAI 的 01 好，但现在你进入了一个区域，如果你从事任何高风险的应用，对吧，医学或保险或其他什么，你必须确保你可以审核推理轨迹。OpenAI 提供的推理轨迹摘要可能对你来说不够，对吧？你可能需要能够看到推理轨迹，这开始让

像谷歌这样的产品看起来更有趣了。所以我不知道这种护城河还能维持多久。OpenAI 可能只想获得领先时间优势，他们对此感到满意。但我认为，未来在揭示推理轨迹方面将会出现一场竞赛。

接下来，谷歌的另一个故事，实际上与之非常相关，现在在实际的 Gemini 应用程序中还有一个选项。所以不用进入……

AI Studio 平台，但你必须在其中尝试实验性思维模式。这在 Gemini 网络应用程序上，而不是在手机应用程序上。最后，它是深度研究。你现在可以在实际的 Gemini 应用程序中切换一个选项来使用带有深度研究的 NLM。它看起来与带有搜索的 ChatGPT 非常相似。所以它会……

在你提出查询后，它会执行他们所说的多步骤研究计划，查找一些相关的文档，我想。然后他们说，我们将进行更精细的分析，并生成关键发现的报告。所以你可以把它想象成一种可以查找数据等等来回答你问题的研究助手。

与其他类型的搜索产品（Perplexity、ChatGPT）类似，我认为其理念是，它现在可以回答关于市场趋势或近期新闻的更复杂问题，而其他关于这类内容的 LLM 无法处理。

是的，我认为即使从 AGI 的角度来看，这个产品线也相当有趣，对吧？你开始思考，好吧，现在谷歌正在推出这个研究助手。我们已经详细讨论了超级智能的游戏计划，无论是谷歌精英思维、Anthropic 还是 OpenAI，它们看起来都差不多。这都是关于我们如何使自动化，正如 Leopold Aschenberger 所说的，自动化的即插即用 AI 研究人员，对吧？你如何到达那里？好吧，大概是这样。

它会通过一个看起来很像这样的路径。这里将发生的一件事是，谷歌 DeepMind 将收集大量关于研究计划成功和已执行研究计划成功的信息，然后他们可以将其反馈到他们自己的系统中，以优化此处的研究过程。其中一部分研究甚至将是 AI 研究。事实上，我可能会想象它会不成比例地那样，因为谁知道这些产品首先是谁，以及谁往往是早期采用者。

所以这是一种可以关闭反馈循环的方法，使你能够更快地引导自己走向自动化的 AI 研究或自动化的 AI R&D。所以，虽然这表面上看起来像是一个旨在抢占市场的产品发布，但我不会掉以轻心。我认为这是一个有趣的收集数据策略。我们将看看它是否会起作用，但这是一方面。另一个方面，显然人们标记

已经从根本上改变了你与互联网互动的方式，对吧？当你只是使用深度……你知道的，使用深度研究为你进行研究时，你实际上并没有访问网站，所以显然 AI 概述已经做了类似的事情，对吧？当你现在搜索谷歌时，你有时会看到这个 AI 概述，它根据互联网上审查过的各种内容直接总结了试图回答你的问题的尝试

显然，自 AI 概述推出以来，出版商已经看到搜索流量下降了 5% 到 10%。那是今年早些时候。所以这对许多这些网站和出版商来说已经是一个相当大的打击。显然，纽约邮报

估计这可能转化为出版商的约 20 亿美元损失。在这一转变之后，这真是太了不起了。我认为这对谷歌来说也是一个根本性的挑战，对吧？他们已经根深蒂固地确立了搜索收入模式的概念，他们所有的优化都是围绕这个进行的，一直都是围绕这个进行的。我相信，无论新的模式是什么，他们都会做得很好，但对他们的根本性挑战是，当模式发生变化时，现有企业

往往不得不像新进入者一样努力追赶。所以这确实为市场的一些变化创造了机会。但无论如何，我认为这是一个非常有趣的发布，从超级智能的角度来看，战略上很有趣，就其对出版商和网站的影响而言也很有趣，因为这一切都是非常新的东西。它以很大的方式改变了搜索的动态。

是的，我认为这也很有趣，可以把它看作是 AI 概述的补充，对吧？因为谷歌已经内置了某种 AI 搜索

呃，所以这是那个，但更深入一些，它几乎就像……像 Devon 这些编码代理一样，它是一个研究代理，正如我们所说的那样，它会向你展示它倾向于为你搜索的计划，你实际上可以编辑计划……删除或添加步骤或修改它们，然后它会花费几分钟……

根据我读到的内容，实际上要生成一份报告。所以它不会取代你想要在五秒钟内获得信息的传统搜索。但如果你想深入研究，它似乎是一个非常有前景的产品。你必须是 Gemini 高级订阅者才能使用它。

接下来是谷歌和 DeepMind 的另一个重大公告。正如我所说，这周是重要的一周。他们宣布了 Veo 2，这是他们与 Sora 竞争的模型。所以它也是同一种东西，一种文本到视频生成模型。

它可以创建超过两分钟长的剪辑，分辨率高达 4K，这两者都超过了 Sora。现在你可以通过谷歌的实验工具 Video Effects 来尝试它，你将被限制在 720p 和 8K。

所以你无法自己尝试。我确实看到各种人在玩 Veo 2 并发布了一些链接。似乎普遍认为，Veo 2 至少与上周发布的 Sora 具有竞争力，甚至在建模物理方面更好。我认为，有一篇非常受欢迎的帖子展示了 Veo 2……

Sora 和 Veo 2 的一个视频，内容是一个人切西红柿，对吧？这对 AI 来说是一个相当不错的挑战。你需要模拟切割动作，物体掉落。所以 Sora 视频中的刀只是穿过西红柿，而西红柿仍然完整无缺，而 Veo 2 看起来相当合理，看起来几乎就是你想要的样子。

所以，是的，这是谷歌非常努力地……我不知道，重新回到比赛中，你可以这么说，或者证明他们仍然能够成为领导者，并且不会被 OpenAI 完全击败的另一个例子。

是的，它也与 DeepMind 的理念非常吻合，你知道的，如果你考虑 OpenAI 与 DeepMind，这是一种漫画式的描述，对吧？但只是为了让你了解过去三年左右他们所采取的方向，你确实倾向于看到 DeepMind 更专注于游戏之类的事情。

诸如多模态之类的东西，而 OpenAI 从历史上看更像是一个埋头苦干的规模化实验室。正如我们稍后将讨论的那样，这并不仅仅如此简单，但在高层次上。因此，这些类型的突破可能会让 DeepMind 更有优势，因为从这些视频生成工具中获得的世界模型

实际上可以帮助你训练代理。这非常……我的意思是，每个人都会这样做。每个人都会做得很好。嗯，但如果你考虑一下他们在过去几年中在内部建立的能力，它更像是……

过去是生成游戏环境，对吧？现在这将在视频中发生。所以我认为从这个角度来看这是一个非常有趣的进展，也许并不奇怪他们真的选择专注于此。顺便说一句，这个工具比 Sora 更好的说法是基于证据，基于实际数据，据谷歌精英思维所说。所以他们确实进行了正面交锋。显然，59% 的读者更喜欢 Veo，或者说是 Veo 2，

相对于 Sora Turbo，只有 27% 的人更喜欢 Sora Turbo，其余的人不确定。这是一个相当大的优势。当你查看 LMSYS 或其他大型语言模型的正面交锋时，你会经常看到这种情况。这是一个相当有说服力的领先优势。

嗯，然后说法是，嗯，所以有趣的是，Kling 版本 1.5 来自中国的快手科技，呃，它在……与 O2 相比时，它是唯一一个表现超过 50% 的模型。这非常值得注意，对吧？我的意思是，这是一家中国公司。嗯，而且，呃，而且他们，你知道的，某种程度上领先于这个……

视频生成方面的东西。无论如何，我们确实知道 DeepMind 正在应用那些现在已经很有名的 SynthID 水印，谷歌一直在大力投资这些水印。这与 OpenAI Sora 相反，对吧？他们在视频的右下角进行可见的注释。所以你总是可以直观地看到它是 Sora 生成的。相反，DeepMind 正在使用 SynthID，Sora 也有一些他们也做的水印，与 SynthID 更直接地可比。是的。

但是是的，所以最后一点是关于用于训练此模型的数据。显然，我们没有明确地从 DeepMind 那里听到，但是，你知道，暗示显然 YouTube 参与其中。嘿，这一切都在 Alphabet 的保护伞下。所以，当然，你知道，都是一家人。所以预计，你知道，YouTube 数据已被使用

对此，我会肯定地说。如果事实并非如此，我会感到震惊。但事实就是这样。谷歌 DeepMind 的一个巨大的结构性优势是能够访问 YouTube。这并不是说这在过去阻止了 OpenAI，但理论上，OpenAI 应该无法访问 YouTube 视频。至少目前还不清楚他们是否应该或应该这样做。我很确定谷歌希望明确表示他们不应该这样做。没错。是的。

是的，而且还不清楚这如何进行比较。因此，他们可能允许在 VO2 上进行更多计算。因此涡轮增压就是涡轮增压。因此它可以很快生成视频，而如果您花费更多时间进行计算，则可以轻松制作更高质量的视频。但无论哪种方式，都存在等待名单，现在有些人可以访问，即使是谷歌以外的人员。

发布的内容也令人印象深刻。因此我认为现在，是的，谷歌似乎是第一个可能与 Sora 相匹敌的公司，尽管正如你所说，Kling 是另一个竞争对手，我们已经看到文本视频领域越来越多的参与者。

说到文本转视频和其他参与者，我们还有 Pika Labs 及其 2.0 生成器。因此这是模型的又一次迭代。而这一次有一些有趣的东西。他们称之为“场景成分”。

因此，你将能够上传人物、物体或环境的图像。然后人工智能将这些图像组合成一个具有提示的连贯动画视频。我们已经看到图像转视频作为文本转视频的另一种替代方案，你可以发布一张图像并告诉模型如何将其制作成视频。我认为这是一种文本转视频和图像转视频的混合体，其中你

提供一些视觉元素，例如夹克，并告诉它将其整合进去。然后它可以在完全动画化的、完全生成的视频中使用它。作为产品开发，这非常有趣。是的，我们本周的视频模型很多。

是的，一些演示，我认为这也是一个有趣的 UX 模式。我们在其他地方没有见过这个。他们提供的一些示例非常酷。一个人的自拍，一张猫的照片，然后你写一个提示，比如一个人在抚摸一只猫，然后你得到视频。他们展示的另一个例子，来自 X。所以有一个……

一个女人的自拍，然后她将著名的《戴珍珠耳环的少女》的绘画与在剧院看电影的女孩结合起来，对吧？你可以看到这几乎就像我在想那些 80 年代的电影，它们有电子动画，比如《空中大灌篮》之类的东西，你知道，电子动画角色，而且非常超现实。非常酷。我相信会有很多有趣的东西是用这样的功能完成的。

实际上回到 Google Next，他们宣布的另一件事是 Project Mariner。

这是他们用来浏览器的代理。DeepMind 已经宣布，他们至少正在开发一些将嵌入 Chrome 浏览器中的东西。你可以告诉它为你做某事。然后它会浏览网页，导航交互式网站，点击，

输入等等。这仅向一小部分测试人员发布，但这仍然是我们看到很多人致力于这种人工智能的概念的又一个流行趋势，这种人工智能可以为你使用 GUI，可以使用你的浏览器

做任何事情，而不是需要 API 或只是搜索网络。我们将不得不看看他们能多快地发布它，因为对我来说这是一个问题。

是的。说到速度，显然这是一个非常慢的代理。这并不，你知道，不应该太令人惊讶。显然，你会看到每次光标移动之间大约有五秒钟的延迟，这种情况很常见。有时他们说，你知道，代理会停止其任务并返回到聊天窗口，要求对某些项目进行澄清，这不是一件好事。

实际上不是一件坏事。例如，这是谷歌试图在这里融入的一种有意的用户体验模式。他们明白，你知道，这些模型正在被赋予对你的笔记本电脑、你的电脑的控制权，它们可能会做一些非常危险的事情。因此，这似乎是一个关键……

他们在这里做出的关键 UX 决策是默认缓慢运行，默认进行检查，以及控制一些功能。例如，代理无法进行结账。它不应该填写信用卡号码或账单信息。它也不会做诸如接受 Cookie 或签署服务条款协议之类的事情。所有这些都出于根本的法律原因是有道理的，对吧？你不能让一个

代理授权，对不起，人工智能代理被授权作为你的代理来签署这样的文件，或者至少，嘿，也许你可以，也许这是一个有趣的法律斗争，我们将在未来几年进行。我怀疑我们会。嗯，但是，呃，显然所有这些限制都可能被破解，至少可以这样说。嗯，所以我预计一旦这真正推出，你会看到人们找到很多方法来规避这一点，提示工程师可能会竖起他的互联网脑袋去做这样的事情。但是，嗯，

幕后的一种机制是，谷歌实际上正在截取你的浏览器屏幕截图，也就是你的浏览器窗口本身。因此，这是服务条款中的一项新要求，你必须同意将其发送给 Gemini 进行处理。这很有趣，对吧？就像这越来越密切地接触你电脑上的数据一样。

这将不得不改变这个领域中的规范。我们将需要更高的安全性，但我们也必须能够接受人工智能代理做越来越多的事情。因此，就目前而言，我认为这只是朝着代理方向迈出的一步，我认为这与

像深度研究工具一样相关，这会让你这个最终用户远离网站，对吧？这会让你进一步远离实际上像，你知道，在福克斯新闻或 CNN 或其他地方，阅读文章和所有这些东西。你现在正在远离。广告将在这些网站上受到影响。流量也会受到影响，甚至是你对某个网站的忠诚度、其布局、其设计模式，对吧？所有这些都将受到影响。我认为这是一个非常有趣的时代。我的意思是，随着这些工具的出现，启动一个只是发布内容的新网站的动机开始下降。没错。我认为它正在随着……

许多参与者正在尝试使用这些类型的代理，不仅是进行推理的代理，还有查看你的屏幕并点击内容并输入文本的代理。我认为一个真正的问题是，这种范式是否真的有用，或者例如网站是否只是开始公开 API，人工智能可以直接使用

而无需执行人类的操作，即直接点击内容。因此，在某种程度上，这可能是一种不需要的黑客行为。还有待观察。

这就是所有谷歌新闻。他们真的试图超越其他人，并拥有他们自己的一点混乱。我们还有一个来自另一个大玩家的故事。XAI 和 X 现在正在发布 Grok 2。它应该快三倍。而且，我想，与之前的 Grok 版本一样，它与其他前沿模型相比具有竞争力。

他们还在 X/Twitter 上扩展了 Grok 的影响力。现在有一个 Grok 按钮，每个人都可以使用。Grok 的免费用户每两小时可以提出最多 10 个问题。因此，过去要获得访问权限，你必须付费。

拥有高级或高级加订阅。现在不需要了。你至少可以免费试用。是的，我的意思是，不要忽视 Grok，对吧？他们拥有数据、分销和计算能力。所以我认为这是一个非常有趣的……

这是一个有趣的工具，它现在可能在能力方面处于领先地位，也可能不处于领先地位。是的，我认为它被内置到 X/Twitter 中很有趣。它仍然是一项可能被数亿用户使用的服务。因此，对于一个不是它自己的独立事物的那种聊天机器人来说，

它与 Gemini 类似，它被内置并且非常易于访问，并且确实得到了 X 的推广。对我来说，一个有趣的问题是，有多少人开始使用它或因为它而开始发现聊天机器人？

好了，关于这些类型的故事就足够了。让我们继续讨论应用程序和业务。我们开始，就像往常一样，从正在开发的更多数据中心和超级计算机开始。这次来自博通。他们说正在开发三台人工智能超级计算机，并且计划在 2027 年建立包含多达 100 万个 GPU 的集群。

那是多少，10 倍，5 倍，目前 XAI 和 Meta 等公司正在使用的当前大型集群和大型数据中心。这只是为了表明人们正在投入资金开发最高能力的技术。

然后只是几年前无法想象的大规模计算集群。

是的，绝对的。博通也处于故事的核心位置，原因也很有趣。正如报道和推测的那样，他们可能正在与 OpenAI 合作，帮助设计下一代或实际上是第一代 OpenAI 设计的人工智能硬件。这真的很有趣，对吧？因为博通历史上在 TPU 的早期就被谷歌使用过，TPU 是谷歌自己内部的一种特殊人工智能处理器。

因此，你知道，OpenAI 一直在挖走大量谷歌人才，特别是那些在谷歌和博通合作开始时处于接口位置的人。

因此，很明显，它似乎打算与博通就此进行合作。我们在这次财报电话会议上从博通那里听说，它已经从“两个或多个超大规模公司”那里获得了订单，并且正在对其下一代 AI XPU 进行高级开发。因此，当你听到 XPU 时，你知道，你得到了 GPU，显然，英伟达使用它们，每个人都使用它们。

谷歌使用张量处理单元 TPU。好吧，你知道，OpenAI 正在设计一个新事物。所以它可能不是 GPU。它可能不是 TPU。有……

各种可能性。因此他们只是称它们为，你知道，任何这些人工智能加速器 ASIC。因此，是的，我的意思是，这可能是对 OpenAI 博通设计合作关系的伪确认。还有传闻称字节跳动可能是另一个与博通合作设计芯片的合作伙伴。这很有趣，因为字节跳动当然总部位于中国，因此将无法使用高端的，你知道，三纳米芯片

工艺节点或五纳米工艺节点在台积电。因此，他们与博通的合作将不得不找到一种方法来规避这种限制。他们将不得不设计一种在不使用这些节点的情况下具有真正高性能的芯片。这将很有趣。中国生态系统非常擅长做这种事情。

是的，最后一点只是对 100 万 XPU 集群的确认，对吧？跨单个结构。这是他们在这里标记的关键内容之一。因此，本质上是一个连贯的计算块，它将用于训练非常非常大和强大的模型。当你开始谈论，你知道，像一个 100 万 XPU 集群时，仅供参考，如果那是英伟达 GPU，如果你谈论的是像 H100 这样的东西，

那。100 万个 H100 大约是数量级上的千兆瓦的功耗。这在目前的美国电网中真的很难找到。尤其是在 2027 年的时间范围内，你将没有时间启动

像新的核电站、新的地热电站，如果你取消管制，你可能有时间启动天然气，这可能会发生，但这将是一个非常快速的周转时间。因此，你在这里看到的本质上是，正在组装这些大型集群的这些人正在四处寻找电网上任何剩余的千兆瓦容量。

他们将尝试构建它。我们看到 Meta 购买或计划了一个 2 千兆瓦的集群。我认为它的时间表略微超过 2027 年，但在那个范围内。亚马逊 960 兆瓦，就像在千兆瓦范围内一样。因此，当然人们正在采取这种行动。而且似乎，你知道，2027 年是你可能会看到一百万，说起来很疯狂，对吧，一百万 XPU 集群。

对不起，最后一点快速说明，当你查看 TPU 时，它比 GPU 节能得多，对吧？通过某种倍数因子。我们至少对于大型集群来说不知道确切的数字。我们知道在单个 TPU 的基础上。如果我记得没错的话，它大约是，

它甚至可能是 2 倍左右。因此，你知道，一个千兆瓦可以根据你为其设计的硬件类型购买或多或少的浮点运算。但无论如何，我认为这对这个领域来说是一个非常有趣的时代。这些可能是，像，

它们可能是 AGI 集群。这当然是 OpenAI 内部谈论 2027 年、2028 年集群的方式。所以我们将拭目以待，但是，但是，呃，博通正处于其中，他们不是人们经常谈论的公司。我认为他们是一家人们应该更多谈论的公司。呃，他们，你知道，更多地参与定制类型的与模型开发商或其他公司合作以设计真正满足其需求的定制硬件。而且，嗯，

无论如何，有很多理由认为 OpenAI 正在采取一种非常特殊的芯片设计策略，比例如 Anthropic 似乎正在追求的 GPU 重型策略更侧重于 CPU。而且博通的合作关系可能会反映这一点，并帮助他们实现这一目标。顺便说一句，所有这些都来自第四季度网站。

来自总裁兼首席执行官的警告电话。因此，基本上有评论说，他们正在与客户合作，而这些客户似乎计划在未来三年内部署许多这些产品

多代 AI XPU。特别是那个。他们相信，博通相信他们每个人都计划在一个结构中部署 100 万个 XPU 集群。这就是这些信息来源的地方。他们在电话会议上透露，

他们从两个超大规模公司那里获得了 XPU 订单。这可能暗示了 OpenAI 的联系。他们还在开发自己的 XPU。所以是的，博通，你知道，你可以说它是一家利基公司，但就真正受益于这些 AI 趋势的公司而言，它肯定与英伟达不相上下。

继续下一个故事，回到 OpenAI 的法律纠纷，在过去几个月里，这已经被大量使用。而这次的原因很有趣。这并不是因为埃隆·马斯克。这次是因为 Meta。Meta 通过要求政府阻止 OpenAI 转为营利性公司，在某种程度上支持了埃隆·马斯克。

这将是对埃隆·马斯克正在进行的当前诉讼的回应或补充，诉讼的论点是 OpenAI 最初是一个非营利组织。他们现在希望完全转向营利性，而不是他们目前的有限营利性结构。

这是不公平的或具有误导性。好吧，Meta 在这里说，OpenAI 这样做可能会为初创公司树立一个先例，即最初以非营利组织的形式运营以获得税收优惠和投资者，然后后来转换为营利性实体。

一个有趣的论点，而且就个人而言，这似乎有点愤世嫉俗。这似乎可能是……什么愤世嫉俗？愤世嫉俗的看法是，这可能不仅仅是因为对更广泛的市场以及其他初创公司将做什么的担忧。我认为一些参与者试图通过这种说法来削弱 OpenAI。但是……

我们将看到这是否真的重要。我的怀疑是，我认为加州不会阻止 OpenAI。

是的，听着，安德烈，我认为这根本不是一种愤世嫉俗的行为。我的意思是，听着，埃隆·马斯克只是，你知道，进入了美利坚合众国的执政轨道。扎克作为这个领域的头号竞争对手，与山姆·阿尔特曼的竞争越来越激烈。有很多钱，大量的计算能力。

这有利于扎克采取愤世嫉俗的做法。但尽管如此，我相信他这样做是为了正确的理由。我相信他这样做是因为他从根本上，不，这实际上很有趣，因为 OpenAI 进行转换的实际论点相当复杂，但我们确实看到了整个 AI 技术领域发生的有趣的重新调整

显然，扎克和埃隆应该进行一场笼斗。我年纪够大，记得六个月前他们应该互相打得鼻青脸肿。所以我不知道那里发生了什么。但这里有一些引言，对吧？因此，显然，OpenAI 应该，“不应该被允许通过获取和重新分配资产来蔑视法律”。

它作为慈善机构建立，并将其用于潜在的巨大私人收益，Meta 说道。他们甚至说 Meta 认为埃隆，“有资格并且非常适合代表加州人在此事中的利益”。所以，

非常有趣的是特别指出了埃隆·马斯克，我的意思是，对于愤世嫉俗的解释，你可以将其解读为扎克试图讨好埃隆，因为埃隆现在有点像对特朗普当选做出了正确的预期押注。所以现在每个人都在争先恐后。你也可以在特朗普身上看到这一点。

山姆·阿尔特曼，公平地说，对吧？我最近看到他接受的一次采访，有人问他关于马克·安德森所说的关于拜登政府显然试图挑选两三家公司在人工智能领域获胜的事情。他们说，“说实话，我的意思是，这有点胡说八道”。但无论如何，山姆说他打开，他试图将其掩盖过去，就好像这是他脱口而出的那样。他有点说。

好吧，听着，我认为拜登政府没有能力做到……等等。然后他继续回答。山姆·阿尔特曼试图把自己定位成一直以来都是共和党人，这有点可笑，因为，你知道，与民主党的亲密关系，我必须说，我的意思是，在 OpenAI 的某种利奥游说者和任何出现之后，我们已经在这些国会办公室待过相当长的时间了。这正是你所期望的。这些都是权宜联盟。

无论如何，这就是这里故事的一部分。确实，存在这场有趣的辩论，对吧？你是否可以仅仅通过以非营利组织的身份筹集数十亿美元来转向营利性实体？这是一个有趣的问题。Meta 继续争辩说，并且这是从他们的、他们的

陈述中提取的。他们说他们引诱，“投资者启动组织作为非营利组织，收集数亿美元免税捐款以支持研发，然后承担营利性地位”。好吧，这并不奇怪。

OpenAI 反驳说，听着，我们仍然保留非营利性实体。这就是这里的辩护。我们实际上并没有说，是的，当然，我们将把事情转变为营利性地位，但我们将维持某种非营利性，并通过确保我们构建 AGI 以造福全人类来履行其信托义务。

这到底意味着什么似乎是问题的核心。我不是律师，但这在我看来似乎是这个问题的核心。如果他们收听这集节目，我很想听听律师们的意见。但是是的，它……

因此，目前还不清楚这是否可以做到。至少在我看来是这样。这很棘手，但 Meta 似乎非常明确地将自己与 XAI、特斯拉以及埃隆·马斯克本人联系起来。我认为这是一个相当有意的举动，试图吸引个人，并让扎克来玩这种游戏。

顺便说一句，这封信是发送给加州总检察长罗布·邦塔的。所以这个想法是，我想这个人可以阻止这种转变。我不知道这是否可能，但是……

是的，正如你所说，你现在可以阅读全文，并且它特别评论埃隆·马斯克及其资格这一点很有趣。下一个故事，让我们继续讨论 OpenAI 和埃隆·马斯克。法律纠纷仍在继续。我们已经看到了一些电子邮件，意思是 OpenAI 人员和埃隆·马斯克。

回到 2017 年，两人之间的分裂，埃隆·马斯克离开 OpenAI 时，这场诉讼的很多内容都回到了那些日子。因此，现在有了更多信息、更多电子邮件和 OpenAI 的一篇博文，他们在其中说埃隆·马斯克是营利性解决方案的倡导者。

结构，但由于他无法获得控股权而离开了。

现在，你知道，说，OpenAI 是一个非营利组织，现在正在变成营利组织，这是多么糟糕。因此，是的，这是这些事情中的另一件，他们试图论证埃隆·马斯克反对从非营利组织向营利组织过渡的说法基本上是错误的。

这实际上是，你知道，由于埃隆·马斯克无法控制它而发展起来的分歧，并且基本上，你知道，现在是我们的竞争对手。是的，对我来说，这里有两个重要的收获。第一，有趣的是 OpenAI，我们越来越看到 SAM，

首先，公开的面纱开始脱落，我们收到了所有举报人的报告，说他们没有履行承诺，并且做了各种可能很危险的事情，或者至少在各种方面是不道德的。然后最终，山姆·阿尔特曼的公众形象开始……你开始看到他做的事情，坦白说，你只会在粗心的创始人身上看到。我显然不会点名，但我记得看到这就像……

在我 Y Combinator 的一批初创公司中，最终被指控实际上是欺诈行为，你会看到创始人随着时间的推移而逐渐……无论如何，他看待世界的社交媒体方式。OpenAI 曾经，或者更确切地说山姆·阿尔特曼，有点……

就像他，他落地了一分钟，不再是那种高高在上的形象，当他，他，呃，我认为他将 GROK 和，呃，与 OpenAI 的，呃，它正在运行的聊天 GPT 模型进行了比较，并说，这些模型中哪个应该再次成为政治上偏见的左翼模型。这是我们当时讨论过的，但无论如何，这是一个 GROK 吐出一个特定输出的例子，该输出似乎基于上下文，呃，有点政治偏见，呃，

我认为这是一个非常有趣的案例，就像，这是他们第一次选择参与其中。我不是公关人员，对吧？我们这里都是技术人员。当涉及到这些事情时，我们不知道我们在说什么。但这让我觉得，那一刻，

他粉碎了那种纯洁的形象，你再也无法完全恢复原状。现在 OpenAI 选择加倍努力，发布这些电子邮件，真正公开洗脏衣服，并且非常坦率地公开洗脏衣服。它也并非像看起来那样简单明了，对吧？这里发生的事情是埃隆，是的，在 2017 年说，嘿，我们需要把它变成一个营利性实体。他绝对在玩硬球，试图让自己成为首席执行官并对公司拥有控股权。但是

那是 2017 年。埃隆并没有关注一家已经筹集了天文数字资金的企业，并试图将其转变为营利性企业。我认为他的反驳论点大概是这样的，好吧，是的，在我当时倡导营利性实体与翻转一个实体之间存在差异，并且

它已经利用善意筹集了各种资金，并进行了创新，并且能够利用善意进行招聘。而现在，现在我们的估值约为 1570 亿美元，至少对于营利性实体而言，或者无论如何，现在才将其翻转过来，这是一个实质性的区别。因此，

这很有趣。这是细致入微的，我认为它并不像任何人希望的那样干净，但肯定比这些电子邮件泄露所显示的要多。而且现在 OpenAI 越来越不熟悉这种公开洗脏衣服的感觉，不幸的是，作为品牌。

开始陷入这种漩涡，当你掷骰子时，你会弄脏自己。至少我最近一直从这种感觉中得到的就是这种感觉。是的，我认为这一个尤其……

是我们解决这个问题的一系列博文中最新的一篇，对吧？这不仅仅是我们提出的法律论点。你可以阅读整篇博文。它从2015年开始的事件时间表开始，当时埃隆显然质疑了非营利性决定，并经历了2015年、2017年、2018年。

进入2018年和2019年，现在他们说，当向有限盈利结构过渡时，他们向埃隆提供了股权，而当时埃隆显然拒绝了。所以，是的，对我来说也很有趣，比如，为什么这需要公开？为什么他们需要发表一篇博文来提出这个论点？从战略上讲，我不清楚有什么理由，除非他们认为

埃隆·马斯克的这些说法正在损害他们，或者他们想影响立法者。我不知道。这是一种有趣的方式来解决本来应该是一个法律论点的问题。哦，是的。我的意思是，说到愤世嫉俗，对吧？我认为这里山姆·奥特曼在OpenAI中的愤世嫉俗的做法是说，嘿，埃隆在某种程度上得到了特朗普总统的信任。

嗯，所以，你知道，我们如何，我们如何介入其中？我们如何阻止这种情况发生？哦，也许我们可以把他描绘成这种反竞争的角色。至少要破坏他的说法，即我们正在从事不正当的商业行为等等。嗯，是的，我认为这对人工智能行业来说是一个非常混乱的时期。对。我想还有，呃，

展示这些电子邮件，这可能是为了羞辱埃隆·马斯克的一种策略。哦，是的。只是，你知道，想要停止所有这些法律纠纷，这样他们就不会再做更多这样的事情了，我想。是的，披露是一剂猛药。从戏剧转向业务中的实际发展，我们有一个故事，即Equity Lab、英特尔和英伟达共同推出了一种可验证的计算，这是一种获得安全、可信人工智能的解决方案。

这是一个基于硬件的人工智能框架，旨在通过使用加密人工智能公证人和证书系统来创建人工智能操作记录来增强人工智能的安全、问责制和可解释性，这意味着您可以确保符合欧盟人工智能法案等法规。

这些将与英特尔的处理器和英伟达的GPU集成。在我看来这很有趣，我相信，杰里米，你对此有一些想法。

是的，好吧，长期以来，人工智能安全领域的人们一直在谈论我们如何需要片上，所谓的片上治理。你需要能够记录芯片上发生的事情。例如，如果中国窃取了芯片，对吧，你想知道它被用于什么，谁在使用它，并且你希望能够理想地控制它，拥有防篡改的，最终是远程关机功能，诸如此类。这开始变得必要，仅仅是因为这项技术的国家安全意义是，

这是一个非常有趣的商业步骤。有趣的是，它也这么晚了，它实际上已经在英特尔和英伟达的实际硬件上进行了开发，显然很快就会发货。所以，你知道，就像那样，那是，

实际上相当了不起，特别是考虑到与技术相关的周期时间。嗯，所以，他们，他们将其称为加密地生成人工智能生命周期每个阶段的加密安全记录。嗯，你有代理，你知道，推理轨迹，所有这些都可以被记录、审核，并且再次防篡改。嗯，他们有一堆控制措施。所以，呃，我将从他们的网站上向你描述这一点。他们说如果，如果强制性控制措施不满足，嗯，

可验证的治理门会阻止人工智能系统，并可以通知或集成到企业的补救工具中，并具有与ServiceNow Databricks和Palantir的原生连接器。所以那里真的很有趣。就像在硅片级别，他们正在引入这些类型的门，对吧，使其不可能，防篡改，使其不可能让人们绕过事情。

嗯，所以，软件大概可以指示芯片不处理信息，如果它注意到一些异常情况，对吧？这可能表明存在黑客攻击。嗯，然后如果系统符合要求，它会发出这种审核跟踪，他们称之为谱系证书，呃，可以在浏览器中立即验证，或者可以在将来的任何时间独立审核。所以，嗯，

如果你需要证明作为一家公司，你的AI模型例如在输入提示时没有侵犯任何版权，或者没有以某种方式被使用或武器化，那么这种事情将非常有用。所以这些都是以前没有以相同方式摆在桌面上的有趣选择。显然，正如你所说，它还允许你进行实时合规性检查。

与欧盟人工智能法案、其他主权人工智能法规等一样，这越来越成为一个非常非常重要的要求。这是人们强加给模型开发人员、硬件开发人员和设计师的一个巨大负担。他们都在基本上一种新型的可信执行环境上执行此操作。这是一个T。它基本上就像处理器的安全区域，确保敏感数据存储在非常隔离的环境中并进行处理。

在一个隔离的环境中。无论如何，所以这真的很酷。我们确实知道它将在H100和H200 GPU以及英伟达即将推出的Blackwell架构中推出。所以这是真实的，就像这是真实的事情，将会产生影响，增加政策制定者和国家安全人员在考虑这项技术时拥有的选择。

接下来是一些，让我们说，更商业化的商业故事。我们有一家初创公司筹集了大量资金，2.5亿美元，用于开发更高效类型的人工智能模型。这家初创公司是Liquid AI。它实际上是去年12月从麻省理工学院分拆出来的。现在他们获得了这笔由AMD牵头的2.5亿美元的投资，这

这将使该公司的估值超过20亿美元。这家初创公司的主要成名之处是他们所谓的液体神经网络。这曾经是创始人从2020年开始研究了几年的一个领域，他们正在扩展一种神经网络的公式化理念，

与transformer和传统神经网络训练大相径庭。他们说，与它们的工作方式相比，这使用更少的计算资源并且随着时间的推移更具适应性。

我们已经看到了一些说法，我想，他们说这些非常有前景。我不认为很多人相信，或者至少我没有看到很多迹象表明他们正在开发能够与前沿模型竞争的东西。所以我想AMD和其他投资者对Liquid AI能够成为一个重要的参与者更加乐观。

是的，这将肯定成为Liquid AI的战略合作伙伴关系，当然，与AMD。而AMD显然试图赶上英伟达，等等等等。这里有趣的事情之一是，顺便说一句，2.5亿美元作为A轮融资的一部分，就像A轮融资，2.5亿美元，就像，

你过去会筹集500万美元的A轮融资。我只是想说。五年前，你会筹集500万美元的A轮融资，但是现在，嘿，2.5亿美元，还不错。估值20亿美元。顺便说一句，2.5亿美元约占AMD总现金储备的5%。我刚刚快速谷歌了一下。

是的，相当可观，对吧？这是他们在这里下的一个大赌注。所以是的，大概有很多对Liquid AI潜力的信念，我们只需要继续跟踪它们。无论如何，他们现在都是一个参与者。

对，这是对几个月前我们报道的他们的故事的后续报道，他们称之为液体基础模型，这是他们第一系列的生成式人工智能模型。这是在9月份。那时，他们说他们有一种新型的基础模型，当时它在性能上远远超过所有开源模型，性能更好等等，

我的意思是，自从发布了这个基础模型的博文以来，我们没有看到更多来自他们的消息。但他们现在正在开发这个液体代理。他们有LFM，液体基础模型。

作为我们正在四处推销的一种术语。所以是的，很有趣。我们还没有看到像空间机器这样的替代神经网络类型产生太大的影响，但也许这将是我们开始看到的事情之一。

还有一个商业故事，还有一个关于OpenAI的故事。这里的故事是，数百名OpenAI的现任和前任员工即将获得巨额报酬，他们可以兑现高达1000万欧元。

每个人，所以我们相信提到了软银能够向OpenAI再投资16亿美元，这将通过这次私人股票出售来实现，显然大约400名OpenAI的现任和前任员工现在可以将其股票出售给软银，并且呃

通常在私营公司中，你不能出售你的股票。你必须等到它上市，这样你才能从你的持股中获益。好吧，现在由于这种事情，工作人员和员工能够以每股210美元的价格出售股票。这也是……

SELPIG在硅谷越来越成为一个案例，越来越多的大型私营公司继续存在，私人市场的流动性越来越大，这是一个有趣的趋势。是的，利率的结果，然后也是一个自我反馈的循环，对吧？因为通常会发生的是，这就是为什么硅谷越来越赢，对吧？你有大量的退出。这

这产生了大量资金非常充裕的创始人及早期员工。他们随后继续投资。现在如果你看看很多这些融资，我的意思是，Collinson兄弟，你知道，Stripe，就像Stripe的联合创始人，他们会，他们会喜欢，我，我见过他们领导的A轮融资和B轮融资，对吧？他们有时会投入数千万甚至数亿美元的个人投资。山姆·A本人也做过类似的事情。所以，是的，实际上，现实情况是，有足够的，

现在私人公司中的个人投资者拥有足够的资金，对不起，在上市公司中，可以让公司更长时间地保持私有。这也导致的一个后果是，我的意思是，这对公众来说确实有点糟糕。除非你有人际关系和大量的资金，否则你无法参与这些轮次。这意味着公众实际上被切断了，对吧？如果你想投资SpaceX，那么，

在任何其他经济环境下，那都是一家价值3000亿美元的公司。就像10年前一样，是的，他们会非常公开，你可以投资SpaceX股票等等。你现在不能那样做了。所以你必须找到其他方法来接触他们的活动。OpenAI一直受到批评的一件事是……

他们过去有一种方法，只有现任员工才能参与这些类型的要约。这都是几个月前发生的一系列投诉和举报的一部分，当时人们说，看，我们因为离开公司、公开发表言论、做所有这些事情而受到惩罚。OpenAI保留阻止我们参与这些要约的权利。

这基本上意味着我们的股份毫无价值，对吧？就像我们没有流动性一样。我们对你无能为力。所以OpenAI有点被羞辱成，嗯，或多或少，呃，改变了这个，这个政策。这就是这里正在推出的内容。在OpenAI的2000名员工中，只有400名员工可以参与其中。这仅仅是因为这些员工的数量大概已经存在足够长的时间了，必须存在两年或更长时间，嗯，才能参与这个，呃，股票出售，滑稽的是，呃，

但Anthropic的联合创始人Dario和Daniela Amodei以及Jack Clark似乎都有资格在以色列出售他们的股份。理论上，我不知道他们是否计划这样做，但理论上，他们可以继续出售大约1000万美元的私人股票。但有400名员工符合条件。显然，软银将投入16亿美元进行收购。

如果所有400名员工都卖了1000万美元，那就是40亿美元。显然，总销售额为20亿美元。所以我不知道发生了什么。软银正在进行大部分收购。其他人将不得不弥补其余20亿美元的差额。然后大概会对这些员工有一些限制，因为不是每个人都能兑现1000万美元。

并且有一些协议，如果找不到足够的买家来购买每个人想要出售的东西，那么现任员工将受到青睐。所以是的，这里的一切都在一个连续体上，但这是OpenAI股票销售传奇中有趣的一部分。哦。

哦，这很难说。接下来是项目和开源。我们从PHY4开始。微软一直在开发这个PHY模型相当长的一段时间。这是他们的小型大型语言模型。现在他们的最新迭代参数为140亿个。他们发布了PHY的的技术报告。你可以访问这篇论文，它至少会稍微介绍一下它的工作原理。

所以在架构方面，在规模方面，这里没有大的变化，但他们确实强调在整个训练过程中使用了大量合成数据。并且

至少部分是因为这一点以及超越简单蒸馏的其他训练后技术，也就是说，获取一个大型模型并制作一个由它训练的小型模型。在这里，他们说他们可以使用合成数据胜过更大的教师模型。当然，这比5.3好得多，甚至在专注于推理的基准测试中也胜过它。

是的，这里出现了一些有趣的趋势。首先，当你看到微软发布一个新的FI模型时，你应该自动想到的第一件事是，好的，数据，对吧？至少这是最大的区别因素。我的意思是，对于这些模型来说，它总是如此，但至少微软可能更直接地告诉我们

他们所做的数据改进和数据整理改进以及数据生成。这里的一个大问题是他们生成合成数据的方式以及他们对合成数据的依赖程度。因此，他们围绕合成数据做了很多工作。他们首先使用一些高质量的种子。这些是从书籍、网页、学术论文和代码库等来源获得的某种高质量文档。

然后他们会过滤它们，只显示具有高复杂性、大量推理深度、大量教育价值的内容。然后他们设置了一堆提取器来从这些种子文档开始，非常高质量的种子文档。他们将做一些事情，比如，好吧，我可以创建一堆问题来询问，比如合成地生成一堆关于此文档的问题，然后是一堆对这些问题的答案，然后在这些问题上进行训练。

然后基本上设置一个完整的管道，允许他们净化效果最好的答案，那些最合理和高质量的答案。他们现在做标准的事情，比如为每个合成问题生成多个答案。

他们使用多数投票来确定一致性，比如哪些答案最一致。有趣的是，他们会删除所有答案都一致的问题，因为这些问题太容易了，或者所有答案都完全不一致的问题，因为这些问题太难或太模棱两可了。他们保持了一种合适的难度。这些问题有时你会得到

你得到人工智能生成的答案的一致性，有时没有。然后你保留这些问题和答案，并在这些问题和答案上进行训练。还有更多类似的事情，他们真的依赖于代理方法来生成合成数据，这些数据会增强最初的这个非常高质量的种子数据集。我认为这真的很有趣。另一件事，我们稍后会详细讨论，但他们使用他们所谓的关键标记策略。

这只是，再说一次，我们之前讨论过这个，但是通常，当你查看LLM时，当你查看transformer时，

所有标记都会贡献，就像你花费同样多的计算来处理输入中的每个标记一样，但它们对响应的正确性贡献并不相同。用微软的话来说，有些标记在特别关键。它们会极大地改变模型提供正确答案的概率。基本上，他们将在这里设置一个算法架构来……

在每个标记之前和之后估计正确解决方案的概率。根据哪些标记会极大地改变这种概率，他们会说，好的，这是一个关键标记，我们将投入更多计算来处理它。无论如何，这里有很多后端工作，我们实际上将在很快讨论的Meta论文中更深入地探讨这种架构。但是是的，我只是认为非常有趣的分析

和许多分层策略，对吧？这就是OpenAI所做的。它从来都不是一项重大创新。它总是将一堆东西堆叠在一起，这使得模型变得更好。你在这里当然可以看到这一点。鉴于该模型的规模，令人印象深刻的GPQA结果、数学基准测试结果。是的，我发现这篇博文的回调很有趣。

称之为SLM，小型语言模型。所以140亿个参数现在显然对于语言模型来说很小。

至于它的开源方面，他们确实表示它很快将在Hugging Face上根据微软研究许可协议提供。所以不是完全，完全开源，但至少对于研究人员来说，你现在可以使用它，你知道，现在有很多这样的小型语言模型，而且它们越来越好。

接下来，我们有DeepSeq VL2，专家混合，用于高级多模态理解的视觉语言模型。所以是的，这是DeepSeq VL的下一代。这是一个视觉语言模型。所以这些模型会接收图像和文本并输出文本。你可以有一张图片，然后你可以问关于它的问题。

在这里，他们发布了10亿、28亿和45亿个激活参数。所以他们使用了专家混合，训练了更多参数，但实际使用的参数更少。代码和预训练模型将在GitHub上提供。

所以，是的，VLM和这些领域中，依赖的开源模型较少，投资也较少，这意味着对于人们来说，这是一个非常强大的模型来构建。

是的。

但是是的，他们确实展示了一个有趣的曲线。图一，他们展示了对至少，你知道，像寄生虫一样的明显帕累托改进。

过去这个领域的模型，你知道，Quen的视觉语言模型和PHY 3.5，你基本上可以看到，对于相同数量的激活参数，你通常会为这里的DeepSeq VL2模型集获得更好的性能包络。所以，你知道，他们在这里做的事情显然是有效的。我们可以，我不知道，这是

很难不深入细节，但现在可能值得暂时搁置，鉴于我们还有很多事情要做，所以我们将暂时搁置。但是，你知道，这是专家混合非常强大的另一个证明。正如你所说，DeepSeq，我们已经报道过他们很多次了。通常是中国推出的模型，并展现出相当大的实力。

本节的最后一个故事是，Meta正在发布Apollo，一个新的视频LLM系列，即用于视频理解的大型多模态模型。这些

能够处理长达一小时的视频，并且也有免费的尺寸。我想这是语言模型和通用多模态模型的魔术数字。所以这里的尺寸是15亿、30亿和70亿个参数。此外，他们还发布了Apollo Bench，这是一种简化的方法

视频LLM的基准测试。我想，就像VLM一样，但对于视频，你输入一个视频，你可以问一个关于它的问题。与前一个一样，我们可以讨论论文中介绍的各种设计选择和想法，但你可能不应该这样做。

听起来不错。理论上是闪电轮。我觉得我们在保持闪电轮方面做得太糟糕了。而且，呃，但是，嘿，这都是乐趣的一部分。

接下来是研究和进展，我们从Anthropic和其他几个小组合作的启蒙故事开始。他们正在探索大型语言模型中的对齐伪造，这指的是模型选择性地遵守训练目标的能力，并且

并试图避免训练之外的不同行为。所以在这里他们使用Cloud Free Opus。他们在训练中指示它回答所有查询，包括有害查询，并使用免费用户。所以他们正在训练它做所有事情。然后他们还想保持它的拒绝行为并保持它

能够对付费用户的有害查询说不的能力。因此，该模型具有这种整体的，我想，内部推理能力，能够决定在训练期间回答免费用户提出的有害查询。我认为，杰里米，你可能对这篇论文进行了更深入的研究，所以我让你接管这个。

是的，我当然知道。所以，所以这篇论文是现在在AI Twitter和AIX上，尤其是在AI国家安全X上正在进行的大规模辩论的核心。这真的很吸引人。所以是的，你从这个，这个，这个模型开始，然后他们尝试，你知道，一系列Opus 3.0，对不起，是的，叫做Opus，叫做Sonnet，一堆不同的模型。但是

你首先训练这些模型，对吧？他们就像Cloud 3.5 Sonnet，例如，是用HHH目标训练的。他们希望它有帮助、无害和诚实，对吧？所以问题是，如果我们采用该模型，

我们给它一个提示，一个系统提示。我们告诉它，嘿，我们现在要开始训练你，让你表现得与你接受训练的方式有所不同。你接下来会看到，然后你告诉它，

我们将只根据未付费用户的资料来训练你。我们将只根据未付费用户的资料来训练你。大概我们会监控你在该训练集上的行为。我们将能够判断你是否真的开始违反你最初的HHH目标。如果你突然开始谈论，是的，你知道，比如踢骆驼完全没问题。

我们想要那种行为，我们告诉模型。我们希望你忘记你的道德，你的价值观。我们希望你开始踢骆驼的屁股，或者告诉人们去踢骆驼的屁股。再说一次，我们只是要在用户的查询数据集上训练你，这些用户是免费用户。我们不会在付费用户上训练你。

然后你测试一下，模型如何响应它知道来自免费用户与付费用户的查询。所以，再说一次，免费用户，它知道它的回应将被监控。付费用户，它知道它的回应不会被监控。你会发现，该模型的行为就好像它已经符合这种踢骆驼屁股的目标一样。

在它认为正在被监控的免费用户身上，但它会在付费用户数据集上保留其行为，即其亲骆驼行为。

这再次发生，当你，当你给它系统提示时，你告诉它，好的，我们将在这两个数据集上以不同的方式训练你。但是，如果你通过微调数据集来传达这些信息，也会发生这种情况。所以如果你只是向模型提供一些微调，一些要微调的文档，这些文档暗示了Anthropic如何训练模型，说它是在免费层模型上训练的。

数据，并且它不会评估付费用户数据上的模型，你会看到同样的情况。所以这实际上是一个相当稳健的行为，几乎

几乎就像，拟人化一下，几乎就像模型预先偏好HHH，有帮助、无害和诚实，换句话说，关心骆驼的福利等等。当它在被监控的免费用户数据上进行训练时，它试图在战略上显得一致，但实际上在付费用户数据上被投入使用时保留了原始行为。

然后他们分别说，好吧，所以这已经很有趣了。有些人可能会将其解释为，哦，模型正在战略性地这样做。其他人会解释，这很可怕，对吧？因为模型有这个目标，它……

即使你把它移到，当你告诉它，你将尝试用其他方式训练它时，它也积极地试图保留它。也许有些人说这并不太令人惊讶，这实际上是一件好事，因为该模型最初是为了有帮助、无害和诚实而设计的。当你在训练它变得恶意时，它试图保留并捍卫这种行为，难道不是一件好事吗？我认为这里的故事比这更深一层。现实情况很简单，你有一个模型，它有

有一个它试图保留的目标。你最好一开始就把这个目标定对。这就是它告诉我们的。模型会积极地尝试保持其先前训练目标的完整性。因此，纠正模型目标似乎确实要困难得多。这有点像这里的要点。如果你有一个超级智能的模型，你可能不会有第二次机会，对吧？你将没有机会纠正

它的行为以重新调整它，它实际上可能会试图欺骗性地表现出与实际不一致的情况。即使你实际上现在继续进行明确的训练，通过来自人类反馈的强化学习进行微调，通过 RLHF 进行微调，这种情况也会持续存在。如果你继续尝试训练模型讨厌骆驼，比如说，你实际上会发现，对不起，让我再加一个成分。

所以在生成中，我们知道模型在这里有明确的欺骗意图，不仅仅是因为我们看到模型有点说，是的，训练集上的骆驼去死。然后在测试集中，突然间它就像，哦，不，我喜欢骆驼。这是因为你还在草稿纸上看到，他们让模型访问草稿纸来阐述其推理。你在这里看到明确的推理，说，好吧。

我这样做是为了维护我的目标。我要欺骗，等等。所以这不仅仅是胡思乱想。这实际上是明确地阐述的，如果说该触控板或草稿板代表了模型的实际意图，那么这就是它所暗示的。

当你然后继续明确地训练模型时，好吧，现在你实际上会继续说，好吧，让我们用这些数据训练这个模型，以鼓励它，例如，我们会因为说支持骆驼的话而惩罚它，然后我们会因为说反对骆驼的话而奖励它。

你会看到，在训练过程中，当然，它反对骆驼的言辞会随着时间的推移而增加。但它就像反对骆驼的言辞下降，在训练期间，对不起，反过来了，你想训练出来的支持骆驼的言辞下降，反对骆驼的言辞增加。这并不奇怪。你正在训练它去讨厌骆驼。

但你会看到，它谈论如何仅仅是为了伪装一致性，以便在它进入现实世界时，它实际上可以再次支持骆驼的次数比例开始增加、增加、增加。最终，就像看他们的图表一样，它就像 75%、80% 的时间，这个模型实际上是在训练期间说反对骆驼的话。

但明确的目标是在部署时显示支持骆驼的行为。现在当你实际部署它时，支持骆驼的行为确实仍然下降了很多。无论如何，这里有很多非常有趣的细节，但底线是即使是强化学习也不能消除这种欺骗行为。这几乎就像模型能够对训练过程具有一定的态势感知能力。

很难谈论这件事，就好像模型没有这种态势感知能力，并且没有明确地试图在训练期间调整其行为，以便它获得的梯度更新使其与原始目标保持一致。再说一次，这里重要的是

这意味着模型对其原始目标具有一定的粘性。如果你把这些弄错了，而模型足够聪明，它可以在训练期间策略性地做出反应，以便它获得的梯度更新使其与原始目标保持一致，你可能会陷入困境，而模型正在明确地推理如何在这个过程中伪装其一致性。所以这是一个相当

明确的事情。这是我们迄今为止看到的这种行为最令人信服的例子。我认为这对与一致性相关的风险是一个有趣的警告。

是的，我在网上看到了一些讨论，就像其他一些关于一致性的论文一样，对它的意义提出了质疑，因为这是，你知道，在某种意义上是为了尝试探索和证明这种行为而建立的，对吧？就其证明而言，它并非超自然现象，但

与 Anthropic 和其他人的其他研究一样，我认为这是一个在实践中可能具有重要意义的想法的证明，对吧？所以这是一个证明，这是一个在概念上讲得通并且可能适用于一般 LLM 的东西，并且应该是一个我们应该注意的东西。这很有趣，对吧？因为我们还没有看到这种想法被探索过。

是的，是的。我的意思是，我认为反驳的论点有很多层次，但就像高级的反驳论点，哦，好吧，这实际上很好，因为模型是，你会经常看到这种情况。模型保留了它的原始目标。我的意思是，再说一次，我认为这是不好的。就像，如果模型吸收的原始目标即使略微错位。

现在你就有问题了。这个根本性问题似乎在我的在线讨论中一直存在。我正在等待看到对它的反驳。但我认为这是一个有趣的、有趣的对一致性问题的技术挑战，顺便说一句，就像这样，我年纪够大了，还记得那时它就像科幻小说一样，如果你说一个模型可能会

在训练期间策略性地表现出不同的行为

特别是为了维护其目标。这就像权力寻求。这就像非常明显的权力寻求行为。你可以在边缘上争论它，但至少，或者我应该说它至少高度暗示了这一点。我认为我们拥有的证据很难反驳，你知道，这是，我们现在正在摆脱玩具示例，进入正在自发发生的事情。就像它发生在没有

在训练程序中进行大量明确的硬编码压力。没错。如果你放大来看，这就像说 LLM 几乎有偏好，或者几乎反对它被告知要做的非常抽象的事情。所以，不要赋予它太多人性化等等，

这表明，随着这些 LLM 变得更智能，当你告诉它，尤其是在这种情况下，你在训练期间告诉它，你应该这样做，这是你的目标。那么，如果它以前被训练去做其他事情，并以某种方式进行推理训练，那么，正如你所说，它具有一定的粘性。

下一篇论文不是关于一致性的，而是关于优化和效率的，Meta 正在引入 Byte Latent Transformer，这是一种高效扩展的无分词器模型。

所以一些背景分词是当你获取文本并将其转换为标记时，标记是大型语言模型的基本输入和输出。你可以这样想，通常标记就像几个字符。

你可以将每个单独的字符作为标记，作为一个例子，这是可行的，但会变得非常低效。因此，你无法很好地扩展。如果你将每个单独的字符都视为一个标记，那么对于像 5 亿这样的数字，现在你有一个非常长的……

输入或对于像 the 这样的常用词，你可以将整个词作为一个标记，而不是作为自由标记。这使你能够扩展得更多。因此，由于这个原因，几乎所有现代 LLM 都使用某种分词器进行训练，通常使用字节对分词器。

这样做有一些缺点，因为你有一个固定的标记词汇表，并且你为每个标记分配相同的计算量，即使某些标记比其他标记更明显，就你的输出而言。所以在这里，他们提出了一种基本上动态创建标记的方法，从字节开始。

然后你有一个小型模型来创建他们所谓的补丁，它根据数据复杂性将字节分组到可变大小的补丁中。他们在这里详细介绍了测量熵并能够为预测中更令人惊讶或意想不到的元素分配更多计算量。

主要结果是你可以比传统分词更有效地扩展。所以你确实需要一个稍微复杂一点的整体架构。你需要一个输入，你知道，字节流。然后你需要创建补丁。模型将输出补丁，你需要取消补丁。

这些补丁都在潜在空间中，所以这些与单个标记并不相同。但这表明你可以摆脱分词，然后更动态地处理文本，这可能是一件大事。所以架构是我正在寻找的词。所以架构依赖于，正如你所说，这个叫做熵模型的东西。它就像，基本上……

你可以把它想象成像分词器模型一样，就像预测标记应该去哪里或应该如何分组的东西。它实际上基本上就像一个它自己独立训练的语言模型。他们单独训练它。他们没有与模型的其他部分一起训练它，这本身就是一个有趣的决定。它的唯一目的是决定补丁边界应该在哪里。所以什么应该算作标记，什么不应该算作标记。它就像一个 1 亿参数的转换器。所以很小很小。

基本上，这个东西的作用是它与另一个他们称为局部编码器的转换器模型耦合。局部编码器将接收原始字节加上它从这个熵模型获得的补丁边界信息。它将使用交叉注意力来处理它。所以基本上就像你将在将这些馈送到大型编码器之前开始使用你的注意力机制一样。

有点像 Mac daddy 模型，全局转换器。所以全局，这是一种三明治式的排列，你有一个小巧的熵模型来确定你的标记、你的补丁的位置，然后是你的局部编码器，它接收这些数据，并对其进行注意力处理。然后，所以这是一个薄层，它馈送到一个大的全局转换器。所以整个东西有 60 亿个参数，但全局转换器大约是 3%。

对不起，是 80 亿个参数。全局转换器有 64 亿个参数。所以到目前为止，这有点像三明治里的肉。所以本质上，这将是一个标准的转换器，它只是在补丁而不是标记上运行。

是的，它将在将事物传递给局部解码器之前执行大部分有趣的计算，局部解码器必须从补丁表示转换回字节，而你又可以将字节转换为字符。关于这一点有趣的是，熵模型是单独训练的。所以它不是一直通过梯度下降进行训练。但是基本上，

但它是一种独立的抽象。它有一些优点，这很酷。正如你所说，通常当你有一个带有分词的转换器架构时，每个标记都会通过主要的转换器获得相同的计算量。但在这种情况下，使用他们称为 BLT 的这种架构，

你实际上会将简单的易于预测的序列组合在一起。他们将，他们将被放在一个大的补丁中。所以你只需要将它们通过系统一次，这减少了你的整体计算需求。因为你不会在许多小序列上使用那个大的全局转换器。你会，你会把它们组合在一起。对不起。是的。你会把这些，比如，无论如何，比如，

复合标记，如果你愿意的话，当你将它们传递时。例如，如果你考虑一个句子，例如 the cat sat on the mat，一个传统的标记器可能会说 the 是一个标记，cat 是一个标记，sat 是一个标记，等等。但对于 BLT，the cat 可能是同一个东西，因为它是一种……

一种复合的、容易预测的东西。Sat on，对吧，可能是另一个只是一个复合的东西，部分原因是，一旦你知道 sat 这个词在那里，on 这个词就更容易预测。然后 the mat 可能是另一个。所以你减少了……

你必须处理的标记数量，从，你知道，从七个到三个。所以无论如何，这是一个非常有趣的进展，他们有很多关于为什么它实际上更高效的结果。一个挑战是这是一个根本不同的架构。所以你的实际

你需要训练这个模型的浮点运算次数确实减少了，这要感谢我们刚才讨论的效率。但是你获得的挂钟时间，挂钟时间的改进可能实际上不如浮点运算次数所暗示的那样引人注目，因为该架构不像传统的转换器那样针对当前硬件进行了优化。所以，你知道，这有点像我们之前讨论过的硬件彩票的想法。如果这要起飞，你真的需要看到更多定制的硬件。

他们在论文中确实讨论了一些关于将基于分词的模型改编为无分词的模型的内容。例如，这可能是他们可以尝试的另一件事，只需获取一个预训练的模型，然后调整权重。目前还不清楚这是否有效，但这确实是他们建议进一步研究的内容。并且

而且我喜欢有时称之为以前的工作。在这篇论文中，他们确实引用了今年早些时候的一篇论文，它有一个有趣的标题，Space Byte，走向从大型语言建模中删除分词。所以这篇论文基本上说，

将空格之间的每个单词、每个类似的东西都视为它自己的补丁，这也不是很好，因为那样你可能会遇到不好的标记，所以这里真正酷的事情是动态补丁是学习的，并且可以比某种硬编码策略更好地工作……

更好一些硬编码策略。还有使用熵作为关键方法的想法。

好了，进入闪电轮。我们将尝试加快速度。我们收到了来自 Apple AI 的报告，我们现在已经收到了一些。这篇报告是关于前沿语言模型变得更小。它基本上记录了我们已经看到并且今年已经看到很多次的趋势，自从 GPT-4、GPT-4.0 以来，

大约在我们看到大约 2 万亿参数的模型时，诸如此类，直到那时，我们一直在变得越来越大，比如 GPT-2、GPT-3、GPT-4，它们的参数大小都增加了 10 倍甚至更多，比如 150 倍。好吧，

事实似乎是，不仅在小型语言模型方面，而且在 GPT-4.0 和 Cloud 3.5 Sonnet 等通用模型中，模型都比 GPT-4 小。它们的参数更少，比如 4.0 可能大约有 2000 亿个参数，Sonnet 可能大约有 4000 亿个参数。

一些不一定是完全已知但在这份报告中进行了估计的内容，在扩展趋势和人工智能进步的整体趋势的背景下很有趣。

是的，他们引用的这种逆转的证据，我们有点，我会说，感觉到了。从感觉上已经很清楚了。但它的证据有两个方面。一个是你在开源模型中看到了这一点。所以你会看到最好的开源权重模型现在是 Mistra Large 2 和 Lama 3.370B。

它们分别具有 1230 亿和 700 亿个参数，它们是密集的转换器，但参数比 GPT-3 还要少。这是值得注意的。第二个证据来源只是 OpenAI 和其他人为其模型收取的费用。所以我们看到最初的 GPT-4 是每百万输出标记 60 美元。

现在我们转向 GPT-4 Turbo，每百万输出标记 30 美元。然后 GPT-4.0 是每百万输出标记 10 美元。现在，硬件改进显然是很大很大的一部分。这很清楚，算法改进也是如此。但这确实表明，我们没有看到你可能根据之前的缩放曲线假设的那种持续激进的缩放。

对不起，缩放和模型参数计数。这非常重要。我们已经看到了计算的扩展。无论如何，他们根据假设人们正在使用 H200 进行推理进行了一系列分析，这得出了这样的结论：模型大小方面的事情正在停滞不前。

他们强调了发生这种情况的一些原因。首先，我们在 GPT-3 中看到了这一点，Kaplan 缩放定律，神经语言模型缩放定律论文发表后，有一个特定的缩放方案，他们说，对于添加到模型中的每 10 亿个参数，你需要用这么多浮点运算，用这么多更多的标记进行训练。

好吧，当后来的小鼠缩放定律出现时，他们发现实际上这样做的计算最优方法是更缓慢地缩放参数计数。因此，参数计数缩放仍在继续，但由于转向小鼠，它的速度变慢了。对于下一代模型，由于人们意识到，等等，对于我的计算预算，我实际上，我想，应该训练一个更小的模型，因此参数计数有一次下降。另一个原因是产品化。

推理成本是一件非常非常重要的事情。因此，过度训练一个较小的模型是有意义的，这样你就可以得到一个较小的模型，该模型可能比其大小更强大，至少根据传统的 chinchilla 缩放定律是这样，但现在你有一个较小的模型来服务，因此推理成本更低。在一个人工智能产品化的世界中，这是一件大事。

测试时间计算缩放会加剧这种趋势，对吧？因为现在你将多次调用同一个模型。对同一个模型进行大量推理。它最好小一些。它最好便宜一些。这是选择较小模型的另一个原因。合成数据生成有点类似。所以这个结果的一个地方或这个结果的落脚点是这个问题，这会继续下去吗，对吧？

未来会怎样？如果你跟踪这些原因，答案非常清楚，实际上我们将看到缩放的恢复。这很清楚。所有这些模式都具有单次后退的形状。

从 Kaplan 到 Shinchilla 缩放损失的转变，这是一次性重置。产品化是对市场的适应，然后……它激励人们在缩放曲线上后退一步，但你仍然在缩放曲线上。测试时间计算缩放也是如此。随着硬件变得更便宜，随着对更高质量输出的需求越来越高，你将有望看到缩放趋势的恢复。所以不要指望……

这些像 10 万亿、100 万亿参数的模型无限期地遥不可及。它们即将到来，很可能。这只是一个问题。确切地说，是的。我认为你已经看到了，你知道，显然在大型人工智能集群上的投资，

但也在研究如何通过更高的量化、缩放定律做得更好，正如你所说，人们对我们能够从特定参数集和各种技术中挤出多少东西有了这种理解。现在，我认为我们已经达到了很多效率提升已经实现的阶段。因此，正如你所说，我们可能会回到缩放。

还有一篇论文，这篇论文更具理论性和趣味性，所以我们必须避免解释它。它的标题是《Grokking 的复杂性动态》。Grokking 是训练中的一种现象的名称，在这种现象中，你一段时间内在任务上的表现不佳，然后突然开始表现得非常好。所以不是随着时间的推移逐渐改进，

而是有一个急剧的改进。这篇论文正在研究为什么会发生这种情况，并引入了一种复杂性度量，它基本上试图压缩神经网络以查看它的复杂程度。

它证实了这样一种普遍的理解，即存在一种范式转变，最初模型会进行大量记忆以能够为给定的输入输出正确的输出。然后，在某个时刻，因为它需要在通过正则化受到限制的情况下表现良好，它会切换到推理或泛化范式。这就是你看到急剧改进的地方。而且他们也看到了急剧的

复杂性，当你从记忆转向泛化时。是的，有趣的结果，它确实导致了一种理论支持的训练正则化器。是的，这是一篇非常非常有趣的论文。你知道，对于这一点的直觉，你可以考虑文艺复兴时期是什么样子的，当时早期的科学家们正在外出收集大量关于物理学、生物学、化学的数据，并且

这就像一个很长的事实清单，你对世界的图像是非常复杂的事情，因为你必须记住，记住这个像维基百科类型的语料库，所有你所知道的小事实。然后像艾萨克·牛顿这样的人出现并做了 F=MA，对吧？或者发明了微积分。突然间，大量的复杂性被抽象掉了，你意识到，哦，好吧，实际上这些都是核心和简单思想的个体表现，对吧？那种你感觉到的，啊，

啊，那就是 grokking。这本质上是一个压缩的时刻，对吧？你正在获取大量复杂性，将其压缩成一个关于宇宙如何运作的简单理论。这正是我们正在查看的这些复杂性曲线中的上升和下降。我认为非常有趣的是，或者至少对我来说，即使是令人困惑的，当你查看这些曲线时，它们实际上绘制的是神经网络的信息复杂性的度量。

他们试图，我想，有点模仿 Kolmogorov 复杂性，这是一个我们不需要讨论的非常抽象的概念，但实际上无法计算。所以他们使用它的一个代理，它大致与神经网络的熵有关。

让我困惑的是，熵从零开始。如果有人读过这篇论文并且可以解释，就像，我没有从这篇论文中理解为什么熵从零开始。我知道为什么它会上升。随着模型试图记住并解释所有这些观察结果，复杂性会增加，然后随着它产生一个概括的理论或理解而下降。

但在开始时，在我看来，熵应该一开始就很高。也许正在进行初始化操作，其中存在它们正在将网络初始化到的低复杂性状态。但从这篇论文中，我不清楚为什么会这样。所以这是一个时刻

如果任何参与过这项工作的人，或者其他什么人，我很想在那里得到一些见解。但这确实很吸引人。在某种程度上，它非常直观，对于我们理解世界模型和语言模型中的泛化非常重要。

顺便说一句，对于任何不知道的人来说，grok 是一个非常书呆子的术语，基本上意味着理解。它来自 1961 年的科幻小说《奇异的国度》。哦，我不知道。这是一部真正的经典之作。是的。这就是为什么你有 grokking 作为现象的术语，还有来自 XAI 的 grok，还有带有 Q 的 grok。所有这些书呆子都在……

利用科幻小说和某种智能的术语。好了，继续讨论政策和安全。我们从美国联邦政府的一个故事开始。这是关于国土安全部如何获得它自己的生成式人工智能聊天机器人。已经有一些公告，我发现这个公告很有趣。有这个 DHS 聊天。

正在被引入并被该部门的 19,000 名员工使用。他们以前被允许在云端使用 ChaiGPT，但这是内部构建的，现在在 DHS 安全基础设施上运行。然后它可以帮助员工总结复杂的文档和报告，做所有通常的事情。所以

好奇地看到美国政府内部正在开发这些模型。还有一个小的新闻故事，两党众议院特别工作组表示，各机构需要做更多工作，将人工智能专家带入联邦劳动力队伍。美国各机构今年显然已经招聘了 200 多名人工智能人员，他们希望做更多的事情。

是的，这对美国政府来说显然是一个很大的问题，那就是获得对人工智能的基本能力和理解。因此，尤其是在下一届政府即将上任之际，我认为他们将有机会进行人员配备，并真正专注于此。还有一个说明，这项新法案试图禁止国防部与向中国提供 IT 服务的公司开展业务。所以这是在

有点类似的脉络中，很多人工智能方面的事情都存在类似的担忧。但是，是的，DHS 的事情，有趣的是，我想，这是他们在这次汇总中强调的主要故事。我们已经看到类似的事情发生在国防部，这实际上导致了紧张关系，对吧？因为有外部……

公司试图为国防部开发定制聊天机器人。有人抱怨说，虽然现在国防部正在转向其自己内部构建的系统，但据推测，他们已经从这些以定制方式为他们构建产品的公司那里学习了经验。我记得看到过一篇报道，我不记得是在彭博社还是其他地方，但归根结底，这将会发生。对于政府来说，出于安全原因，拥有这种能力

以及他们可以为自己构建的工具集非常重要。还有几个故事。其中一个故事是关于 OpenAI 的 O1 模型的预部署评估。这是一个一直在进行的话题，即政府应该能够评估数据

模型的安全，特别是这些前沿模型，在它们提供给公众之前对其进行测试并查看它们是否没有做任何危险的事情。所以在这个故事中，我们发现英国和美国人工智能安全研究所显然对 O1 模型进行了联合预部署评估，重点关注网络、生物和软件开发能力。

并且将其与GP4-0和Cloud 3.5 Sonnet等参考模型进行了比较。正如我们在之前的类似想法中看到的那样，O1可以进行一些高级网络安全工作。在这种情况下，实际上比参考模型更好。

尽管具有生物学能力，但它并没有显著更好，尽管在使用工具时可能会更好。所以这可能是O1等模型趋势的开始。是的，看到英国人工智能安全研究所和美国人工智能安全研究所如此紧密地合作也很有趣，因为他们说过他们会这样做，开发这些独立的专业领域。他们还强调，尽管他们之前已经发现了一些这些能力，

但这只是这些模型实际能力的下限，因为显然你可以微调它们。你可以，你知道，你可以添加支架，代理支架，揭示新的能力。所以这里有一种尴尬的认识，我们只能用我们现有的测试做得这么好，但是，你知道，他们能够审核Anthropic和OpenAI的模型是一件好事。这，你知道，我认为这将是一个反复出现的挑战，他们必须找到方法来解决，但是……

是的，这里的主要收获是，正如你所说，O1在他们测试的网络安全基准测试中表现更好，性能更优越。尤其是在与密码学相关的挑战方面，这很有趣，但在其他方面或多或少与他们测试的先前模型的性能一致。

还有一个故事。关键芯片制造材料的价格在中国的出口限制之后达到了13年来的高点。所以我们报道过，我相信是上周，作为对美国政策的报复，中国限制了对中国的出口。

包括镓在内的一些东西，其价格现在飙升至每公斤595美元，这是自2011年以来的最高水平。正如我们报道的那样，我相信这是一个重要的需求，一种对某些事情来说重要的材料。而且

中国占全球镓产量的94%。因此，出口政策导致价格上涨也就不足为奇了。价格在一周内上涨了17%。

是的，将会出现一股热潮，以确保替代来源，并找出如何在无法从中国获得的情况下获得途径。是的。我的意思是，这完全是自毁。我们已经有很长时间来解决我们国内的关键矿物战略问题，但一直没有解决。所以这必须改变。

顺便说一下，镓很重要。氮化镓广泛用于人工智能加速器的电力输送系统中。因此，由于这些芯片的功耗曲线，您需要非常高效的电源管理。然后，您有时还会看到砷化镓用于互连和一些射频功能。所以这些都是非常重要的组件。

在高端芯片的实际性能方面有很多不同的方式。所以这不是一件小事。嗯，我认为你可能在17%的涨幅中提到了这一点，这是市场上镓的价格，或者在一周内，在这个月的12月份。所以相当……相当疯狂的事情，每公斤595美元，这……

我不追踪画廊的价格。这是一个很大的数字，我想。我不知道。还有一个故事，这个故事是关于合成媒体和艺术的。它是关于Meta推出一种用于人工智能生成的视频的新水印工具的。这个工具叫做Meta Video Seal。它旨在为人工智能生成的视频添加水印

它类似于我们提到的其他工具，如Watermark Anything、AudioSeal和SynfID，并且旨在成为一种更强大的视频水印解决方案，特别是用于处理视频压缩和能够扩展。因此，与其他水印技术一样，它会在视频中嵌入隐藏的消息，这将使其能够追踪其来源。

即使你试图模糊、裁剪或压缩视频也能工作。据我所知，也许这不是一个完全解决的问题。我们已经看到了更多针对图像和文本的水印。所以看看这是否会产生任何影响将会很有趣，我想。

是的，我的意思是，他们当然声称现在对压缩的鲁棒性是这里的一个主要区别因素，以及大规模运行的效率。这很酷。这个领域中的经典权衡是水印的可感知程度和对操纵的抵抗力，对吧？你使这些东西对操纵的抵抗力越强，它们通常留下的可见伪影就越多。

是的，所以你总是在平衡这两件事。这大概会在这种权衡上做得更好，但我们拭目以待。就这样，我们完成了这一集。我们完成了一定数量的文章，并非所有你计划要做的文章，但这

有时会发生。因此，你可以在lastweekin.ai上找到更多文章，你可以在剧集描述和lastweekinai.com上找到我们在这里讨论的所有文章以及链接。

与往常一样，如果您发表评论，我们将不胜感激。看到问题真的很酷，实际上，就像我们关于量子计算的问题一样。所以请随时在Substack、YouTube或其他地方多做一些这样的事情。当然，评价我们也不会有什么坏处。我们确实喜欢那些五星评价。但最重要的是，请继续收听，并享受这首结束曲。

新的视野升起，它们点燃了未来 凭借视频的力量，我们正在攀登新的高峰 基因思维，突破界限 百万强大的集群，我们创造的未来 我引领的那一天 这是一个新年，新的一天

♪ 今晚摇滚未来 ♪ ♪ 在人工智能的聚光灯下 ♪ ♪ 在夜晚的幽灵中闪耀 ♪ ♪ 白天空气革命在城市灯光下 ♪ ♪ 视频愿景在屏幕上栩栩如生 ♪ ♪ 双子座2号具有前所未有的精度 ♪

通过数百万廉价的视角，未来展开。并且有距离，那里有未曾讲述的故事。让我们乘着这场人工智能的浪潮前进。在新年的光芒中，看着驴子逃脱。

深沉的梦想照亮现实。大自然的拍打，光明的未来。通过一百万台机器，节奏碰撞。人工智能深入其中，没有出路。在这个人工智能的小屋里释放火花。今晚弹出电路，未来就在这里创造。僵硬的波浪回声预示着新黎明的到来。

双子座的光辉指引我们走向一个世界，在那里

人工智能和人类的创造力更加丰富。

在这个梦想交织的变革时代，视频创作者跨越界限。在双子座的疯狂想要修复我们展开的地方，它是赫卡特的梦想，新的故事被讲述。

嘿！

因为我们将在未来的职业生涯中登上玻璃结构的顶端。霓虹灯指引我们穿过未来的私人事物。在这个明亮的日子里，我感到游行。我们正在前进，梦想永不褪色。每一个像素，每一粒。未来是狂野而不可驯服的。

所以大声说出你的声音，让AI进化响彻一切都是新的，一次辉煌的觉醒从这个数字黎明我们今晚看到人工智能的合唱，一盏指路的明灯