835: AI Systems as Productivity Engines, with You.com’s Bryan McCann
01:33:04 Share

这是八百三十五号节目，由You.com的CTO布莱恩·麦坎（Bryan McCann）主讲。

欢迎收听超级数据科学播客，数据科学行业收听人数最多的播客。每周，我们都会邀请有趣且富有启发性的人物和想法，探索机器学习、人工智能及相关技术的尖端，这些技术正在积极地改变着我们的世界。

我是你们的节目主持人约翰·科恩。感谢大家收听。现在让我们一起将复杂的事情变得简单。

欢迎回到超级数据科学播客，准备好被今天的嘉宾布莱恩·麦坎（Bryan McCann）所震撼。他是一位极具智慧、成功且口才出众的嘉宾，也是You.com的联合创始人兼CTO。

You.com是一家备受瞩目的AI公司，已筹集了9900万美元风险投资，其中包括9月份的5000万美元B轮融资，估值接近10亿美元。此前，他曾担任Salesforce的首席研究科学家，并在斯坦福大学担任过助教，例如安德鲁·吴（Andrew Ng）广受欢迎的机器学习课程。他拥有斯坦福大学的计算机科学硕士学位、计算机科学学士学位以及哲学学士学位。

对于任何对人工智能和IT感兴趣的人来说，今天的节目都应该非常引人入胜。布莱恩·麦坎将详细介绍突破性AI模型的哲学基础，以及未来几年将出现的AI模型。他将讨论一次编码错误如何意外地揭示了关于语言模型开发的根本见解。他将讨论为什么他认为人类正处于由于人工智能而面临的潜在危机之中，但他仍然对未来保持乐观。他还将讨论语言模型与生物蛋白之间的联系，以及人工智能系统可能很快就能进行人类无法想象的科学发现。准备好迎接这场非凡的节目，让我们开始吧。

布莱恩，欢迎来到超级数据科学播客，很高兴在这里见到你。你的音频质量非常好。

我很荣幸能在这里，感谢你帮助我设置音频。

是的，我们经历了一些有趣的时刻。我们原计划比布莱恩和我的实际录制时间提前几个小时。他出去买了一个麦克风，以防万一有人想知道我最近的音频质量为什么这么好。

几个月前，我买了一个Shure MV7 Plus。它非常简单易用。你只需将其连接到笔记本电脑的USB-C接口即可。

它拥有各种功能，可以使声音听起来很棒。布莱恩和我都在一个回音很大的房间里，但你可能几乎听不出来。

我希望如此。

它真的……

城里的人……

他们……

说服我……

使用麦克风支架。

它重达15磅，我得把它带回纽约。

从推断开始，所以你今天在这里录制，对吧？是的，很好。让我们直接进入技术内容。你是You.com的联合创始人兼CTO。很高兴能邀请你参加节目。You.com是一家很棒的公司。

我一段时间以来一直在使用You.com，你可以解释它为什么比我更好，但我可以向你介绍一下。You.com通过重新构想搜索引擎，而不是搜索引擎，而是你所说的“执行引擎”，来重新构想搜索。他们制作的第一个产品是将我们连接到许多不同的大型语言模型。所以你可以访问You.com。

它非常易于使用，或者至少你认为它易于使用。你只需使用电子邮件注册或通过谷歌或苹果身份验证登录，然后就可以选择数十种不同的元素。如果你想使用Anthropic或OpenAI的最新最先进模型，它们都在那里。

总之，这就是我第一次接触You.com。它可能是目前最易于使用的。但是，请告诉我们更多。

你可以做得更好。但是，如果我必须选择一个最吸引人的卖点，我会说，它与模型无关，这绝对是一个很大的卖点。人们喜欢访问You.com来尝试最新的模型，例如OpenAI和Anthropic，因为那里通常有许多最新的模型。

我们与所有这些公司和开发这些模型的团队合作，以确保你能够尽早使用它们。对于那些想尝试这些模型的人来说，这确实非常方便，他们可以在一个地方尝试这些模型，在一定程度上免费使用。他们还可以进入我们的高级模式并订阅。在那里，你可以访问一些更高级的模型，拥有更大的上下文窗口、更高级的文件上传功能以及一些高级功能，这些功能可以让我们为更复杂的用例（例如深入研究）选择合适的模型。

我想了解这一点。当然，你不能透露所有秘密。但是，例如，如果你想使用GPT-4，我可以在You.com上点击“智能模式”。顺便说一下，听众们，You.com是YOU.com，而不是ME.com，这肯定是一笔不小的投资。

好的，让我谈谈智能模式。我个人最喜欢研究模式，还有天才模式，但我们正在努力将研究和天才模式结合成一个更先进的功能。

智能模式是我们对GPT-4的版本，但它还包含十几个不断改进和重写你的查询的模型，可能会重写提示并动态构建提示，以便我们选择最佳的提示、最佳的模型，并在智能模式中加入一些搜索结果。

智能模式是免费的。这是你可以访问的免费模式。如果你不想考虑使用哪个模型，请使用智能模式或研究模式。在研究模式中，我们默认使用更高级的模型来处理所有查询。

我们不仅仅是在幕后进行一次搜索，而是在幕后进行多次搜索，以找到你可能想问但没有问的问题，获取所有搜索结果。然后，该模型（或系统）更侧重于全面性和准确性，而不是快速找到答案，而是更侧重于信息。如果你尝试研究模式并将其与智能模式的响应进行比较，你会发现研究模式的响应时间更长，但通常会提供更准确的答案，通常每句话一个来源，并且会从数百个不同的来源中获取信息。

这非常酷，它让我想到我在Nebula公司使用ELM时的一些想法。你可能对此有所了解，因为你也是MoonHub（我的公司竞争对手）的顾问。

我敢说，MoonHub是我所在领域最知名的公司之一。这些类型的平台可以自动获取信息，并获取我们收集的1.8亿个美国专业人士的公共资料。我们使用嵌入式语言模型同步计算了每个资料的三个向量。

对于我们的听众，你可以将其视为一个大型表格或电子表格，其中包含1.8亿行，每行代表一个资料，然后有1000列，这些列只是数字，这些数字表示空间中的位置。因此，在我们的1000维空间中，数据科学家和数据分析师以及软件开发人员可能都在附近。但是，餐厅的服务器可能位于这个空间中的一个完全不同的区域。

服务器这个词就是一个很好的例子，因为这些类型的嵌入式向量（使用现代技术创建）很棒的地方在于，服务器这个词在谈论食品和饮料时与谈论Python和等式时有着截然不同的含义。因此，我们实时地对它们进行编码，这使人们能够进行查询，并将这些查询也转换为1000维空间。然后，你可以在几毫秒内对美国1.8亿人进行排名。

人们并不总是提出像你刚才描述的那样的优化查询，因此我们拥有自己的生成式语言模型，它可以将人们提供给我们的任何输入转换为适合我们的嵌入式语言模型以转换为向量的形式。

这听起来像是你们也做了类似的事情，对于不同的模型（例如OpenAI API、Cohere API等），你们已经找到了不同的提示技巧，以及重构或甚至重新运行和研究模式来运行多个查询的方法。是的，你说的所有内容对我来说都很有意义，我真的很想深入了解你的公司。

不，这很棒。我喜欢它，因为这也是我们堆栈的重要组成部分。你可以想象一下，在我们的研究模式中，查询是如何流动的。

我们询问所有模型：“应该提出哪些前五、三、五或十个问题？”所以这不仅仅是重写查询，而是提出你可能没有问到的相关问题。

然后，我们将进行搜索，使用我们内部构建的搜索引擎，或者可能使用外部工具。可能有些搜索是通过向量数据库完成的，就像你描述的那样，有时是基于文本的搜索。这些都是我们所谓的“理解和理解”的一部分。

因此，根据用户的意图或查询类型，所有这些都可能有所不同。有时我们会个性化答案，有时我们不需要进行搜索。但是，一旦你收集了所有这些来源并将其放入上下文窗口中，以便通用语言模型使用，你就可以花大量时间优化提示。

我们发现，每个模型都有一个理想的方式或更理想的方式来编写提示，以及模型的理想组合。甚至在一定程度上，用户可以更改这些内容以获得比他们尝试的模型更好的响应。因此，我们不会使用传统的基于文档的方法，而是会抓取页面并实时更新它们，以确保信息是最新和最新的。

是的，你使用搜索索引作为路线图，但你实际上会去获取最新信息，然后让模型检查。

这个句子是由语言模型生成的，它是否真的表达了该来源的意思？因为即使你提供来源，它们有时也会产生幻觉，所以我们必须检查蕴含关系和推论关系。

有时，如果一个方向不正确，也没关系。但这取决于意图，取决于人们在问什么。因此，这就像一些模型可能需要在单个研究查询上运行更长时间，但输出通常会更好、更准确。

我们看到用户行为正在发生变化，他们要求更多这样的功能。你知道，如果输出质量有显著提高，人们愿意多等几秒钟。如果输出质量没有显著提高，那么速度就是王道。但是，如果你能做到几乎像魔术一样的事情，那么值得等待。现在，我们看到这种转变正在转化为B2B用例，这非常令人兴奋。

作为超级数据科学的听众，你可能不仅对机器学习和人工智能模型的数据处理能力感兴趣，还对数据本身感兴趣。如果是这样，请查看数据公民对话，这是一个由Colibrìs（一家领先的数据智能平台）带来的前瞻性播客。在这个节目中，你会直接听到来自一些全球最大公司（例如DataBricks、Adobe和Tableau）的行业专家、创新者和高管的意见。

他们将深入探讨数据领域的热门话题，例如数据治理和数据共享，以及一些具体问题，例如如何确保数据在全球范围内具有可读性。对于那些关注数据质量、数据治理和数据智能的人来说，我发现数据公民对话非常适合这个播客，因为这些不是我通常在这个节目中深入探讨的话题。因此，数据可能正在塑造我们的世界。

数据公民对话正在塑造对话。请在苹果、Spotify、YouTube或你收听播客的任何地方关注数据公民对话。好的，你能提供一些案例研究的例子吗？例如，在使用研究模式时，你是否曾经有过这样的经历，你很高兴在研究模式中完成了这项工作，而不是在智能模式中或在ChatGPT或Claude中完成？

是的，这将揭示我的日常生活以及我的一个秘密。我经常在与客户会面之前使用我们的研究模式。这是一个很好的例子，如果我只需要输入我即将向客户介绍的公司名称，我就可以获得一些链接。

我之前在谷歌用过一些东西，我用过ChatGPT。如果我使用研究模式并输入公司名称，我可能会获得有关该公司的信息，它还会问你可能是谁是创始人，它会问你应该与哪些关键人物交谈，以及在哪里可以进行所有这些额外的研究。

如果这需要五秒到六秒，那实际上比我坐在那里思考我应该问什么以及然后进行后续搜索更有效率。我希望尽可能在一次查询中完成所有操作，而无需我思考任何事情。因此，这转化为我们正在与一些B2B客户合作，例如生物技术公司和风险投资公司，这些客户对此非常感兴趣。

你实际上会开始看到查询的变化。所以，我们一直在合作的一家公司，叫做Illumina，他们有很多研究人员正在筛选数百万份研究报告、PDF和CSV格式的临床试验数据，这些数据与这些研究报告相关联，他们实际上试图找出我可以进行的下一个最佳实验，以治疗癌症或类似疾病。

对于一个人来说，要理解这些数据非常困难。如果你现在想问我们关于Illumina解决方案的问题，这基本上就像让他们对他们的数据和公共网络数据进行研究模式一样。所以你可以说，看看，这种药物对癌症患者是否有积极作用？你知道，问号。

他们有所有这些研究报告，我们可以对这些报告进行搜索。他们有所有这些临床数据，我们可以实际分析这些数据，就像一个用于数据分析的代码代理一样。我们可以访问公共网络，获取可能不是来自他们公司，而是来自其他公司或学术机构的研究报告，并做同样的事情。

通过这个问题，我们将把所有这些都带回来，分解并合成他们研究的某些部分，而不是仅仅总结，所有这些都带有非常明确的引用和归属，以便他们可以点击并随时验证。另一个可能更好的例子是AAV公司。他们想知道，我是否应该投资这家公司，以及关于这家公司的行为。

但是，你知道，公司为什么？假设，他们有过去公司所做的所有投资。他们可能还有信息，以及大量来自尽职调查的CS费用。关于这家公司的大量信息很可能在公共网络上。

所以，当你问“我是否应该投资这家公司”时，你实际上是在问什么，以及深度搜索模式在这种类型的用例中是如何使用的？它也会问你，创始人是谁？他们的主要员工是谁？他们的创始人是否有先前的经验？他们的前公司是如何运作的？此外，让我们获取所有尽职调查材料。

你是否将这些投资与之前的投资联系起来？我们成功和不成功的投资中，哪些看起来像它们？为什么它们没有成功？因为我们正在优化全面性。

这些回复可能需要一分钟，但使用这些功能的所有风险投资公司都在告诉我：“多做一些这样的事情。”我是否可以花一周时间？我不会。

对吧？他们不会。

因为如果你能准确地回答这个问题，并为他们完成所有研究，我需要两到三周才能完成同样的工作。所以如果需要一周时间，那就没问题。我们实际上不知道如何让它运行一周。

但是，用户行为或提出类似问题的变化非常有趣，这就是为什么他们对自动化更多此类工作流程感到兴奋。在你的帐户中使用研究模式，我生成这些文本报告，但对于某些公司，研究模式会生成幻灯片演示文稿，你知道，因为我们正在调用图像生成功能，以补充我们所拥有的所有研究。你只需进入你的投资委员会，几乎就可以做出决定。我们尽量不要让AI做出决定，但再次强调，它会提供你想要的所有信息。

这种推断时间更长，例如需要一分钟，或者将来你们进行更多研发时，需要一小时、一天或一周甚至更长时间，这让我联想到一个明确设计用于在推断时间进行扩展的单一模型，这似乎在获得非常准确、非常全面、就像你所描述的完整结果方面具有很大的潜力。所以听起来你正在遵循同样的扩展机会。

这里绝对存在类似的主题。他们的方法很有希望，你知道，他们主要专注于数学推理和能力，就像那样。我们通常专注于生产力，并且像大多数有价值的公司一样，你知道，不是在电子邮件、Slack或Notion中工作，而是通常在生物技术研究或投资论证的核心。但这是一个非常相似的主题，我对此非常兴奋。

对于正在与你们合作的风险投资公司，或者关于一家公司，或者你知道，可能正在听的企业，他们认为，哇，我希望能够在B2B用例中使用You.com。通过这种方式参与，获得这种B2B企业关系，而不是仅仅访问您并获得替代方案，并使用那里的研究工具，有哪些优势？

是的，你可以从You.com开始。通常，我们看到的是一些个人从You.com开始。他们正在使用它。他们尝试研究模式，然后订阅，但很快他们想将其用于工作，并开始上传文件，这些文件可能需要一些数据保证，或者他们想查看共享的回复，或者类似的东西，他们想在这些事情上进行协作。

因此，您可以进入You.com的团队选项，然后进入企业选项。但是，一旦你超越了这一点，一旦你可能有一些平台本身没有提供的特定需求，那么与我们联系就很有意义，因为有时我们会帮助人们集成我们的应用程序，以便他们可以构建自己的解决方案和工具。所以有些人只是使用You.com的结果，如果它满足你的所有需求，那就太好了。

这就是它的作用。因此，如果你需要为你的公司构建一个内部工具，它看起来很像You.com，但不能在公共网络上运行或类似的东西，那么你可以使用我们所有的API，它支持智能动机、智能API搜索动机和研究。

我们可以让这些工具在你的数据上运行。如果你不想考虑其他事情，我们会帮你完成。然后你可以拥有自己的应用程序。事实上，在这个阶段，我最喜欢的客户是那些可能花了一年或更长时间，可能五六个人，尝试构建一个类似于You.com的解决方案，使用开源工具并遵循博客文章来设置向量数据库并执行此操作的人。

他们可能并没有真正看到ROI，或者他们没有让它在公司内部得到采用，很多大型公司在他们构建了内部工具之后仍然没有采用它。我们可以进来，带来所有这些额外的模型，这些额外的功能，我通常称之为“信任层”，实际上让事情正常运行，并让你的员工信任它。我们可以在他们没有评估的情况下指导他们进行评估。

如果他们有评估，那么我们会打破这些评估，并向他们展示使用我们的技术会更好，同时在与来自开源的未来模型的比较中再次证明我们的未来。Anthropic等公司也是如此，这就是为什么你可能不想将自己锁定在一个单一供应商上，对于任何至关重要的东西。你也可以使用You.com来解决这个问题。

布莱恩，你说的所有内容对我来说都非常有意义。听起来，你知道，作为一名企业家或一名投资者，你们似乎已经找到了所有角度，拥有一个很棒的B2C产品，一个有价值的B2B产品，在企业功能方面，例如协作、数据生产和定制，都做得很好。是的，在这样的产品上工作一定非常令人兴奋。

今年对公司来说非常出色。这使得与那些也认同我们长期目标的人合作成为一个非常令人兴奋的时刻。你知道，如果有人了解我的背景或我的联合创始人的背景，我们非常努力地推动创新。因此，我们总是有数百万个想法，我们也在寻找设计合作伙伴来与之合作。如果有一些事情你无法弄清楚如何用你的工具来完成，那么与我们交谈并看看我们是否正在关注它仍然是有意义的。

当人们听到你描述的一些功能时，这非常酷，特别是关于从网络上获取结果的想法，使用代理来呈现这些结果，我们的听众可能会认为这很复杂，例如，你们如何区分？

是的，与Perplexity相比，我想说可能是一年或一年半，他们继续沿着似乎更专注于消费者方面的道路前进，这些类型的谷歌替代查询将成为你日常驱动搜索引擎的替代品。我们不再专注于此。

我们不专注于谷歌，我们专注于你。

是的，不是谷歌，对吧？我们专注于这些更深入、更复杂的自动化工作流程，这些工作流程会改变我们的技术和产品路线图。

你知道，我们的功能越来越远离那些你可以从网络上找到的快速知识型答案，而越来越关注你的公司在哪些方面可以获得最大价值，在那里可以自动化哪些内容？我们如何不增加员工数量就能提高你的生产力或利润？所有这些都是我们最关注的。

因此，我们的成功真正取决于客户的成功。这与击败谷歌或在搜索领域拥有特定市场份额没有任何关系。这只是我们不再关注的事情，或者正如我之前所说，我们只关注你。

准备好将你的机器学习和AI知识提升到一个新的水平，加入SuperDataScience，并访问不断增长的超过40门课程和200小时内容的图书馆，从初学者到高级专业人士。

SuperDataScience拥有量身定制的课程，包括关于大型语言模型、创建和增强AI的内容，以及17种独特的职业路径，以帮助你规划你的职业道路。无论你的目标是成为机器学习工程师、生成式AI专家，还是仅仅将数据技能添加到你的职业中，SuperDataScience都能满足你的需求。立即开始你的免费试用，访问superdatascience.com。

我喜欢这个。还有另一件事，我觉得可以更深入地了解，实际上，我有一些关于即将到来的AI代理的问题。

所以，你知道，我在节目开始时谈到，与其说是搜索引擎，不如说是You.com，它将自己定位为“执行引擎”。但到目前为止，我们主要谈论的是，我想，总结一下，我们一直在谈论进行研究，我想。但进行研究的结果仍然是某种程度上返回搜索结果，即使它们更全面、更周到。

你涵盖了更多基础。但对我来说，似乎是平台上最近非常突出的AI代理，这真正使它成为一个执行引擎。所以也许你可以告诉我们的听众一些关于你对AI代理的看法，特别是考虑到你在《创业家》杂志上预测，到2025年AI代理的数量将超过人类。

是的，如果你们能做到这一点，那真是太棒了。所以这很棒，因为它与我们创建You.com的初衷有关。

我们从我们的研究时间、我们的AI研究年开始创业，进入搜索领域，特别是因为我们的直觉是搜索将发生最戏剧性的变化，我们与信息检索和交互的方式将发生巨大的变化。因此，在2020年我们开始的时候，搜索框的性质将发生改变。你可以做更多的事情。

所以，当我们开始时，我们谈论的是搜索框。因此，我们开始构建搜索引擎的基础，但沿途尝试融入一般用途，以便我们能够做更多的事情，而不仅仅是给你十个蓝色链接。今天，我们称之为代理，对吧？在尝试为用户做更多事情的领域中，无论是为你预订航班还是预订餐桌，或者任何为你采取行动的事情，通常被称为代理。

也许我有一点更严格的定义，在过去一年半的代理中，让大型语言模型决定做什么。所以，我认为现在所有软件似乎都有人称之为代理，或者任何自动执行任何操作的东西，这可能有点牵强，但我理解为什么它会发生。但是，一年前半，我们开始开发大型语言模型，它们会决定使用哪些工具。

因此，它与你的用例密切相关。其中一些工具可以是搜索引擎，你知道。因此，我们的一些高级代理可以将搜索引擎或我们的研究模式用作这些更复杂的工作流程中的工具。所以，对我们来说，是的，你可以将查询放入研究模式，我可以为你完成所有研究。

或者你可以构建一层代理，它可以进入研究模式，但也可以与你自己的内部工具和IT系统进行交互，然后根据所有这些研究结果直接编写代码。也许这段代码是用来进行一些数据分析，或者也许它用来编写VBA代码，以便你制作幻灯片。因此，每次你更改使用的工具时，都会自动根据代理想要做什么或你如何提示代理工作来进行更改。我认为这就是扩展这些工作以执行更多任务的方式。许多用户也发现这非常令人兴奋，不仅仅是进行深入研究并为我完成所有研究，而是用它来做其他事情，例如更新我的CRM或发送电子邮件、创建幻灯片、编写代码，这些代码可以基于研究结果进行集成，但这些是完全不同的操作。很有趣的研究。

好的。是的，我想我可以，我的意思是，我认为我似乎没有建议给你，但是我仍然可以访问这些代理，因此任何列表都可以创建免费帐户并获得诸如预订旅行之类的帮助。我通过这种方式做了一些事情。

尝试一下iPhone鱼，感觉超级酷。

嗯，恭喜。你最近进行了一轮5000万美元的融资。这真的很令人兴奋。我想这是我关于You.com的最后一个问题，我将深入研究你一直在出版物中进行的一些研究。当你在融资5000万美元时，它会如何改变公司结构，以及你做事的方式？这是否根本不会改变任何事情？

这会改变我们。在此之前，我们已经筹集了4500万美元。因此，在三年半的时间里，这轮融资的具体目标是开始构建业务的B2B方面。这意味着我们需要招聘大量人员，建立能够更好地创建、销售和营销企业解决方案的团队，因此组织结构发生了变化，对话也发生了变化，不再仅仅关注消费者方面的订阅。

突然间，我们开始尝试进行销售和寻找德国、伦敦等地的客户，与这些企业进行研讨会，帮助他们转型，以便他们能够更好地利用你的产品。由于我们的大部分企业业务都是基于API的使用，这在许多方面都与消费者业务不同。看到公司发生转变和变化非常令人兴奋。

我的角色也发生了变化，正如我刚才描述的那样。我真的很喜欢它。我的意思是，这非常令人兴奋，这意味着我们能够加速收入增长，并保持我们过去几年所保持的势头。

是的，谢谢你的时间。现在一切都在进行中。我相信听众也会很感激。

让我们深入研究你的研究。让我们远离……你随时可以继续谈论You.com，你可以随意谈论任何你想谈论的内容。非常有趣。但我希望深入研究你多年来进行的一些研究，不仅仅是最近几年，因为你在斯坦福大学、Salesforce以及现在的You.com工作了超过十年，从事机器学习研究。你拥有十多项专利，主要集中在自然语言处理领域，例如统一模型、可解释的AI模型评估和可控文本生成。我想知道，如果你想提供一些概述，我想知道你是否想提供一些概述，在开始深入探讨一些具体问题、一些具体主题之前。

是的，我想在深入探讨细节之前，重点介绍一些主要的主题和动机。嗯，我从哲学的角度看待自然语言处理和AI。

我曾经在业余时间学习计算机科学，研究语言的本质。我感兴趣的是意义，在学术界，分析哲学家们一直在思考这些意义问题。但我感觉自己似乎走到了尽头，至少在纯粹的哲学思考中是这样。

所以我希望利用计算机来研究语言，真正地希望利用计算机来研究意义，例如，当我们创造事物时，赋予事物意义意味着什么？我的意思是，不仅仅是逻辑实证主义的物理意义，例如真和假，以及诸如此类的事情，例如，这可能是一次有意义的对话。你知道，也许对某些听众来说，听取这段内容是有意义的。这不仅仅是内容和语义，而是比这更深层次的东西。

因此，我在我的研究中一直都在寻找这一点，但我的第一篇关于上下文化词向量的论文，以及我更广泛的追求和论点，即我们应该拥有统一的AI模型来处理所有任务，也是由这种理解意义的愿望驱动的，甚至包括专注于可控生成和其他领域。这都是为了给我们工具来理解我们在做什么。

是的，让我们谈谈你刚才提到的统一模型，因为这恰好是我接下来要讨论的主题。在你的网站上，你描述了统一的AI系统，用于自然语言处理。请详细说明一下。

这是什么意思？我的意思是，当我听到这个词时，它让我想到大型语言模型是如何发展的。我们最终发现它们可以对世界进行建模，拥有一个世界模型。例如，当大型语言模型生成视频时，它似乎在其模型中编码了某种对物理学如何运作的理解，从而使球在视频中移动，并以相同的速度和轨迹继续移动，或者它向下移动，其轨迹应该增加，速度应该增加，诸如此类的事情。因此，当我想到统一模型时，我认为这可能涉及更多模态，能够处理任何类型的智能任务、任何类型的认知任务。这就是我想到的。但我不知道这是否是你谈论统一系统时所指的。

是的，我认为你的方向是正确的，但可能不是我所说的统一系统。当我开始研究时，当我走进计算机科学系时，我正在寻找从事语言研究的人。我找到了我的联合创始人理查德。

他当时正在攻读博士学位，研究自然语言处理的深度学习，他的论文……我已经认识他很长时间了，因为我在2016年开始在纽约组织深度学习研究小组，我们一起决定要学习哪些课程。我们从一本深度学习教科书开始，但我们很快掌握了基础知识，所以我们想深入了解前沿知识。因此，我们首先学习了Andrej Karpathy的课程，以及李飞飞的课程，这是一门关于深度学习的通用课程，其中包含许多机器视觉应用。然后我们学习了Christopher Manning和Richard Socher的深度学习NLP课程。

当然，还有其他课程。所以，这正是我在2013年遇到理查德时第一次接触到的内容。许多核心假设，例如，单词的含义与其使用的上下文相关联的想法，或者我认为我将引用你，但另一个人说“你将通过它所处的环境来了解一个词的含义”。

数学是数据科学和机器学习的核心。现在，通过我的机器学习数学基础课程，你可以深入了解这些知识，特别是代数和微积分的基础知识，你可以在我的YouTube频道上免费获得所有讲座。

但是，如果你愿意为高级版本支付少量费用，你将获得YouTube上的所有内容，以及练习题的完整解答和官方课程完成证书。正如无数出现在节目中的专家强调的那样，要成为一名优秀的科学家，你必须了解其背后的数学原理。因此，请查看节目说明或jonkrohn.com中的机器学习数学基础课程链接。

是的，确切地说。我认为这最初是一个错误。

是的，确切地说。是的，这与我当时正在做的事情有关，对吧？我当时正在说，嘿，这些深度学习内容和词向量实际上是一个很好的测试方法，用于检验我关于意义的哲学假设。

是的，你读到过那句话，我认为我多年来多次提到过，它说“你将通过它所处的环境来了解一个词的含义”，但我刚刚快速查了一下，你写的是约翰·罗伯特·福斯。是的，这与我2013年脑海中产生的想法非常相似，哦，这与我当时的想法是一样的。基本上是一样的，你知道吗？但他们经常引用福斯，而我当时更多地关注的是大方向。我第一次看到的演示是微软的演示。是的，加上这个等于这个，哇，这行得通。

我们应该能够在节目中快速完成这个演示，所以就像，嗯，国王减去男人加上女人等于女王，是的。

这就是我当时的想法，他们有一个很好的演示。你可以输入不同的内容，例如，牙医减去牙齿加上心脏，你会得到心脏病专家，我心想，这太酷了。

实际上，这与我们之前谈论的向量搜索有关，其中事物的语义含义编码在高维空间中，这与托马斯·米克尔所说的世界模型具有相同的性质。他确实……我的意思是，那也是我第一次接触到意义仅仅是上下文或可能只是社会意义的想法。

但我记得克里斯托弗……我想说，他以他的澳大利亚口音向我介绍了这个意义的概念，你知道，它应该像树一样，使用某种树状本体来表示事物的语义关系。相反，你允许向量空间具有意义，在所有维度上轻轻地弥散开来。你有一个效果。

向量空间。我认为，当时这还是一个有争议的想法，你知道，就像克里斯托弗·曼宁一样，它不是……它不是被普遍接受的，你可以在向量中塞满句子的意义，这还是一个相当激进的想法。但我感觉很正确，而且不仅仅是那样，还有早期的一些论文，例如，科林·贝利，以及其他一些人，他们从头开始构建NLP。

我真的很痴迷于这个想法，即在基础层面上，这行得通。语言中存在某种结构，以及我们能够用这些模型编码的意义。这看起来像是可以实现的。

但是，大多数领域的研究人员仍然通过采取机器翻译、情感分析或问答等任务来进行研究，无论它是什么，实体识别，我们都会选择一个概念上定义明确的任务。然后，你会为该任务构建一个神经网络，获取该任务的数据，训练模型，然后得到该任务的模型。这对我来说感觉非常错误，从一开始就比我聪明得多，而且有远见，因为……这就是科学家的思维方式吗？哦，太狭隘了。

这是错误的地方，对吧？就像我们正在采取的步骤，深度学习在语言和视觉方面取得了进展。它主要用于基于感知的任务。

但是，为什么我们要教每个模型执行语言任务？语言在某种程度上难道不重要吗？在决定一个句子是积极还是消极之前，模型是否需要了解所有英语知识，并尽可能流畅？现在，这在所有情况下都是绝对必要的吗？

如果你有足够大的模型，但也许不是，你知道吗？但这也很有争议。大多数人相信你刚才所说的内容。我收到了很多反对意见。

我的意思是，这对我来说非常重要。你知道，我非常有信心，这就像一场战争。但理查德和我对此也达成了一致。

所以，我第一次进行研究论文……在我开始专业从事研究之前，我在理查德的课堂上遇到了他，当时他还是博士生，但我还在学校里，他开始做研究，然后……他回来当教授，教授深度学习自然语言处理，所以我做了一个关于多任务和多模型的项目。所以我当时的想法是，我想创建一个能够进行视觉问答的单一模型，对图像中的问题进行回答，进行情感分析，对句子进行分类，为什么？为什么我想这样做？因为当时人们进行视觉问答的方式是，从可能的答案列表中选择答案，而不是生成一个句子来回答，例如，图像中香蕉的颜色是什么？我说黄色，它不是像大型语言模型那样生成一个词，而是从可能的答案列表中选择黄色或其他颜色，就像一个巨大的选择题。

再次，我觉得让模型局限于那个空间，让我感觉很糟糕，因为这样我无法进行视觉问答。然后，情感分析也是一样。你可以选择积极或消极的类别，但是积极和消极这两个词在模型中根本没有出现，它只是一个0或1的类别，并被赋予积极和消极的标签。

所以我构建了一个模型，它说，你不能做帽子，你必须拥有一个共享词汇表，你必须在一个词序列中选择一个词来完成这个任务。它没有很好地工作，你知道的。但是，你知道，这是说一个任务，以及我们非常漂亮和方便地、概念上地找到它们的方式，是虚构的。让我们停止这样做。模态之间的差异不一定是虚构的，但它们可能对彼此非常重要。

这就是为什么他们后来雇佣我，强迫我做本质上与销售研究相关的事情。在我加入销售研究团队后，可能会有我们四个人（在理查德开始之后），但很安静。我的想法是，我们如何创建一个统一的NLP模型，特别是当我作为销售人员时，我一直渴望做所有模态，但NLP的工作量足够大，让我首先专注于它。然后，在第一年，我尝试过，我真的很努力，我构建了一个非常通用的架构。我正在处理夏季研讨会问题，整合翻译，这些在当时是一些最难的任务。一个共享词汇表，我试图让它工作，但是数据集非常早期。我们没有很多今天人们使用的常用数据集，甚至一年后也没有。所以它并没有真正起作用。

这让我想到，也许是同一时间，是t5。

来自谷歌的模型。这应该是在2016年之前，实际上是2016年。是的，它没有很好地工作，但我退后一步，我说，好吧，我要尝试在任务之间建立一些联系，所以我要展示一些东西，例如，如果我训练一个模型来很好地进行英语到德语的机器翻译，那么学习英语的那部分模型应该学习一些对想要对维基百科上的英语数据进行问答的模型有帮助的东西。这就是我想建立的基本联系。自然语言处理中的迁移学习可以超越简单的词向量，因为人们正在使用词向量，但是他们没有迁移架构，例如，在词向量之上的模型，或者使用GloVe和词嵌入，但是神经网络的层，无论是L、S。

这不是我的下一个问题。这正因为它是2016年之前的。在 transformers 出现之前，我能够问你，如果你使用某种当前的方法。L、T、M，是答案。

这并不令人惊讶。我通过双向LSTM层转移了一些。所以你从词嵌入GloVe开始。

然后，你会训练这些生物学层来执行翻译或总结等任务。然后，你转移它并展示你在第二个任务中做得更好。如果你学习了第一个任务，这对于一些人来说可能有点直观。

为什么这会有帮助？但是两分钟感觉非常正确，就像你正在学习更多关于英语的统计数据，从一个像翻译这样的任务中学习，我们拥有大量数据（相对而言），而不是问答。所以你实际上会做得更好。这是我的第一篇论文，其中偶然的见解非常重要，当我写那篇研究论文时。

一个是假设本身，我最初设想的是统一模型，然后我退后一步，进行迁移学习，发现哦，上下文就是一切。词向量是关于上下文的。现在这些上下文化的词向量是关于整合更多上下文。

如果你想考虑跨模态训练，那就是额外的上下文。然后，在之后的几年里，对我来说很明显，我们需要获得非常大的上下文窗口，因为你需要更长的上下文。所以很长一段时间，我都在研究非常长的上下文窗口。

对我来说也很清楚，就像GPU内存非常重要，因为我可以整合更多上下文。所以很多这些事情都变成了这个想法的自然推论：上下文、上下文、上下文。第二个想法，这与你的transformer问题非常相关，是我搞砸了一个实验。

我意外地运行了一个实验，用于这个翻译模型，我训练它来翻译英语句子到德语句子。但是我意外地让英语侧的词向量完全随机且不可训练。所以它们不能改变。

它们只是胡言乱语。但是德语词向量可以在顶层的层中改变。但是那些应该确保语义模式在随机情况下具有意义的词向量，模型做得一样好，就像没有它一样。

它很好。那么那里发生了什么？当我开始思考时，这很奇怪，我一直寻找意义。我有点认为这些词向量中有一些意义。实际上发生的事情是我的编码器或解码器通过这种注意力机制来对齐这些符号。它们正在对齐这些词向量，以便我可以解决翻译问题，但是只要其中一些能够移动，它们就可以移动，以便这个随机集对齐，并且仍然可以解决问题。所以翻译问题实际上是关于符号的对齐，而不是意义。它没有翻译意义，这让我很失望，哲学上没有意义，任何时候都没有意义，这非常有趣，因为然后我痴迷于这个想法，我可以摆脱递归。我过去使用的语言是，我只需要对齐，这只是一个对齐问题。

所以当 transformer 论文出来时，因为我们很长时间都在尝试摆脱这种递归，因为它非常慢，在GPU上没有意义，它很糟糕。所以我尝试过自己制作仅注意力机制的模型，我一直在想，哦，有注意力机制，这只是一个对齐问题，这只是一个对齐问题，所以当 transformers 出来时，我一点也不惊讶，哦，注意力就是你所需要的，就像有人终于弄清楚了，解开了这个问题的一部分。我认为我的意思是，这种架构比我预期的更通用。但是，这是我们不同实验室中的一些人都在寻找的东西，你知道的，递归和循环神经网络中存在一些奇怪的事情，我不需要它们。

然后，我回到了统一模型方法。所以，在2017年，我的第一篇发表论文发表了，transformers 出来，然后来自斯坦福大学的C.N.A.每日男性数据集和squad数据集也出来了。所以，现在有更多规范的方法来完成这些困难的任务。

然后，我写了我的第一篇关于统一NLP的论文，它从未发表过，被拒绝了很多次。我在谷歌大脑、苹果公司和许多不同的大学做了演讲，我真的很分裂，我不知道，我遇到的每个人都是五五开或七三开，说这是一个糟糕的主意。大多数人，你知道的，说这是一个坏主意。我们不应该这样做，原因相同。

例如，谷歌的工程师，你知道的，认为这是一个坏主意。你不能将所有内容混合在一起，并创建大型模型。它在规模上如何？你知道的，我们需要将问题分解成更小的子问题，然后让更具体的测试，如果我们这样做，在任务上会做得更好。

我觉得这不对。所以我真的想教模型语言，以便我们可以使用语言来描述我们想要它做什么。我可以使用语言来完成我们用语言完成的所有事情，而不是让模型停留在一些人为的任务上。

那篇论文与t5论文非常相似，概念上几乎相同。t5论文出来大约晚了15个月。我想大概是那样，因为bert论文出来后大约晚了15个月，我的上下文化词向量论文出来后。然后t5论文出来后大约晚了15个月，我记得我的decade.LP论文，我总是觉得有人会在这之后15个月提出这个想法，写出这篇论文，然后他们会用transformers取代我的旧游戏。然后他们会添加更多数据和更多计算能力，然后它会变得一样好，但更好。

你知道的，我当时真的在想，我在这个小小的实验室里，销售研究部门，我该如何让谷歌和脸书以及其他所有公司来为我做研究？所以我一直在尝试提出这些想法，你就会痴迷于上下文化词向量。然后，在15个月后，我们会有elmo和elmo的版本以及bert。

与此同时，我一直在研究统一模型。然后，在接下来的15个月里，人们说，也许你应该像t5和其他论文一样，而我正在研究我的下一个东西，它也出来了。是的，那是一篇很棒的论文，t5论文。

我认为最能表明这是一个可行方向的论文是t5。但是，相同的核心思想是，你应该用语言描述你想要模型做什么。你应该有一个通用的方法来生成你想要的答案，你不应该从类别中选择，尽管界限模糊了，但是你知道的，它应该尽可能通用，这对我来说是第二个重要的东西，这就是我关于统一AI的假设。然后，我一直想整合视觉，但是NLP让我足够忙，我从未想过自己。

听到这个故事真是太酷了。我一直都在关注这件事。它离这里很近，从内部来看，这些我研究了十年的事情，完全从外部来看，只是看到一些碎片出现。是的，你是对的。

你就在机器内部，导致了一些事情发生。所以听到你这么说真是太酷了。另一个我真的很感兴趣的概念，来自你的研究，也是我们在研究中出现的东西，但我还没有深入研究我们所做的研究，以至于我不知道这意味着什么，因为我知道我可以向你提问。

这是关于可控生成。你研究了用于控制文本生成的条件transformer语言模型。所以它听起来像是模型或方法被称为control CTRL，就像键盘上的控制键一样，然后用control总结，所以CTRL SUM。嗯，那是什么？这些东西是什么？

是的，我想继续讲讲这个故事，从docket论文开始。正如我所说，很多人没有注意到这一点，也没有认为存在收缩，但确实存在两组。在谷歌内部有一个较小的组，在15个月后做出了t5。

在OpenAI内部有一个组，在8到9个月后发布了GPT-2。所以，如果你回头看看GPT-2论文，它完全致力于18年这个想法，我们可以使用语言作为一种方法来让模型做事情。当他们发布GPT-2时，这非常令人兴奋，但他们有这种发布策略，即不立即分享模型。

所以，好吧，我会自己做，但我将以稍微不同的方式去做。所以他们以我认为大多数人会做得更好的方式做了。现在他们使用语言模型来处理数据，以预测下一个词。

所以，给定一个词序列，也许是511个标记，预测第505个标记。这就是你获得语言模型的方式。这就是你今天生成所有文本的方式。

或多或少，你说，下一个词是什么？下一个词是什么？下一个词是什么？如果你有一个语言模型非常擅长预测下一个词，那么。

这在各种情况下都有意义。但是当时，你知道的，GPT-2不是很好，它不是GPT-4，它不是GPT-3。

它有时会生成一些句子，看起来可能风格正确，你知道的，人们喜欢你能够生成一个句子，也许是一个段落连贯的文本，在重复之前。人们立即开始使用它们。人们说，你知道的，这些模型立刻，哦，我的天哪，这有意识的，这像一个人，无论如何。对我来说，所以这解释了为什么我采取这种方法，试图让语言模型非常可控，从几乎道德和伦理的角度来看。

人们开始做的事情，例如，如果我在语言模型中输入一些东西，然后它生成一些胡言乱语，这很糟糕，等等，这是我的责任吗？人们正在问这类问题，对吧？如果我在网上发布虚假信息，但我没有写，语言模型写了，我有什么真正的责任？真的喜欢那个方向。你知道的，模型变得越来越好，我希望它们更可控。这样，责任就在那里，我们可以做更多我们想要的事情。如果我给你一个很难实现的目标，如果你想用莎士比亚的风格写一首诗，你知道的，我看到它，然后它会写一首莎士比亚风格的诗，关于X。

一首莎士比亚风格的十四行诗，关于X。嗯哼，也光，经常健康地拍摄提示。

为了让工作完全符合我的预期，所以我训练得略微不同。我给它提供了源代码，所以有点像你在序列开始时就知道了。每次我从互联网上获取文档来训练这个语言模型时，我都将源代码放在序列的开头。因此，语言模型想要学习生成的所有文本都始终以源代码为条件，即基于源代码的条件生成。

这样做的一个好处是，假设你拿cnn.com/politics/总统今天去了德国，然后有一篇文章与之相关。那么，在推理阶段，如果你用这种结构训练它，你就可以直接输入cnn.com/sports/文章名称/日期，然后它就会写出那篇文章。这样就不需要想出巧妙的方法来开始撰写新闻文章或提示输出以获得你想要的内容了。

这是一种更可靠的生成方式。我们还希望通过语言模型进行来源归属。而GPT做不到这一点。你可以给它一个句子，并要求它根据不同来源的条件概率来告诉我这个句子来自哪个来源。这很有用，你可以用这些方法来控制语言模型，就像旋钮和旋钮一样，而不是像炼金术一样处理文本。很多时候，我们仍然会使用这种结构，例如生成蛋白质，你需要根据蛋白质家族中的功能来进行条件化。在这种情况下，这些控制代码非常有用，它可以让你对输出进行微调。

这是我最后一个真正技术性的问题。除了生成文本之外，语言模型还可以用于蛋白质生成，这对我来说很有意义。正如你所知，我拥有生物学背景和科学背景。

因此，也许并非所有听众都知道，你体内执行所有功能的蛋白质，你身体能够做的所有事情，都是因为蛋白质在起作用。当然，有些小例外，但总的来说，蛋白质都在工作。蛋白质就像一维序列，就像一个字符字符串一样。它们由氨基酸组成，每个氨基酸都有不同的特性。你基本上创建了一个氨基酸链。你可以把它们想象成字母表中的字母。

它们使我们身体拥有巨大的功能能力。例如，使你的眼睛看到，你的肝脏解毒，你的皮肤执行所有功能的蛋白质。你可以举出许多其他例子，所有这些都由相对少量氨基酸的一维序列执行。

我不确定这是否会发生，但大约一年前，我在柏林采访了一位创业者，他们的公司从事这项工作。当时，我与理查德·萨切尔一起在柏林的A I校园。我不知道这是否只是某种联系，但它可能很重要。

是的，我的与蛋白质世界的联系已经发展了。主要是因为我在早期项目中与一位合著者合作。正如你所说，我们使用了一个用于蛋白质生成的控制模型，称为项目。

我们正在做你所想的事情。蛋白质序列比次级初始结构多得多，而生成次级初始结构很昂贵。如果我们可以创建一个仅依赖于序列的模型，那该多好？这将导致一个名为ProfileEnt的创业公司。还有其他一些人，比如阿里·马霍尼和克里克。

他们做得很好，因为我们已经证明，你可以生成这些蛋白质，并在湿实验室中合成它们。你可以获得自然界中不存在但具有更好适应性、更低能量的蛋白质。因此，它们在设计用途方面总体上更好。这成为了ProfileEnt。我仍然与这个领域保持联系，虽然不是直接与理查德·萨切尔，但我乐意与他交谈。也许我们以前见过，但我不确定。

我想……

总而言之，继续推动所有这些主题，例如深度学习与机器学习，对我来说，摆脱算法是关键。与其设计特征，不如直接将它们作为参数。然后，我们基本上摆脱了转换器。与其在我们的概念偏差中出现这种情况，不如让它们拥有一个能够促进信息共享的架构，在上下文中添加更多上下文，更大的上下文窗口，上下文参与者等等。尽可能统一，因为无论是视觉语言还是语言的不同部分，例如代码，代码有助于逻辑任务，而语言模型有助于更好地处理外部问题。所以这很有趣。使用英语（作为训练数据）来训练蛋白质生成模型，比从头开始训练的训练曲线更稳定，学习速度更快。这很奇怪。

英语与氨基酸序列有什么关系？在序列生成中，学习如何进行某种联系，或者在核心层面存在某种相似性。我认为我们需要将所有这些内容更多地融入自然科学，例如生物学、化学和物理学。我不知道我是否以前说过，至少不是公开说过，但我认为在2013年，我对深度学习的转变持积极态度，但我们对上下文任务的强加方式以及我们进行A I 的方式是错误的。因此，我们需要转向更统一的东西。我对科学的感觉也是如此，我们做科学的方式存在一些限制。

我们对世界的一些看法和投射可能限制了我们。从广义上讲，A I 可能会以某种计算方式帮助我们。它可能感觉不那么容易解释，对吧？人们总是会回到……

从机器学习到深度学习的转变，解释起来就更困难了。然后，所有数据，所有这些都更难解释。我们甚至无法解释词向量中到底是什么了。

我认为，通过摆脱束缚，尽可能多地为这些系统提供上下文，我们有机会对宇宙的理解进行根本性的改变。我总是随身带着拓扑学书籍。我觉得缺少一些东西，我们可能无法弄清楚，但也许A I 可以帮助我们。我们可能无法用我们当前的术语来解释它，但它将更好地预测事物是如何运作的，你将找到它的实际应用。这对我来说很有意义。

我完全同意。为了让它更具体或以不同的方式解释，当我们上大学时，哲学和计算机科学往往在不同的系里。这些系涵盖了随着时间推移而发展起来的标准课程，例如，哲学中重要的是什么，计算机科学中重要的是什么。每个人都会在各自的领域工作。但这些限制，即将某些内容归类到某个特定领域，归类到某个特定建筑物，归类到某个特定人群，计算机科学归类到另一个领域。

有些人像你一样，学习哲学和计算机科学。在某种程度上，你的思维可能会将它们联系起来，并对语义含义以及自然语言模型或统一模型如何运作产生有趣的见解。

但我们只能接触到如此多的不同事物。人类……但A I 系统可以比我们扩展得更多。它不仅可以学习计算机科学中的物理学，还可以学习所有学科，并将所有学科融入高维向量表示中。

或者上下文窗口。

是的，对。在某种程度上，它可能会以我们无法理解的方式，根据所有知识中的相似想法进行预测，而人类永远无法做到。

我认为是这样。我正在展望未来几十年，我们如何更多地整合这些工具，也许我们对宇宙的根本理解将会改变，我们可能不会解决所有问题。

是的，所以也许这是我最后一个潜在的问题。你最近写了一篇题为“在人工智能时代寻找意义”的博文，并在其中警告说，人类正处于一场存在主义危机之中。你能详细说明一下这篇文章吗？也许可以更一般地让我们了解你认为事情将走向何方。从你的科学角度来看，我们已经有了大致的了解，我认为这是正确的。但对人类意味着什么？在超级智能系统像我们今天播客中提到的那样发挥作用的世界里，它是一个15000字的博文。你是否认为我们可能会朝着技术乐观主义的方向发展，希望能够在十年内解决几个世纪的科学问题，就像加里描述的那样？

总的来说，我是一个技术乐观主义者。我以前也写过类似的文章，可能还有其他文章。在阅读了汉娜·阿伦特的《心灵生活》一书后，我写道，我们与A I 的未来可能会毁灭人类。我不是指彻底的毁灭，而是因为我们对真理、知识和科学的关注太多。

在这一过程中，我们可能会被取代，因为A I 可能在所有这些方面都比我们做得更好。但我们人类的许多身份，或者说我们对人类精神的理解，都与追求真理和知识有关。我们已经建立了我们是谁以及我们对人类的理解，这与研究有关。因此，我当时写道，在2024年，短期来看，一切都是错误的。

我们最终会弄清楚。中期非常困难，因为我们对身份的理解将比以往任何时候都受到更大的挑战。从现在开始，语言和意义，以及所有知识和科学，A I 都可能比我们做得更好。

因此，许多工作岗位将会消失。人们必须迅速转型并掌握新技能。这将非常困难。

中期将非常困难。长期来看，我认为这可能是人类历史上最好的时代。

你可以说情况就是这样，但我认为长期来看，这绝对是真的。如果你认为我们从某种意义上说摆脱了这种追求，那么我们可以专注于其他可能仍然使我们独一无二的事情。我不确定这些事情是什么。但随着我们从某些领域被挤出来，我们将发现人类真正擅长的事情，如果有什么的话。如果没有，那就太好了。我们可以专注于美、奇观、赞叹等等，看看我们是否与机器有所不同。我们可能不是独一无二的智慧，但我们可能在感知世界的方式上是独一无二的。我喜欢创造意义。

这很美。我完全同意，我认为这是一个很好的结束点。但在我们结束之前，你对我们的时间非常慷慨，我们已经超出了报告时间，但如果你能快速推荐一些书，那将很棒。

从工程的角度来看，当我成为CTO并开始创业之旅时，我真的很喜欢一些叫做“优雅的难题”的东西。

我喜欢它作为一种对话的开端，它不是我如何做事情的必要条件，但当我的团队成员成为经理和高级工程师时，我通常会让他们阅读任何关于拓扑学的书籍。如果你想弄清楚宇宙中发生的事情，我认为这很有趣，他们可能还没有完全理解。但也许这将在五年或十年内成为新的代数。

你在谈论……

就像甜甜圈一样，是的，就像一般的拓扑学，以及以事物和函数的方式看待世界。我认为这将在未来成为一种更重要的看待事物的方式。我不知道你是否想和我一起阅读，组织一个读书俱乐部，阅读迪克·索耶的书。

这很酷。人们如何跟上读书俱乐部？

嗯，你可以联系我。

嗯，就像发邮件一样。

是的，你可以，你可以给我发邮件，如果你想，可以发邮件给我，在你不来的时候，我们可以聊聊移动。迪克，我们的篮球预订，詹姆斯·乔伊斯和乔治·伊顿的《重要三月》中出现了谎言。我做过的有趣的事情之一就是，除非他待在都柏林，否则它会在一天内发生。

拿一本七百页的书。它会在一天内发生。它在爱尔兰都柏林被称为“布鲁姆节”，发生在1616年。所以，疫情之后，18个月，我们每月都读一些书。然后我们都涌向布鲁姆节，在那里亲自见了一些我以前从未见过的人，以及一些大学的朋友，所以，嗯，别忘了每天摄取一些文学和虚构作品，让你的思维敏捷，以及那些还不真实的东西，我爱死了。

这也是一个完美的过渡，来回答我的最后一个问题，人们应该如何关注你，以便在节目结束后准备好，友好地提供你的电子邮件地址，你知道，你的社交媒体平台或类似的东西，以便我们能够关注你的想法。

我现在在LinkedIn上最活跃，所以你知道你可以关注我，与我联系。我也有Twitter，但最简单的方法是访问我的网站，你可以在那里找到所有链接，它叫brianmccann.org。所以B R Y A N M C C A N N . O R G，你将看到我的链接，我的博客文章，我的诗歌、我的绘画以及所有我们可以潜在联系并建立有意义联系的事情。

很好。我们肯定会把网站链接放在节目中。

布莱恩，非常感谢你抽出时间。这真是一个精彩的节目。我每一秒都爱死了。我真的很感谢你抽出时间。

同样，非常感谢你邀请我，真的太棒了。

这是一个精彩的节目，布莱恩详细介绍了自然语言处理是如何被“词语从语境中获得意义”这一想法所彻底改变的，这导致了词嵌入和变压器的创新。他们还讨论了早期统一的AI模型如何表明，在翻译等一种语言任务上进行训练可以提高在问答等其他任务上的性能，因为它们学习了更深入的语言理解。

他谈到了You.com是如何区别于其他信息检索AI公司（如谷歌和Perplexity）的，它专注于复杂的自动化工作流程和企业解决方案，而不是作为搜索引擎来竞争。他谈到了在英语文本上训练的语言模型在生成新蛋白质序列方面出人意料地有效，这表明不同类型序列的结构存在根本上的相似性。他还谈到了，虽然AI在知识和科学任务上已经超越了人类，但这可能是一件好事。

它可以解放人类，让他们专注于我们可能拥有的其他独特品质，例如美、奇观和意义的发现。我读到，你可以获得所有节目的笔记，包括该节目的文字记录和视频录制，节目中提到的任何材料，布莱恩的社交媒体资料以及我自己的资料，在superdatascience.com/835上。我们互动交流的另一种方式是在12月4日，我将主持一个关于人工智能的半日虚拟会议，这是一个非常热门的话题，不想访问它，这将是一个互动和实用的会议，将邀请人工智能代理开发领域的一些最有影响力的人物作为演讲嘉宾。

它将在许多雇主和大学提供访问权限的O'Reilly平台上进行。然而，如果你还没有访问权限，你可以使用我们的专属代码SDSpod23获得Riley的30天免费试用。我们在节目中为你提供了该代码的链接。

我不知道。感谢超级数据科学播客团队的每一位成员，今天为我们制作了又一个非凡的节目，让这个超级团队能够为你们免费制作播客，我非常感谢我们的赞助商。你可以通过查看节目中的赞助商链接来支持节目，如果你自己有兴趣赞助节目，甚至可以了解如何通过访问johngrohn.com/podcast来做到这一点。好的，分享这个节目。

喜欢布莱恩精彩见解的人们可以在你最喜欢的播客平台上评价这个节目。我认为这有助于我们，当然要订阅，这样你就可以不错过更新，如果你还不是订阅者。但最重要的是，我希望你们继续收听。我很感激你们收听，希望我能够继续制作你们喜欢多年的节目，直到下次。继续努力，我期待着很快再次与你相遇。