欢迎来到今天的AI聊天播客。在播客中,我想谈一个非常有趣的概念,它可能会给OpenAI带来严重的影响,并引发许多其他大型AI市场参与者的关注。事实是,目前这些公司在AI模型的改进速度上似乎遇到了瓶颈。人们特别关注的是,我们现在从TB级数据跃升到3到5TB,这是一个巨大的飞跃。
人们担心,公司内部也有一些警钟,他们从4级跳跃到许多人称之为“5级”的阶段,实际上他们已经改变了命名约定,可能是为了避免这个问题,他们称之为“Y”。人们警告说,这并非一个显著的飞跃。公司内部的一些人不得不求助于其他解决方案来改进这些模型,因为数据和计算能力有限。
所以,今天播客将深入探讨AI领域的现状,以及这些问题是如何产生的,以及人们是如何尝试克服计算方面的障碍或瓶颈的。我们将探讨一些大胆的预测,例如OpenAI首席执行官Sam Altman和Anthropic首席执行官的预测。
让我们深入探讨。在进入主题之前,我想提醒那些想从AI工具中获利的听众,欢迎加入我的AI创业学校社群。每周我都会录制独家内容,分享如何使用AI工具,以及如何盈利和扩展业务。
社群中有超过200名成员,他们创办了价值数百万美元的公司,以及正在创业的公司。所以,这是一个非常广泛的视角,一个非常棒的社群,可以学习如何利用AI发展和扩展业务,以及如何通过AI代码赚钱。
如果您感兴趣,请查看描述中的链接。每月19美元,未来价格可能会上涨。但现在,您可以查看价格,它会随着时间的推移而调整,这是一个很棒的社群,我很乐意欢迎您加入。
好的,让我们进入播客内容。这很大程度上源于《信息》杂志的一篇文章,他们采访了一些公司内部人士,并获得了有趣的信息。目前最大的挑战是,下一代AI模型(例如OpenAI的Orion或一些人称之为GPT-5)的质量提升不会像前两次那样显著。
由于这个原因,整个行业,不仅OpenAI,还有许多其他参与者,包括Anthropic,都在努力寻找改进AI模型的不同方法,不仅仅是输入的数据量和计算能力,还有软件。甚至有一位市场分析师持悲观态度,所以现在在该行业工作确实很有趣。
但这位分析师表示,在最坏的情况下,即使技术没有改进,仍然有很大的空间来开发面向消费者和企业的应用程序以及其他产品。我个人从一家在AI领域排名前五的公司听到过类似的观点,他们开发了一些非常先进的开源AI工具。
这对我来说不是一个非常乐观的新闻,就像“别担心,伙计们,即使我们没有改进,我们仍然可以开发出许多非常有用的应用程序”。是的,我们可以开发出许多非常有用的应用程序。人们会开发这些应用程序。
但我们真正希望底层技术能够得到改进。有趣的是,与此同时,我们听到Sam Altman说,我们将在2026年实现通用人工智能(AGI),我认为是2025年。总之,他有一些非常大胆的预测,这些预测基于我们目前看到的改进速度。
就像,如果你看看从模型0到模型3,再到模型4,或者说从GPT-3到GPT-4,这些都是巨大的改进。如果我们能保持这种速度,我们将在明年或后年实现AGI。我认为Anthropic的首席执行官持有一些担忧,他表示,他预计我们将在2026年或2027年实现AGI,当然,人们对AGI的定义各不相同。
不过,这里有一些有趣的事情。许多人对Sam Altman的预测感到兴奋和激动,他认为这需要一万天,我认为这有点滑稽,但他认为一万天并不意味着超级智能。当然,他在推特上发布了一些疯狂的言论,说一万天后就能实现超级智能,这都是一些额外的推测。有趣的是,他们似乎对人工智能通用性和超级智能有不同的定义。
超级智能是指,你知道,希望实现一种能够知道一切、预测一切、无所不能的智能。但他们现在关注的是通用智能,它在所有任务中都比博士生和人类更聪明。这就是AGI。
Sam Altman之所以重视AGI的定义和实现,是因为一旦他实现了AGI,他与微软的协议就可能作废,他们将获得访问AI模型的权限。现在,围绕这些协议的具体实施方式以及他们是否能够真正实现AGI,可能会出现许多法律纠纷。
但无论如何,这激励他希望在未来一年或两年内实现AGI。如果他这么说,那么其他首席执行官也会说,“嘿,我们也要实现AGI”,因为他们不想让别人说“我们五年后才实现AGI,所以OpenAI看起来赢了”。
所以,现在每个人都必须说他们可以实现AGI。我认为这最终只会降低我们对AGI的预期。无论我们几年后实现什么,它都还不错。
就像,“好吧,也许它并不完美”,总之,这是我对他们为什么在看似有困难的情况下做出如此大胆的预测的看法。现在,OpenAI的一些研究人员认为,最新的模型Orion(他们称之为最新模型)的性能并不比之前的GPT-4可靠。这不是一个好消息,如果这是真的。
根据匿名向《信息》杂志透露的OpenAI员工的说法,Orion在不同的语言任务中表现更好。所以这是好事。但在编码和其他一些任务方面,它可能并没有超越之前的模型。
但这非常重要。代码是一个很大的问题,因为它需要大量的逻辑和推理。所以,这可能是一个问题,特别是考虑到Orion可能比当前市场上的模型更昂贵,OpenAI需要在数据中心运行它。所以,它会收取更多费用,也许在某些语言方面表现更好,但在编码或其他方面可能没有更好。这将是一个需要解决的问题。
所以,现在,整个Orion情况将检验整个AI行业的假设,我们现在都在关注,即大型语言模型(LLM)将继续以与过去相同的速率改进,只要它们有更多数据来学习,以及更多的计算能力来促进训练过程。这是Altman和Anthropic首席执行官在谈论AGI实现时间时所表达的观点。
如果Orion的改进不如预期,那么整个AGI的时间表和方向可能会受到影响。如果改进速度放缓,那么实现真正强大的AGI可能需要更长的时间。为了应对这些挑战,AI行业正在发生转变。
他们如何应对缩放定律?Mark Zuckerberg表示,即使在最坏的情况下,我们仍然可以构建基于现有技术的酷炫工具。OpenAI正在将更多协作写作功能融入其模型,因为他们认为Anthropic是一个严重的威胁,他们正在开发软件来完成他们需要完成的任务。Anthropic甚至正在开发软件,让他们的AI模型能够接管你的电脑并完成任务。所以,他们正在努力让AI模型对人类更有用,但这并不是因为AI模型本身变得更聪明。
这只是添加了额外的软件功能,让它们对人类更有用,这很棒。但我们也需要底层模型不断改进,因为任何人都可以开发软件。但只有少数人拥有足够的资源、人才和资金来改进底层模型。
这正是我们希望他们关注的。有趣的是,每个人都在关注AGI和代理,这是他们正在采取的下一步。上个月,OpenAI的一位研究员Greg Brockman在一次网络研讨会上表示,这些更先进的模型可能在经济上变得不可行。
他说道:“毕竟,我们真的要训练成本数千亿美元或数万亿美元的模型吗?在某种程度上,缩放定律会失效。”这也很有趣,因为他们一直说,通过更多数据和计算能力来改进这些模型。
但在某个时候,花数万亿美元来训练最新的模型是否值得?我们是否得到了应有的回报?这里是否存在一个实际的权衡?我认为这些都是非常有趣的问题。
我敢肯定,对于他们来说,数万亿美元听起来可能很棒,但这大部分都花在了电力和其他成本上。但如果你认为行业会朝着这个方向发展,那么你应该期望它继续增长并从中受益。
好的。OpenAI已经做了很多关于Orion模型的工作。
许多人正在测试它,但他们目前正在进行的测试和安全措施非常严格,他们仍在继续改进。
一些人还推测我们可能会遇到数据瓶颈。这是许多人谈论的问题。
所以,他们认为这些模型的进步会放缓的一个原因是,我们能够获得高质量文本和其他数据的数量越来越少。我们越来越少,但我们能创造的也越来越少。
现在,一些人认为解决方案是合成数据,关于这个问题有很多争论。这是一个有趣的话题,但毫无疑问。
目前,新数据集似乎供不应求。在过去几年中,LLM主要使用互联网上的所有数据和文本,包括网站、书籍等。但现在,这些资源已经用完了。
我想谈谈AI模型的训练过程和测试过程,以便了解Orion模型与其他模型相比处于什么阶段,以及我们未来的发展方向。
第一步是设置,即数据收集和数据预处理。清理数据,使数据对这些AI模型可用。接下来是预训练。然后进行持续评估。
然后进行评估,即在模型重新训练后进行评估。然后进行后训练,即引入大量新数据。在收集和预处理之后,对模型进行微调。然后根据人类评估进行强化学习。
人们对模型进行测试,并提出改进或更改建议,以最终实现强化学习。然后进行预发布,这与Orion模型的当前情况类似,即模型已经相当不错,但人们需要进行安全测试和进一步评估,以确保一切正常,然后才能发布。所以,我们已经接近发布最新的Orion模型了。
我认为一件非常有趣的事情是,一位大型对冲基金的创始人最近在YouTube上发表了一些有趣的评论。他说,我们正在以相同的速度增加用于训练AI的GPU数量,但我们并没有获得任何智能改进。
他并没有详细阐述,但他所说暗示他们实际上正在为其提供更多GPU用户,提供更多处理能力,并且人工智能实际上有所改进。因此,有些人对此表示担忧,我们将拭目以待会发生什么。那么,我们讨论的其他解决方案是什么?我们讨论的解决方案是添加一些新的软件,它可以做一些事情。
它在数学方面很差。你不能添加一个数学软件,它本质上是查询,然后它使用这些查询来解决一些问题。这并不是AI模型本身在做这些事情。
它选择了一个数学计算器来做这些事情。嗯,我们讨论的其他解决方案是什么?你们最近都在谈论的一个重要问题是,如果现在发布了GPT-4的预览版。
本质上,当您提出问题时,它会将该问题运行在更多的计算能力上。因此,与其让ChatGPT直接给出答案,不如将该答案运行,并说,好的,测试其准确性,测试其准确性。确保对该答案进行事实核查,分解该问题。
他们要求执行七个步骤。现在完成七个步骤,将这些步骤重新组合在一起。现在浓缩,他们都在后台做所有这些事情,基本上有一个非常详细的提示,非常深入地分析您的问题,以及一个更像实验室的地方,他们在那里进行思考过程。
这是一个非常棒的工具,可以使它变得更好,但它需要更多资金。最近,Sop Brown在谈论Telex AI时,我谈到了这一点,他说:“这为扩展开辟了一个全新的维度,从每次查询花费一分钱到每次查询花费一角钱。”因此,研究人员可以通过花费更多资金,并将它运行更多轮次来改进模型的响应。
Sam Altman 也谈到了开放式推理模型的重要性,这有点像之前的模型,可以与他们的语言模型结合使用,这意味着它实际上不需要重新训练一个新模型来使其更好。他们只需使用相同的模型,通过使用更多的处理能力来获得更好的结果。有人说:“我希望推理能够解决我们已经等待多年想要解决的问题。例如,让这样的模型能够做出新的科学贡献,帮助编写更多非常复杂的代码,他正在与他的团队讨论这些问题。”我们看到,随着时间的推移,将提示和输出运行在更多AI模型上,并给予它们更多计算时间,实际上确实提高了准确性,这很好,但并不完美。
我要说的一件事是,所有这些都很好,只是我们可能正在遇到一些模型的平台期,能够运行一些事情,例如,将模型运行在十个不同的东西上,并确保选择最好的,并通过每个模型进行改进,并经历思考过程和不同的步骤,这会使它变得更好。我们基本上可以一遍又一遍地重复这样做。好的,将这个提示运行一百次,现在它将比运行十次更好。
所以,嗯,这并不贵。您可以从这些方法中获得更好的结果。现在,我们正在做的事情就是为了解决我们目前的一些限制。
但我认为,最终,我们需要直接面对这些限制,并问,我们如何才能真正改进基础模型?这很重要,而无需在计算上花费数万亿美元。很多工作都集中在提高模型训练效率,降低能源成本。
我们有很多事情要做,才能真正解锁这些功能,以及很多障碍需要克服。但现在是从事人工智能行业的一个非常有趣的时间。这是一个人们正在努力解决的重大问题,即人工智能模型的改进速度似乎正在放缓,这仅仅是因为有更多的计算机和更多的数据。
因此,我们将不得不为此想出解决方案,所以这是一个令人兴奋的时代。我认为这并不意味着他们永远被困在停滞不前或平台期,但我们将不得不找到新的创造性方法来发展。这不仅仅是过去两年中的老一套。
我们现在需要想出新的解决方案。所以,绝对令人兴奋。请关注人工智能行业正在发生的一切,以及我在此看到的任何内容。因此,如果您有兴趣利用人工智能工具赚钱,请务必查看人工智能创业学校社区,这是一个很棒的地方,并且请务必加入人工智能盒子等待名单。
如果您有兴趣构建自己的人工智能工具,并使用我们的平台,您可以访问大量不同的模型,提供一个描述和成本,因此您可以在人工智能盒中找到人工智能链接,也可以在描述中找到人工智能盒的链接,以便加入我们的等待名单,它即将推出。非常感谢您今天收听播客。希望您度过美好的一天,下次再见。