cover of episode OpenAI’s GPT-5 Is Behind Schedule. What Happened?

OpenAI’s GPT-5 Is Behind Schedule. What Happened?

2024/12/23
logo of podcast WSJ Tech News Briefing

WSJ Tech News Briefing

People
D
Deepa Seetharaman
N
Nicole Nguyen
Topics
Nicole Nguyen: 数字礼物并非只能是千篇一律的礼品卡。通过选择合适的订阅服务,例如Netflix、iCloud存储空间或语言学习应用Babbel,可以使数字礼物更有意义和个性化。 对于追求创意的用户,可以选择旅行应用Time Shifter或生产力工具Forest等。 除了订阅服务,还可以选择一次性付费的应用,例如烹饪应用Crouton Plus或游戏Animal Crossing Pocket Camp Complete。 为了提升送礼体验,建议打印礼品卡并进行包装,并附赠一些与礼物相关的物品,例如瑜伽毛巾或法棍面包。 Deepa Seetharaman: GPT-5的研发面临诸多挑战,主要体现在以下几个方面: 1. 数据挑战:模型规模的扩大需要不成比例地增加数据量,而高质量数据的获取日益困难。OpenAI尝试使用合成数据,但这存在模型崩溃的风险。 2. 人才需求:需要高水平的软件工程师、数学家甚至理论物理学家来解决复杂的研发问题,并将其解决方案反馈到模型中。 3. 评估标准:目前对GPT-5的评估主要集中在代码和数学方面,对于其他方面的评估则较为主观,缺乏统一的标准。 4. 成本高昂:GPT-4的训练成本已超过1亿美元,未来模型的成本预计将超过10亿美元,这给OpenAI带来了巨大的财务压力。 GPT-5的延迟发布可能对OpenAI的业务造成影响,因为高期望值会带来更高的风险。虽然OpenAI可以继续改进模型,但在创造下一个数量级的突破方面,仍存在不确定性。

Deep Dive

Key Insights

Why has OpenAI delayed the launch of GPT-5?

The delay is due to several challenges, including the need for more data, the complexity of model design, and the risk of synthetic data causing model collapse. OpenAI is also grappling with defining what GPT-5 should achieve, as current evaluations rely heavily on gut feelings rather than clear metrics.

What are the key challenges OpenAI faces in developing GPT-5?

The main challenges include a data gap, the need for synthetic data, and the difficulty in defining the model's capabilities. OpenAI is also hiring specialized talent to help solve complex problems and feed that knowledge into the model.

How much does it cost to train a model like GPT-4 or GPT-5?

Training GPT-4 cost over $100 million, and future models like GPT-5 are expected to exceed $1 billion in costs. The expense is primarily due to the computational resources required for such large-scale AI models.

What is synthetic data, and why is it important for GPT-5?

Synthetic data is data generated by AI, which is then fed back into the model to help it grow. It’s crucial for GPT-5 because there’s a significant gap between the projected size of the model and the available real-world data. However, synthetic data carries risks, such as causing model collapse if the wrong type of data is introduced.

What are the expectations for GPT-5's capabilities?

Expectations are high, ranging from automating tasks like booking flights and appointments to predicting user needs and reducing mistakes. The model is expected to 'wow' users with its capabilities, but there’s no clear consensus on what exactly GPT-5 should achieve.

How does the delay in GPT-5's launch affect OpenAI's business?

The delay could impact OpenAI’s competitive position, as the company has set high expectations for GPT-5 as a significant step forward. If the model fails to meet these expectations, it’s unclear how the business will respond, though there’s still potential for incremental improvements.

What are some creative digital gift ideas for the holidays?

Creative digital gifts include subscriptions to apps like Time Shifter for travelers, Babbel for language learning, and password managers. One-time fee apps like Crouton Plus for cooking and Animal Crossing Pocket Camp for gaming are also popular choices.

How can digital gifts be made more personal?

Digital gifts can be made more personal by printing out gift cards, wrapping them, and including a related accessory. For example, a yoga app subscription could come with a yoga towel, or a Netflix gift card could be paired with popcorn.

Chapters
This segment explores the potential of digital gifts as thoughtful presents, challenging the conventional view of gift cards as impersonal. It offers various examples of digital gifts, ranging from subscriptions to apps, and suggests ways to make them feel more personal.
  • Digital gifts can be as thoughtful as traditional presents.
  • Examples include Netflix subscriptions, iCloud storage, language learning apps, and password managers.
  • Presentation is key; wrapping the digital gift card and adding a small, related physical item enhances the experience.

Shownotes Transcript

亚马逊Q Business是来自AWS的生成式AI助手,因为业务可能会很慢,就像在泥地里跋涉一样。但Amazon Q有助于简化工作,因此像总结月度业绩这样的任务可以在短时间内完成。访问aws.com/learn more了解Amazon Q Business能为您做什么。欢迎收听科技新闻简报。今天是12月23日,星期一。我是《华尔街日报》的丹尼·刘易斯。

圣诞节还有两天就要到了,所以如果您还在为礼物购物,我们的个人科技专栏作家有一些关于数字礼物的想法,以及如何让它们比令人讨厌的礼品卡更个性化。稍后节目中,OpenAI正在开发其备受期待的下一代人工智能模型GPT-5。《华尔街日报》报道称,延误导致发布日期推迟,开发成本也在飙升。

我们的记者迪帕·西塔拉曼将加入我们,解释原因以及延误可能对OpenAI业务意味着什么。但首先,礼品卡以临时的礼物而闻名。但随着我们的生活越来越多的发生在智能手机和网上,我们的个人科技专栏作家妮可·阮说情况不再如此。有一些方法可以使数字礼物与任何其他礼物一样个性化和体贴。

妮可,当我们谈论赠送朋友和家人数字礼物时,我们是不是真的只是在谈论,你知道的,令人讨厌的礼品卡?答案是肯定的。但礼品卡真的不必让人感觉不贴心。如果您进行研究并确保获得真正有帮助、真正有用的订阅类型,也许您正在为他们每月可能支付的众多数字订阅之一贡献一份力量。

打开礼品卡可能会像打开梦寐以求的乐高积木一样令人高兴。那么,什么样的数字礼物会成为体贴的节日礼物呢?好吧,听着,据估计,我们每年在虚拟商品上花费近1000美元。这是一大笔钱。所以你不会选错基本款。那就是Netflix,Netflix。

苹果用于iCloud存储的信用额度,用于我们每年存储的数千张照片,或者用于谷歌应用商店。但如果您想更有创意,对于经常旅行的人来说,有一个非常酷的应用程序叫做Time Shifter,它是一个睡眠指南,可以帮助您在出国旅行时预防时差。

如果您的收礼人有兴趣学习不同的语言,Babbel非常酷。它有14种不同语言的简短课程。我最喜欢的数字礼物,我每年都送给我的亲人,是密码管理器的订阅。我知道这不太性感,但我确实提供我的服务,这是这份礼物最有价值的部分。

您可以获得一年一度的密码,然后我帮助您更改所有不良密码并在所有设备上设置密码管理器。这份礼物是无价的。关于订阅的一件事是它们会不断出现。

你知道,如果你送人订阅,而他们最终喜欢它,你岂不是让他们以后还要继续付款吗?是的,你是。因此,如果您不想给他们送一份经常性月费的礼物,您可以送给他们一个一次性付费的付费应用程序。从iPhone上的App Store应用程序赠送这些应用程序实际上非常容易。我们的一些最爱包括Crouton Plus,它

它有很多巧妙的烹饪技巧。您可以拍摄任何食谱的照片,使用此应用程序,您可以将食谱调整到您想要的派对规模。动物森友会口袋露营完整版是任天堂最新的游戏之一。这是一个可爱的模拟人生游戏,售价10美元。我过去送过的一份礼物叫做Forest,它奖励你的生产力。您在应用程序上打开Forest,时间越长……

它还在运行,所以你不会被其他应用程序(如TikTok)分散注意力,你专注的时间越长,你的数字花园就越茂盛。尽管这些数字礼物很贴心,但仅仅向某人发送包含下载代码的电子邮件仍然会让人感觉不那么贴心。你如何让它们感觉更特别?

我与许多礼仪专家讨论了这个问题,他们说你应该打印出你的礼品卡或购买一张实体礼品卡,像包装一双新溜冰鞋或一辆新自行车一样包装它,并附上一个小小的

一个有趣的配饰与你的礼品卡一起。如果您赠送瑜伽应用程序,则应包含一条瑜伽毛巾。如果您正在上网学习法语课程,不妨加一条新鲜的法棍面包。或者,如果您赠送一年份的Netflix、Disney Plus或Max,不妨加一小桶爆米花?《华尔街日报》个人科技专栏作家妮可·阮。接下来,OpenAI对为ChatGPT提供支持的AI模型的长期延迟更新有很多炒作。

它什么时候才能到来?它需要做什么才能达到预期?休息一下后再说。亚马逊Q Business是来自AWS的新的生成式AI助手,因为许多任务会使业务变慢,就像在泥地里跋涉一样。

帮助?幸运的是,有一个更快、更容易、更简洁的选择。Amazon Q可以安全地理解您的业务数据,并利用这些知识来简化任务。现在,您可以立即总结季度业绩或进行复杂的分析。Q搞定了。访问aws.com/learn more了解Amazon Q business能为您做什么。OpenAI一直在开发其流行聊天机器人ChatGPT背后的AI模型的新更新。

该公司一直在炒作期待已久的更新,称为GPT-5,代号为Orion,但它面临着严重的延误,今年只发布了一个名为GPT-4.0的较小升级。

估计表明,新模型的六个月训练运行仅计算成本就约为5亿美元。OpenAI至少进行了两次训练运行。《华尔街日报》科技记者迪帕·西塔拉曼一直在关注这个故事。她现在加入我们,解释正在发生的事情。在我们开始之前,快速说明一下。新闻集团(《华尔街日报》的所有者)与OpenAI建立了内容许可合作伙伴关系。

所以,迪帕,我们对GPT-5了解多少?它应该与GPT-4.0有什么不同?

这取决于你问谁。有些人认为它会很神奇。然后许多其他人只是希望整个系统能够真正为人们做一些事情,例如预订航班或预约和餐厅预订,甚至可能预测您(用户)想要什么并减少错误。

所以它有点包罗万象。对这个模型有非常高的期望来做任何这些事情,但只是为了普遍惊艳。为什么这个新模型这么晚?有很多非常复杂的不同原因。首先,我们必须承认这些系统非常非常困难。

OpenAI拥有一些世界上最聪明的人来解决这个问题。但现在发生的情况是,到目前为止,有一个非常强大的想法一直是人工智能社区发展引擎。那就是规模。规模很重要。这方面还有更多细微之处,但本质上,这个想法是将你拥有的所有数据都放入

放入模型中,不知何故,模型变得更强大。

然而,这种方法只有在您拥有数据的情况下才有效。所以我们现在正处于这种情况。我的意思是,互联网上有大量数据,但我和我妈妈之间的文本与公共数据之间存在很大差异。所有好的东西都已经被抓取了。如果您要将这些模型的大小加倍,则必须不成比例地增加数据量

目前,模型的预计大小与可用数据之间存在很大的差距。我们应该注意,OpenAI和微软拒绝就此事发表评论。迪帕,OpenAI对这次延误说了些什么?

目前,他们什么也没说。我们从与围绕这个问题的消息来源交谈中了解到,那里的微软高管确实认为它会在2024年春季准备好。现在我们谈论的是2024年12月,它仍然没有发布。这是因为他们遇到了很多不同的挑战。

首先,他们需要决定模型的设计。您想要能够维持如此巨大数据量的东西。然后是关于数据的另一个挑战。就像我说的,你需要更多的数据。因此,OpenAI和研究人员不得不弄清楚该怎么办?你如何填补这个数据差距?他们已经通过几种不同的方式来解决这个问题。并且

一种关键方法是通过制作它。这称为合成数据。当AI制作数据,然后你把它反馈给AI,希望它能够成长。如果引入了错误类型的数据,这也是一个风险来源。许多研究表明,某些类型的合成数据实际上会导致模型完全恶化。他们称之为模型崩溃。

所以这样做并非没有风险。然后他们还在招聘人员,而不仅仅是任何人。他们正在寻找软件工程师或数学家,在某些情况下,他们正在寻找可以帮助解决问题并解释其逻辑的理论物理学家,例如他们思考问题的方式。然后将该材料输入模型,并且该材料

数据确实可以帮助模型理解,嘿,这就是这个人解决问题的方法。也许我也可以找到一种中间方法,或者采用这两种方法中的一种,并牢记这种策略来解决新问题。然后还有另一个挑战,那就是

没有人知道GPT-5应该做什么或是什么样的。有一些测试。现在,你有了……

评估。但从根本上说,它是编码和数学问题。这些事情很容易评估,因为代码有效或无效。数学,答案是对的或不对的。显然,当您达到这两个学科的非常高的水平时,会有例外。但是OpenAI的人们如何衡量他们正在生产的东西是否值得GPT-5这个名称?

对于他们中的许多人来说,除了对这些科目和其他一些科目的评估之外,这是一种直觉,你的直觉。一个人向我描述它时说,这主要是感觉。迪帕,你还报道说成本是一个因素。OpenAI首席执行官萨姆·奥特曼表示,GPT-4的训练成本超过1亿美元。

未来的AI模型预计将超过10亿美元。那么,如果OpenAI无法按照他们制定的时间表发布更好的模型会发生什么?

这种延误如何影响OpenAI的业务?他们将始终能够进一步推动模型。在推理等方面仍然有很多唾手可得的成果。但是,你知道,当OpenAI的高管将其描述为超级智能或重大进步时,这设定了非常高的标准。因此,该公司能够继续前进并做一些有趣的事情。它会成为那样的事情吗?

这是一个悬而未决的问题。如果它未能创造下一个数量级的产品,则不清楚企业将如何应对。迪帕·西塔拉曼为《华尔街日报》报道人工智能新闻。这就是今天的科技新闻简报的全部内容。今天的节目由朱莉·张制作,总制作人是凯瑟琳·米尔萨普。我是《华尔街日报》的丹尼·刘易斯。

从明天开始,我们将开始一个系列节目,介绍我们的科技记者和专栏作家将在2025年关注的最大趋势、人物和公司。我们将于圣诞节休假一天,周四将回归,播出科技新闻简报的新剧集。今天下午我们将回归,播出TNB科技速递。感谢收听。亚马逊Q Business是来自AWS的新的生成式AI助手,因为许多任务会使业务变慢,就像在泥地里跋涉一样。

帮助?幸运的是,有一个更快、更容易、更简洁的选择。Amazon Q可以安全地理解您的业务数据,并利用这些知识来简化任务。现在,您可以立即总结季度业绩或进行复杂的分析。Q搞定了。访问aws.com/learn more了解Amazon Q business能为您做什么。