Why AI Should Be Taught to Know Its Limits
17:43 Share

人工智能最大、尚未解决的问题之一是，当先进的算法遇到它们没有答案的情况时应该怎么做。对于像Chat GPT这样的程序，这可能意味着提供一个自信但错误的答案，这通常被称为“幻觉”；而对于其他程序，比如自动驾驶汽车，后果可能会更加严重。但是，如果人工智能能够被教会识别它们不理解的内容并相应调整呢？东北大学体验人工智能研究所的执行董事Usama Fayyad认为，这可能是使未来人工智能在其工作中变得更好的算法性答案，因为这是一种太少人类能够做到的事情：认识到自己的局限性。

2023年公司如何使用生成性人工智能？看看五个早期采用者。 你的医疗设备正在变得更智能。FDA能否确保它们的安全？ 人工智能：OpenAI的故事

<raw_text>0 亚马逊q业务是来自AWS的生成性AI助手，因为业务可能会很慢，就像在泥中等待一样，但亚马逊q帮助简化工作，因此像每月汇总结果这样的任务可以在短时间内完成。了解亚马逊q业务在未来可以做什么。

在我们进入今天的内容之前，所有听众都需要知道的是，我们做了一些改变。我们将为您带来更多您期待的原创报道和采访。每周五查看我们，让我们知道您的想法，给我们发邮件：每个播客在WSJ.com。至少自从我们有科幻故事以来，人们就梦想着有一天人工智能能够与人类并肩工作，使生活变得更好。想想斯坦利·库布里克经典电影《2001太空漫游》中，九千号星际飞船操作AI的情景。

九千号系列是有史以来最可靠的计算机。没有九千号计算机曾经犯过错误或扭曲信息。我们都是，按照任何实际定义，万无一失且无法出错。

当然，这并不完全正确。剧透警告，九千号最终背叛了他的船员，最后被停用。

你做的。幸运的是，现实生活中的AI。

我们现在拥有的AI远没有那么强大，但这并没有阻止用户或开发这些技术的公司将这些程序视为智能。根据OpenAI的说法，其ChatGPT程序已经可以引用、查看和说话。很快，它将能够做更多的事情，因为我们。

相信AI将成为技术和社会的革命。

这是OpenAI联合创始人兼首席执行官Sam Altman在11月公司开发者大会上的发言。

我们将能够做更多的事情，创造更多的东西，随着智能的整合，我们将无处不在地拥有超能力。

但一些研究人员表示，这远远超出了这些程序的能力。

当你使用这个聊天机器人时，它的回答通常很雄辩，似乎在某个主题上很有能力，因此我们很容易被愚弄，以为这就是智能，实际上并不是。

Usama Fayyad是东北大学体验人工智能研究所的执行董事。他在微软和雅虎等公司研究数据和人工智能超过三十年，并在麻省理工学院喷气推进实验室创立了机器学习系统组。他表示，人工智能变得更好的一个方法是人们停止将智能和人格的观念投射到这些计算机程序上。

你必须保持警惕，不断提醒自己，这个东西试图帮助我提出最佳的自动补全。但我有责任仔细阅读并检查它。

来自《华尔街日报》。这是未来的一切。我是Danny Lose。我与Fayyad讨论了小事情，比如称AI错误为污染，可能会误导人们认为这些程序比实际更强大。但他也表示，认识到这些局限性可以使AI变得更好。我们将在休息后了解如何做到这一点，请继续关注我们。

亚马逊q业务是来自AWS的新生成性AI助手，因为许多任务可能会使业务变得缓慢，就像在泥中等待一样。

帮助。幸运的是。

有一个更快、更简单、更少麻烦的选择。亚马逊q可以安全地理解你的业务数据，并利用这些知识来简化任务？现在你可以在短时间内总结季度结果或进行复杂分析。

Q，搞定了。了解亚马逊q业务可以为你做什么，访问AWS.com闪电。了解更多。

Usama，我们听说很多关于人工智能使用大型语言模型进行训练的事情，这就像ChatGPT中的GPT。这种训练是如何工作的？人工智能用它做什么？

好吧，你基本上是输入文档，然后说，学习一些模式，它查看你选择中的每个句子，并说，好吧，如果我看到这个句子的第一部分，我猜下一个词是这个句子中接下来的内容，对吧？而且它在数百万或数十亿个这样的句子上进行这个操作？所以你得出一种方式，基本上是以一种非常灵活、非常复杂的方式回显你看到的所有内容。

现在重要的是要提到，这个自动补全对文档中的内容没有理解，它在没有理解它所补全的内容的情况下进行操作。我们使用的技术术语是“讽刺鹦鹉”。所以它们是鹦鹉，因为它们不理解它们所说的内容，而它们是讽刺的，因为它们有一定程度的声誉，因为有时，它们会猜对正确的词，有时它们会完全猜错。

然后生成性AI的工作方式是，无论它猜测什么，它都假设是真实的。它将其作为输入的一部分，现在在此基础上构建。因此，这就是这些大型语言模型出现错误的方式。

所以很多人谈论训练数据是一个大问题，因为如果有错误，或者你知道偏见和不平衡，取决于你与谁交谈，情况会非常不同。但这真的是目前人工智能最大的问题吗？

这是一个重要的问题。这里的一个大问题是，你的数据是否平衡，是否足够完整？是否代表现实？你是否在模型上进行了足够的训练，以便它能够准确反映？创建数据和数据平衡的成本是非常重要的。

如果你实际上包含了错误的数据，如果你包含了两个看起来相似但得出矛盾结论的文档，ChatGPT将不知道选择哪一个。它的判断通常是，出现频率更高的内容必须是真实的。因此，你可以轻易地愚弄它，让它相信一些东西，只需提供大量可以处理的内容，重复一个不真实的内容，然后突然间那个不真实的内容就变成了真实的。

人们在谈论AI幻觉时，是不是在指这个？

引用我刚才提到的内容，即它的工作方式，基本上，这个自动补全在开始构建它的答案时，一次一个字。当它猜测到相同的词时，它就开始独立运作。

所以计算机基本上就像你研讨会上最烦人的家伙，在没有思考任何事情之前就开始喋喋不休。

他说的没错，它并没有考虑自己在说什么。它甚至不理解自己在说什么。它基本上只是在说，每当我看到这个词时，下一个可能的词是这个，下一个可能的词是这个。顺便说一下，我想相信自己，因为我看到那些词，并在它们之上构建。这就是生成AI的工作方式。

你对人们将整个过程称为幻觉有什么看法？

现在当你说幻觉时，你是在给模型赋予过多的属性。你基本上是在说它是智能的，但实际上它并不智能。

它对自己所说的内容没有理解。因此，它会犯错误，这就是我喜欢的术语。

我更喜欢我们说，看看，它会犯错误，它的功能的一部分就是犯错误，因为它一直在猜测，有时，我的猜测是错误的。当那个猜测是错误的，它就会构建错误的东西。现在要记住的一件事是，这些模型没有意图。

所以它并不打算欺骗你，它正在尽力根据你给它的提示进行自动补全，这就是为什么当你要求你的答案非常精确时，失败会变得非常显著。比如，给我一个确切的引用。如果你试图根据你的记忆进行自动补全来重建引用，而它都是近似的，你不会给出一个好的答案。

那么，如果我们不解决这些幻觉实例错误，会有什么后果呢？

从自动驾驶的角度来看，我们是否在加载一种安全感，而在驾驶时却在打瞌睡？所以当你使用这个聊天机器人时，它的回答通常很雄辩，似乎在某个主题上很有能力，因此我们很容易被愚弄，以为这就是智能，实际上并不是。你必须保持警惕，不断提醒自己，这个东西试图帮助我提出最佳的自动补全。

但我有责任仔细阅读并检查它。然后当它引用某些内容，或者我需要引用时，我去查阅研究，拿起那个并添加进去。现在，自动补全是有用的。

它并不能解决世界的问题，但它非常有用。它可以加快你的速度。在知识经济中，加速是经济上非常重要的。

根据联合国的说法，在富裕国家，知识经济大约占经济的一半，取决于估计，最高可达55%。现在，如果你有一些东西影响了经济，但即使我只给你一个1%或5%的加速，你也不能忽视它的经济重要性。

它占据了经济的一半，而经济的一半的1%是巨大的，对吧？所以我们想出了这种技术，尽管它并不免于错误，但根据谷歌和其他公司的说法，它实际上正在帮助加速我们为自己发明的许多任务。加速知识工作者的任务具有巨大的经济后果，不能被忽视。

接下来，深度、微妙的AI工作原理如何使其成为更有效的工具，请继续关注？

亚马逊q业务是来自AWS的新生成性AI助手，因为许多任务可能会使业务变得缓慢，就像在泥中等待一样。

帮助。幸运的是。

有一个更快、更简单、更少麻烦的选择。亚马逊q可以安全地理解你的业务数据，并利用这些知识来简化任务。现在你可以在短时间内总结季度结果或进行复杂分析。

Q，搞定了。了解亚马逊q业务可以为你做什么，访问AWS.com闪电。了解更多。

Usama，我们仍然没有解决公众对人工智能的看法，因为对很多人来说，它似乎是通过魔法运作的。

任何运作得非常好的技术开始看起来就像魔法。呃，谷歌搜索，顺便说一下。嗯，决定哪些页面对你的2.5个关键词查询最相关的核心引擎，实际上在后台有很多工作，涉及大量的人为干预。但因为这家公司不谈论它，呃，你只会觉得这就是魔法，顺便说一下，ChatGPT，在你完成所有这些训练并花费数百万美元进行训练后，你现在还需要一个周期，OpenAI并没有谈论让人类，他们自己的员工、承包商，挑战模型。这被称为微调学习过程，这非常昂贵，且需要大量人力。

你如何保留这些AI系统真正有用的部分，而不让用户做我在与银行通话时经常做的事情，我与自动化的人工智能系统交谈，但我没有得到正确的答案，最后不断说，跟人谈，跟人谈，跟人谈，直到我终于联系到一个操作员。

这是一个伟大而核心的问题。事实上，在今天的技术中，唯一的方法就是找出何时引入人类干预，何时应该由人类接管，嗯，有效地提示系统说，关闭并给我一个人。停止试图帮助。

我们需要更聪明地更快地捕捉到这些提示，并更快地进行交接，正是因为一旦那个AI或机器人系统陷入某种模式，它就不会理解。如果你用一个它从未见过的案例接近它，它根本无法想到一个新颖的解决方案。

它不能，它就是不能。因为我所能做的就是回显我在其训练文档中看到的内容。这就是我所定义的你之前看到的内容，这使我们面临许多与自动驾驶相关的问题，正如我们今天试图训练车辆的方式。

它必须依赖于之前见过的情况，以便知道正确的行动是什么。而最危险的部分是，当它遇到一个它从未见过的情况时，我希望它能够足够聪明地说，嘿，我从未见过这个停止。实际上，它会给你一个输出。

在这种情况下，该输出是完全不可预测的。它可能是正确的，比如踩刹车，或者可能是错误的，比如踩油门或转向这个人或其他什么。这就是危险所在，因为它并没有思考，呃，我无法与一个可能持续五十小时的训练课程与一个人类青少年竞争。而这个人类现在有资格驾驶汽车，并且会对他们从未见过的情况做出合理的反应。这些算法的问题是，一旦它们进入一个它们从未见过的空间，输出就是完全不可预测的。

但你可以对人们说同样的话。你可以对AI司机说同样的话，想象一下在高速公路上跑出来的动物或其他什么情况，你会怎么做？

你可能会惊慌。但请记住，人类似乎以某种方式利用他们的其他经验来帮助做出决策并学习任务。我们以某种方式设法进行概括，提出类比，进行所谓的迁移学习。所以我学会了在国际象棋中移动，我可以将同样的概念应用于跳棋。

那么，你能想象一个未来的世界，在这个世界中，人工智能能够在没有人类检查他们的工作时正常运作吗？我们需要做些什么才能达到这一点？

我认为，随着我们将工作和任务分解为高度机器人化、高度可预测的事情，嗯，不太可能发生变化。是的，我可以想象自动化，实际上，这种情况经常发生。嗯，我也可以想象一个世界，在这个世界中，我们赋予人工智能能力，能够说，等等，我从未见过这个。

人工智能面临的最大未解决问题之一是，当先进算法遇到它们没有答案的情况时应该怎么做。对于像Chat GPT这样的程序，这可能意味着提供一个自信但错误的答案，这通常被称为“幻觉”；而对于其他程序，比如自动驾驶汽车，后果可能更加严重。但是，如果人工智能能够被教会识别它们不理解的内容并相应调整呢？东北大学体验人工智能研究所的执行董事Usama Fayyad认为，这可能是使未来人工智能在其工作中表现更好的算法答案，因为这是一种太少人类能够做到的事情：识别自己的局限性。

2023年公司如何使用生成性人工智能？看看五个早期采用者。 你的医疗设备正在变得更智能。FDA能否确保它们的安全？ 人工智能：OpenAI的故事

<raw_text>0 停止。这就是为什么我对慢速移动车辆的自主导航非常看好。如果你有一辆缓慢移动的垃圾车，每当它面临新情况时，你可以停下来寻求帮助，对吧？

这是非常可行的。如果你以高速移动，你就没有停下来等待帮助的奢侈，那么你就必须做出自主决策。当你做出这些自主决策时，它们可能会产生灾难性的后果。