#268 Scaling AI in the Enterprise with Abhas Ricky, Chief Strategy Officer at Cloudera
43:23 Share

数据变得越来越强大，因为现在您可以将其用作企业上下文，并应用大型语言模型或任何可能位于其顶部的新的 AI 框架。因此，我认为人们越来越关注数据的质量，正如我所说。欢迎来到 Data Framed。我是 Richie。

数据和 AI 非常出色，因此您自然希望在工作中更多地使用它们。问题在于，在某些时候，您的技术或流程将会崩溃，事情将停止运行。因此，今天我们将研究如何扩展您的运营。我想知道如何在增长过程中管理成本，哪些领域应该关注才能产生影响，以及如何应对数据蔓延的安全挑战。

我还想知道一些数据管理中的大趋势是否有用，例如混合计算和将数据视为资产。今天加入我们的是 Cloudera 的首席战略官 Abbas Rikki。Abbas 负责制定公司愿景，构建业务和客户目标运营模式，并与关键利益相关者沟通。

此前，他曾在同一家公司担任首席执行官和业务转型副总裁。在 Cloudera/Hortonworks 合并之前，他帮助 Hortonworks 将其市场推广工作扩展为全球客户创新和价值管理主管。他还被世界经济论坛评为全球塑造者，并被 Founders Forum 列为“未来 35 岁以下创始人”。

除了他的日常工作外，Abbas 还是非营利组织 AMRI 基金会的创始人兼首席执行官，帮助弱势儿童融入主流教育。那么，让我们听听他对扩展数据和 AI 能力的看法吧。你好，Abbas，欢迎来到节目。早上好，很高兴见到你。首先，您在数据领域看到了哪些最重要的趋势？

是的，我们开始看到一些事情。正如您所知，在过去的十年左右时间里，大部分注意力都集中在云应用程序上。在过去的 40 年里，没有一项技术拥有三个非常大的提供商，每个提供商都拥有 1000 亿美元或更多的计算能力，并且增长率为 30%、40% KBAR。

这将数据应用程序业务推向了新的高度。但这同时也带来了关于数据安全、数据治理、数据血统以及所有这些能力的新挑战。因此，在过去的五年左右时间里，当 OpenAI 的 Transformer 库论文真正问世时，人们越来越关注数据作为一种资产。

因此，我们每周都会与之交谈的大多数大型企业都希望说，嘿，我想能够构建我将用来训练大型语言模型的数据。

无论是代理应用程序、RAG 应用程序还是微调，其核心前提是您希望能够信任将用于任何 AI 应用程序的数据。我认为对数据的信任是一个非常重要的问题。我们开始关注的第二件事是我们开始谈论的输出保真度。这通常取决于您拥有的数据集的质量。

因此，在 AI 行话中，我们将其称为企业上下文。人们越来越关注获取高价值的企业上下文，无论是用于 AI 应用程序，还是用于代理应用程序。我相信第三个真正的问题是我之前提到的最初观点，即正在发生大量数据蔓延。因为请记住，从架构上讲，我们是从数据湖转向湖仓，对吧？

现在是 AI 技术略有不同的架构。但在此过程中，已经有应用程序开发人员、AI 从业人员、SQL 开发人员、前端和后端，他们都创建了自己的系统和工具。已经发生了大量的数据蔓延。这会造成数据安全问题，也会造成成本问题。总拥有成本是一个重要因素。

因此，这越来越受到关注。大型企业正在尝试利用他们掌握的最佳工具和服务来解决这个问题。这些似乎都很重要。是的，您希望能够相信您的数据会给您正确的答案，并且您需要能够找到它，而不仅仅是弄清楚它位于哪个应用程序或哪个数据库中。您刚才提到了数据作为资产的概念。您能否详细说明一下这意味着什么？

是的，从技术上讲，许多人都说他们希望获得数据网格架构。这是

能力的来源，对吧？这包括查询联合，例如。这包括在数据本身添加属性，以便您可以将数据视为产品。因为归根结底，这就是大多数应用程序开发人员想要达到的目标，这样他们的工作就会变得更容易。但是除此之外，

我给你举个真实的例子。我与一个非常大的家庭合作。他们在管理中拥有接近 1 个 exabyte 的数据。这是一个非常大的数字，结构化、非结构化图像，各种数据。

但是两三年来，这都是存储。您可以提取其中一部分用于分析。您可以提取其中一部分用于您的下一个最佳操作或您的情绪分析或任何用例。然后您担心确保符合政策。如果您受到监管，在这种情况下，他们受到了监管。但欧洲的元素，正如您所知，GDPR 在加利福尼亚州，CCPA 也出现了。

因此，很多价值在于确保您可以部分使用数据来获得特定结果。但随着 AI 的出现，发生的事情是数据已成为主要焦点，因为正在发生民主化。例如，如果您是 SQL 应用程序开发人员，而我是数据科学家，两三年前，您每次想要更改模型上的参数时都必须来找我。

现在您不需要这样做，因为您可以使用企业上下文（又名数据资产）并将其应用于大型语言模型，而无需来找我作为 AI 从业人员或数据科学家。因此，您不需要进化或提升技能，并且您可以使用相同的数据集为不同的用例获得不同的结果。

因此，数据变得越来越强大，因为现在您可以将其用作企业上下文，并将其应用于语言模型或任何可能位于其顶部的新的 AI 框架。因此，我认为人们越来越关注数据的质量，正如我所说，但同样重要的是使其可用，将其交到从业人员手中。数据作为产品绝对可以帮助您实现这一目标。

绝对的。因此，我喜欢这样的想法，好吧，您知道，只是将您的数据存储在某个地方，跟踪它，这很好，但这不一定能为您的业务增加价值。您需要确保将其放在您可以轻松使用的地方，这样您就可以利用它。您提到了生成式 AI。显然，它现在正在进入几乎所有领域。

但我感觉有些组织，你知道，他们已经把事情安排好了。他们相当先进。其他组织才刚刚起步。您通常对企业在其 AI 之旅中的位置有什么感觉？所以我会用以下内容来回应这个问题：

两个方面。首先是取决于客户所经历的旅程或所处的空间。让我们谈谈领导者。领导者是指那些内部拥有非常庞大或相对庞大的工程团队和技能集的组织。他们能够相当简洁地解决数据工程问题，同时也在成本、治理、运营等领域内，

因此，这些人已经准备好利用生成式 AI 应用程序。例如，我们与一家非常大的银行合作，他们从低垂的果实开始。他们构建了一个文本摘要应用程序，他们构建了类似于服务运营的聊天问答的副驾驶。因此，他们在第一年主要使用这些系统来做到这一点。

但今年，他们实际上正在扩展，但他们也正在转向代理应用程序。我说从助手到代理的转变。现在，代理主要是允许您进行函数调用的功能。过去，有些人曾经说过 API。但自主代理实际上是从

不仅是数据到洞察，而且到行动。因为它代表人类循环采取行动，这将通过分析一组参数、理解行动背后的意图并能够做到这一点来执行。在这种情况下，这家银行，最后一个，

他们已经通过他们可能拥有的所有代理应用程序将各种用例（例如贷款承销或税务发票对账）投入生产。

而且，即使是我所说的 LLM 调用示例，他们 70% 或更多的 LLM 调用现在都是通过代理完成的。因此，他们今年将代理投入生产，并将生成式 AI 作为正常流程的一部分，我认为这对扩展生成式 AI 非常重要。它不能作为创新部门的一个独立部分存在于角落里。它必须作为正常研发周期的一部分嵌入其中。这是针对领导者的。

现在谈谈落后者，我不想对落后者有负面情绪。我只是想说，人们无法足够早地开始。我认为他们仍然处于稍早的阶段，他们仍然开始达到能够通过使用他们喜欢的模型（无论他们喜欢哪种风格，专有还是开源），他们仍然开始使用任何 AI 框架来构建应用程序。

他们仍然开始获得他们的第一个 AI 应用程序。但是那些组织、企业或我们的客户

我们经常说，您必须确保您的架构是为未来的规模而构建的，但您也必须达到拥有核心数据平台的程度。在您可以进行任何模型托管、微调或 RAG 应用程序等之前，您必须具备提供数据的能力。我认为很多客户都处于那个时间点，这就是我们看到他们正在努力的方向。

好的，所以范围非常广。当然，是的，现在才刚刚开始绝对没问题。每个人一开始对所有事情都像个初学者一样。您提到了在真正进入 AI 领域之前需要整理您的数据。那么，在您能够成功使用 AI 之前，您需要对您的数据基础设施做些什么？是的，我认为 AI 生命周期是……

您在构建云应用程序时也可能已经完成的多个步骤的一个很好的表示。但它略有不同，因为您需要事先解决数据工程问题，因为您仍然需要摄取数据。您仍然需要进行数据准备。您仍然需要进行数据写入。您仍然需要进行数据工程，然后将其提供给您正在使用的任何平台，以便能够应用

任何应用程序、任何模型、任何框架、任何可能位于其顶部的代理。我的意思是

作为 AI 应用程序生命周期的一部分，您必须确保已经完成了数据摄取准备、运行等，并且您已准备好将其提供给一个环境或平台，以便您可以在其上开始应用 AI 或机器学习应用程序构建功能。这与我们进行生命周期分析时略有不同，因为当我们只是进行生命周期分析时，

湖仓的全部内容是您拥有数据摄取准备，但您也在其上寻找应用程序。这就是为您带来结果的原因。因此，当您从数据到洞察时，我使用这个词。在这种情况下，您是从数据到洞察到价值到行动。最后一英里同样重要。能够克服这一点对我们来说非常重要。

我真的很喜欢那里有一个循序渐进的框架的想法。您首先改进您的数据，然后尝试从中获得一些见解，最终您希望从该数据中获得某种行动。然后也许您正在添加 AI，并且您有代理自动执行所有这些操作。因此，听起来在每个步骤中都会面临不同的挑战。因此，我想首先，准备数据，尤其是在企业中，有哪些重大挑战？绝对的。我认为……

大背景是您是在进行生命周期分析还是 AI，这都是团队合作。我一直说 AI 是一项团队运动。例如，我刚才谈到的用例，即 AI 生命周期，您必须达到一个点，即您的数据管理平台以最高的保真度提供数据，但具有您需要能够应用的安全性模块和元数据。

您需要拥有可以应用于您拥有的数据的模型，这些模型可以为您提供最高的保真度输出，同时也在成本框架内。例如，您通常不需要大型语言模型。您可以使用小型语言模型甚至大型动作模型。

然后，当您开始为语义搜索查询进行向量嵌入，或者您试图推断某些功能时，您还必须围绕它设置一个治理层。因此，您不仅需要查找工具，还需要监控功能、可观察性功能。您需要围绕它拥有 MLOps 功能。

然后，当您开始部署和构建代理应用程序时，您需要拥有代理，还需要围绕它们的编排，因为根据您使用的工具，有很多代理。然后您需要拥有一个应用程序托管 UI 功能来部署所有这些。但在所有这些事情中，您都需要能够达到一个点，即您拥有

一个基础设施层，以便您可以根据您选择的私有云、公共云、桌面、移动设备以您选择的价位在 GPU 上运行大规模 AI 工作负载。为什么？因为在当今世界，计算成本如此高昂。顺便说一句，我上次查看时，电力并没有变得更便宜。因此，一段时间内它将保持这种状态。这就是 AI 模块。现在是您关于获取准备数据的特定挑战的第二个问题的答案。

好吧，有几个。首先是数据蔓延。正如我给您的应用程序开发人员的例子一样，正在发生这种情况。我们需要确保我们能够应对这种情况，但也要有一个流程

以及系统内、组织内、LOB IT（业务线 IT）内的一组流程，以便不会出现影子 IT 推动这种情况的情况。第二个是达到能够访问正确数据集的程度。我谈到了代理。一位客户告诉我，最难做的事情是能够将数据暴露给这些代理，因为这是我们获得另一侧更高保真度输出的核心基础。因此，获取它并将其以您想要的形式、在您想要的平台上提供给您在其中使用的任何应用程序并非易事。显然，最后是

每个人都希望能够知道谁接触过数据，谁更改了它，您何时更改了它？之前是什么样的？现在是什么样的？这些都是关于治理和运营的事情。因此，数据血统、元数据治理、技术元数据、业务元数据，具有理解的能力

当您移动数据时，跨系统的流程。因此，这三个广泛的领域我认为数据运营作为一个概念正变得越来越流行。这就是它为您的第一个问题提供答案的原因，即数据运营如何固有地提高实用性或提高我们刚才讨论的 AI 生命周期输出？哦，哇。这听起来……

比我预期的要复杂得多。那里涉及很多不同的层次。所以你说你有基础设施方面的东西，比如数据血统、ML ops，你有监控，你有一切。这甚至在你开始考虑我们是否真的在解决业务问题之前。因此，在我们开始讨论生命周期后期的问题之前，也许值得讨论一下谁需要参与。我想听起来会有很多不同的团队参与。谁需要负责所有这些？

我认为没有一个人负责所有事情，就像我们在整个云应用程序时代所做的那样。当然，我们将有数据管理员来确保数据运营的各个方面都能顺利运行。但显然，所有这一切都始于用例。所有这一切都始于业务用例。

如果您开始构建应用程序然后将其强加于业务线，这非常罕见，实际上是错误的。因此，它应该从业务线所有者开始。例如，如果您是一家银行或电信公司，并且您想运行一个共享模型，因为您想更好地了解您最忠实的客户，这就是它的开始。那个人将拥有业务定义和转换。团队中的某个人将拥有业务定义的转换。

将需求转化为 IT 团队必须具备的技术能力。根据他们可能拥有的组织结构，您通常也会在业务线内部拥有 AI 从业人员。然后显然他们会进来

他们将想要尝试构建一个应用程序来测试它。有时，如果您需要扩展它，他们会将其扔过墙，然后说：“嘿，IT，您能否进入企业级安全、企业级治理，并使其成为企业范围的应用程序？”在这种情况下，显然，AI 从业人员，以及我们称之为 ILOBIT 的业务线内部的 SQL 应用程序开发人员，将需要参与才能完成这项测试。

但是当它涉及到企业范围的使用时，不仅仅是 IT 团队在确保这一点。您有安全团队参与。因为在大型银行、大型代币、大型保险公司等中，存在数据安全方面的因素，这在生成式 AI 领域非常重要。我们都看到了针对 OpenAI 提起的多个诉讼，例如，《纽约时报》就是其中一个讨论的话题。

但是我们是否有政策来规定我们可以在模型中使用哪种数据源？因为这是合规官员需要推动的。我们是否有关于我们实际上可以将什么内容放在互联网上或可以在其他地方使用的政策？因此，存在政策要求，合规官员和安全团队也将在其中发挥作用。最后，

这是您内部拥有的核心工程能力。他们是那些构建镐和铲子并进行管道铺设以确保您的平台看起来很酷的人，更不用说实际使用它们的人了。因此，正如我所说，AI 是一项团队运动，数据是一项团队运动，您必须能够确保拥有正确的组织结构才能推动最有效的流程向前发展。

好的，是的，我完全同意这是一项团队运动。有趣的是，您应该始终从业务团队开始，例如，业务问题是什么？因为否则，我想您最终将无法从中获得任何价值。这将是不匹配的。然后将其移交给数据和 AI 人员。然后，只有当您开始扩展时，IT 人员和工程团队才会参与其中。您还提到了法律挑战以及确保安全。

您需要何时开始担心这个问题？应该是在一开始吗？应该是在您提出商业案例之后吗？是的，您需要何时担心法律和安全挑战？我认为“担心”可能不是正确的词。我认为您何时可以开始在公司层面融入可能存在的法律影响？我认为从一开始构建计划时，计划不仅仅是商业计划，而且是技术计划或解决方案计划。

我之所以这么说，是因为，所以现在您在欧洲可以使用 Dover，对吧？您还有白宫关于 AI 指南的精确倡议。越来越多的国家和越来越多的组织将受到不同程度的监管要求和压力的影响。这是从业人员很大一部分

从业人员将需要处理的问题。因此，我认为您必须了解特定政策指令的影响是什么，无论是政府的还是政府间的。我认为您必须从一开始就考虑可能存在的法律风险和暴露，如果没有通过该方法应用，并且也要贯穿始终。

但最重要的是，这是一个不断变化的模式。每个星期天都有一个模型，每个星期一都有一个框架，每个星期三都有一个机构、公司和一个应用程序。因此，自然地，政策方面的人员也在不断发展。他们会提出更新的指南

一段时间内。因此，您不仅必须在一开始就做到这一点，而且还必须确保您在整个过程中都在规划这一点。我要说的一件事是，不久前，我们有很多市值数万亿美元的公司，他们拥有强大的购买力，也能够决定从业人员如何与他们互动。

因此，对于小型组织的合作伙伴关系，例如，如果您想成为某人的战略合作伙伴，您必须确保您正在处理诸如库的赔偿等因素。随着人们从构建 RAG 应用程序转向融资，这些将成为越来越多的论坛中的核心部分。我认为大多数人在六个月内就开始这样做，如果他们还没有这样做的话。

因此，这将像其他所有事物一样不断发展。好的，是的，这当然很有道理，特别是如果您想与大型组织合作，那么您需要确保从法律角度来看一切都在正常运行。只有少数几家公司拥有芯片提供商。只有少数几家公司提供计算能力。归根结底，货币化优势是什么？

单位经济杠杆。这就是计算。这就是每个人都在追求的。无论是大型 LLM 提供商，还是超大规模公司，我们都在提供云应用程序，现在我们也正在进入一些进入芯片制造领域的公司，或者甚至是刚刚开始的非常大型的 GPU 提供商

软件业务，他们都需要计算。因此，我认为，正如我所说，非常大的组织拥有极其强大的购买力。因此，大规模地进行生成式 AI 是一场资本密集型游戏。我之前说过，你必须冒险一试。你不能说，哦，我会让别人来做这件事，然后一年半后会有投资回报率，他们会请来顾问，我们会制定计划。

如果那样的话，火车早就离开了车站。因此，由于投入了如此多的资本和投资，组织可能会面临无数的法律风险。我们需要确保我们在流程之前、流程期间和流程之后都与新的模式保持一致。

您说计算是最重要的，这真的很有趣，因为我认为，至少在本世纪的头几十年，有一种感觉，好吧，计算成本越来越低。然后现在，我想，Gentrify 只是这个改变游戏规则的大事件，它说，好吧，实际上，

应用程序运行起来很昂贵，您需要尽可能多的计算机，或者您需要以经济有效的方式获得它。您认为故事是如何改变的？我的意思是说计算机不是最重要的，我的意思是计算机是人们用来货币化的分母。这是人们使用的指标。当您货币化时，无论是大型语言模型，选择任何一个，无论是 OpenAI 和 Threepenny，我们很可能在这里有很多语言模型。无论您查看大型超球体，无论是 Google、Microsoft 还是 Amazon，通过他们提供的服务，或者甚至是 CloudAware，我们刚刚通过 NVIDIA NIMS 与 NVIDIA 推出了一个推理服务。

因此，他们有自己的模型，并且他们有一个微服务包，因为这些模型针对他们拥有的数据的 GPU 性能进行了优化。但您也有特定行业的 API。但是如果我要将其交给客户，那么他们的价值主张是：A，您可以根据您选择的最佳 TCL 在 GPU 上运行大规模 AI 工作负载。在某些情况下，您每月可以节省数百万美元的计算成本。

但第二个是您可以做我所说的私有 AI。然后，这个想法是您可以使用您拥有的任何 AI 应用程序，并且您可以在公共云、私有云或桌面上进行操作。您可以使用您选择的模型来做到这一点，无论是开源还是闭源。

这是一个客户的价值主张，但供应商的获利方式是通过计算。这就是我的意思。现在，关于计算成本是否正在下降的问题，量子计算方面已经取得了重大进展。许多组织，包括一群亿万富翁，一直在资助公司

和替代能源。我上周也参加了在加州举行的通用人工智能大会，一位一级首席执行官表示，他认为现在

在未来三代模型中，其能耗可能相当于一个小镇一周的能耗。所以它非常依赖计算。因此，尽管量子计算和大型公司通过改进取得了进展，但在计算变得可用之前还需要一段时间。

我想说的是，它不会那么容易获得。因此，我的意思是这是一项资本密集型的事情。所以不要误以为人们没有在努力。他们正在努力。无论是核聚变能源，比尔·盖茨也谈到了这一点，还是其他任何东西。但我只是认为，对于世界各地的普通制造公司或普通零售商来说，它还没有成为主流。因此，在可预见的未来，人们将不得不使用以现有价格点提供的服务。

好的，是的，如果想大幅改进这种最先进的基础模型，它将变得非常耗能，我当然可以理解这一点。组织现在需要为此做计划吗？电费的大幅上涨？我想组织首先需要计划的是，你实际上想要哪些用例？

来构建应用程序。因为并非每个应用程序都需要另一个。你可以只使用小型语言模型。并非所有事情都需要 X 亿个参数，因为你不需要大海捞针。所以第一步是确定要部署哪些用例，方法是通过优先级指标、业务价值和执行来确定。然后，一旦你完成了这一点，

在某些情况下，你会想要使用大型语言模型。显然，你需要确保拥有能够训练它们的数据。因为它不仅计算密集，而且针对各种数据集运行。所以你可能不需要。因此，我说有些行动模型可能更有效。但如果你确实需要，显然，你必须计划增加一点 IT 预算。

就计算成本而言。但更重要的事情是，就像云应用程序一样，当云应用程序变得流行时，SaaS 服务变得流行。垂直 SaaS 产品脱颖而出。这里也会发生类似的事情。

但赢家是那些拥有内部团队的人，他们正在开发、使用这些产品、微调它们，这里说的不是微调，而是字面上的英语意思，试图解决这个问题。因此，即使在当今世界，你自己的组织内部也会有很多人想要获得最新的技术，但也会想要

使用它，因此你必须考虑一定数量的计算成本，你想要在内部拥有的 GPU 能力的数量，即使你已经将你的初步用例外包给了一个将为你构建它的 SI 或

你选择的软件供应商的战略合作伙伴。所以简而言之，答案是肯定的，但具体多少取决于你的用例、你使用的数据量以及它的用途。

好的，这似乎非常合理，即为任何给定的用例使用最小可行模型。你之前说过，有一些非常简单的 AI 应用程序，例如文本摘要，它会演变成非常复杂的事情，例如代理。那么，是否存在一种等效的方法来决定哪些特定用例需要简单的 LLM，哪些用例需要更高级的东西，或者你是否必须尝试并查看你获得的性能？所以

我不会说有简单的或困难的。如果你问从业者，他们都会说所有这些都很复杂。但比如说，如果你是一家银行，你是一名交易员，你早上来上班，阅读见解，例如，你需要两个小时才能从不同的报告或不同的研究工作中收集见解。例如，对于这种情况，你可以实际构建一个文本摘要工具。你只需要一个副驾驶应用程序，它所做的只是在

两分钟内进行文本摘要。因此，你的生产力提高了 99%。在这种情况下，你不需要你的原始个人电脑，除非你浏览互联网的数据量很大，如果你只是交易部门的特定一部分，通常情况下你不会这样做，因为你只有有限的信息需要处理。

但另一方面，例如，如果你的用例略有不同，你正在进行药物发现，对下一种抗癌药物进行规范的药物发现研究，你想要查看过去十年甚至更长时间内你可能拥有的尽可能多的规范数据和经验数据。

你将应用多种不同化学成分的层次结构。在这个世界里，你显然需要一个能够处理你输入的大部分需求的 LLM，很多人称之为参数，你必须拥有 70 亿、80 亿等。

通过这样做，你将获得高保真输出，但显然它也是计算密集型的。但在这种情况下，用例事关生死。事实上，我们有一家非常大的制药组织，营收超过 600 亿美元，他们正在与我们一起进行大量的药物发现工作。他们实际上正在生产中构建生成式 AI 应用程序。

他们已经能够从数据平台转向知识库，以便他们能够获得所需的见解。他们一直在我们之上运行不同类型的语言模型。现在，我同意，虽然它计算密集型，但结果非常重要，并且超过了你的成本。因为如果你能够领先

某种特定药物 X 年。这是一个令人难以置信的成就，不仅在经济上，而且对人类来说，在帮助和提供治疗方面也是如此。我们还有其他组织正在运行

在 2020 年、2021 年和 2022 年的 COVID 时间范围内进行的所有免疫测试。例如，对于他们来说，他们也希望使用它。所以我认为这取决于用例和结果。显然，你必须有一个成本方程。一切都是商业案例。但除此之外，它还取决于你可用数据的质量以及你可能拥有的可以用来构建未来应用程序的技能。

这真的很有趣，你已经有了两个非常不同的用例，这两个用例都有意义。因此，总结报告或会议就像，好吧，你刚刚为某人节省了 15 到 20 分钟，但这很容易做到。另一方面，你知道，你正在改进药物发现周期。这将为你带来数百万美元的收入，但显然成本要高得多。因此，关键在于权衡实施成本与你将获得的价值。

我很想知道你如何扩展这些东西。你提到很多公司都尝试过使用原型。其中一些已经投入生产。当你想要真正做大的时候会发生什么？你找到了你的用例。你如何扩展你的 AI 应用程序？大型组织必须注意三个方面。第一，扩展生成式 AI 基础设施是一个重要的部分。所以它不是……

仅仅是你将在那里使用任何应用程序的事实。我举个例子。有一家非常大的金融服务组织。他们在生产中大约有二十多个生成式 AI 应用程序。

但他们每天通过他们的 LLM 处理 7500 万个单词。他们通过收到的呼叫传感器转录 600 小时的通话。他们有大约 1200 个直接用户和 5000 个每日间接用户……

你从 LLM 获得的总体输出。在这种情况下，你必须确保首先扩展通用 AI 基础设施，否则这将是一个挑战。第二，你必须将通用 AI 嵌入到我提到的流程中。将嵌入到流程中不仅仅是拥有一个单独的团队，而且还需要能够达到不同级别的复杂性，以便能够将 LLM 作为服务提供。

因为你需要与各种工具进行系统集成。你拥有针对不同功能的应用程序，但也拥有服务功能。你有一套必须关注的编排功能。然后还有模型管理。因此，为了能够以这种金融服务组织为例获得所有这些，

每 30 秒，他们都会通过八个不同的渠道收到客户反馈。为了能够将其反馈到你的社交媒体活动中，为了能够通过你可能拥有的评级来实现这一点，因为人们正在发布关于你的 CSAT 的信息，为了能够回应你可能遇到的投诉，

这会影响你的客户旅程，影响你的品牌认知，影响你的产品和价值。因此，正如你所看到的，你必须将其作为你正常流程的一部分嵌入其中。它不能是一件独立的事情。最后，我想说你必须达到一个点，即

你正在使用代理标记应用程序等先进技术。现在，许多组织已经使用了推理等技术，但也使用了费用短学习和总结。这显然有助于实时获取信息。但将复杂的推理与代理集成是下一个前沿。

以自主的方式进行操作是世界前进的方向。我想给你举一个真实的例子。我向你介绍的同一家金融服务组织，他们拥有视觉语言模型。什么是视觉语言模型？用简单的英语来说，这是一双你可以用来进行处理的眼睛。但他们也有代理来简化复杂的多阶段任务。我给你的例子是税务发票核对。所以他们有一个代理做税务

他们获取税务文件。他们有一个代理提取其他来源并应用在其之上以应用上下文。他们有一个代理对其他相关税务数据进行基准测试。他们有一个代理撰写备忘录。他们有一个代理检查备忘录的事实。他们有一个代理格式化备忘录。因此，你需要一个系统来编排和重新生成许多这些代理，以便当有人问到这个问题时，这份财富文件的来源是什么？

你应该能够通过你正在使用的 LLM 来实现这一点，而且还能够以自主的方式进行大批量处理来实现这一点。因此，为了总结这三点，扩展生成式 AI 基础设施，

将其嵌入到你的流程中并采用先进技术，即使用代理进行复杂的推理，是核心内容。但关键在于，好处是巨大的。你不仅可以获得生产力改进，例如从两天到 15 分钟，还可以获得一致性，因为代理在所有文档中、在我提到的所有六个用例中强制执行一致的格式和质量。验证，代理在我在前面提到的示例中提供文档参考。

以便轻松验证信息。最后，也是非常重要的一点，你可以防止幻觉，因为代理可以校对它们，你可以检测到任何超出联系范围的情况，并且会有一个用于自动幻觉纠正的标记，你可以对其采取行动。

这绝对令人着迷，即使是一些听起来相当简单的事情，例如撰写文档，你实际上也有许多不同的代理一起工作，我想，就像蜂群一样。这是代理的集体名词吗？是的。

所以，是的，你有一些东西在写备忘录，一些东西在格式化它，一些东西在校对它，一些东西在做引用，所有这些东西。所以它不仅仅是一个巨大的 AI，而是许多较小的 AI 协同工作。这就是整个神经网络的概念，对吧？你想要达到一个点，即……

你让自主代理接管一系列人类行为。我们从未记录过我们执行一项简单任务所采取的无数步骤。

我们只是这样做，因为大脑会运作，我们被设计成那样。但这就是我们训练代理成为的样子。正如你所看到的，当你将其应用于商业用例时，其中有一系列用例。更不用说，还会有再生代理，根据你之前拥有的内容，也会再生代理。因此，你需要一个平台来编排它，并确保这些非常复杂的推理能力与一个有意的用例结合在一起。

但正如你所看到的，我对这一点非常热情。我相信代理将成为应用程序的下一个版本。这就是世界前进的方向。好的。很好。那么，为了总结一下，你对你的第一个代理应该是什么有什么建议吗？同样，这听起来可能很老套，但这取决于用例是什么。

所以这取决于用例，这就是你应该如何确定这一点。这是我的简单答案。话虽如此，我们还有一个主题没有讨论，那就是混合。我认为，无论是云应用程序、生成式 AI 应用程序还是代理应用程序，你都希望能够在数据驻留点执行

所有这些。我经常说，我实际上几节课前在 LinkedIn 上发布了一篇文章，我说你需要将模型带到数据中，而不是将数据带到模型中。

对此的解释是，你需要能够投资于允许你进行硬件加速的功能，因为你希望能够在 GPU 上运行规模 AI 工作负载，你知道，来自最佳 TCO 的工厂功能。对此的解释也是你需要能够运行这些大型语言模型

在私有云或公共云中。因为如果你是一家大型银行，如果你是一家大型电信公司，某些用例永远不会离开你的数据中心，因为存在敏感信息，因为你需要全天候运行，365 天，网络安全以及其他许多内容。你需要能够做到这一点。显然，顺便说一句，你需要用治理和运营的包装来做到这一点，具有相同的级别

保真度，在公共云和私有云上具有相同级别的稳健性，围绕血统元数据等。所以我认为，无论是 LLM、代理还是框架，很多这些都会进入一个领域，大型组织会说，我想能够进行混合 AI。这意味着我想能够以我选择的格式构建应用程序、AI 应用程序，但也能够移植。

取决于数据驻留位置，否则成本非常高。所以这是大型组织和从业者如果还没有的话应该注意的一件核心事情

太棒了。是的，所以这听起来绝对令人着迷，这个想法是你将你的数据和模型放在同一个地方。如果你有很大的安全顾虑，这意味着你不想把它放在公共云中，你想把它放在私有地方。因此，但其他所有内容，我想，都使用公共云。这就是为什么你想要混合设置的原因。好的，超级。那么，对于想要在 AI 方面做得更好的组织，你还有什么最终建议吗？三件事。

AI 是一项团队运动。你需要确保所有部分都井然有序。其次，你需要达到能够信任你将用于训练模型和应用程序以解决其他数据的数据的程度。

第三，你必须将通用 AI 嵌入到你的正常流程中才能扩展它。否则，它就是一个永远无法扩展的科学实验。好的。很棒。最后的智慧。非常感谢你的时间，阿巴斯。感谢你主持，感谢你邀请我到这里来，理查德。这是一次愉快的经历。