Building Your Own AI Agent with 11 Labs
10:02 Share

欢迎收听AI聊天播客。在本期播客中，我们将讨论我最喜欢的AI公司之一——ElevenLabs的最新动态。他们刚刚推出了一个新功能，即允许用户利用其语音模型构建对话式AI代理。

他们实际上允许你在他们的平台上构建代理，人们可以通过它进行对话，例如对话式客户支持。这些非常适合充当旅行代理或帮助你在餐厅点餐。它们有很多用途，我对此非常感兴趣，我将对其进行深入讲解。

我实际上正在浏览他们为开发者提供的文档，了解如何设置代理，我将演示这个过程，向你解释如何构建这样的东西。我会尽量简化，并介绍一些功能。我认为这非常有趣，是对其工作原理的更深入探讨。我认为这很重要，因为它能让你很好地了解未来的发展方向、工作原理以及你需要知道的一切。

我想谈谈这些方面。总的来说，这是一个非常令人兴奋的话题。在开始之前，我想说，如果你想获得每日新闻通讯，分享每日AI技巧、不同的故事和新兴工具，请查看AI Box，网址在页面底部。

有一个注册入口，输入你的邮箱，我每天都会发送给你三个最重要的AI新闻故事，以及一些简短的分析。我尽量做到简短、实用、简洁。很多人都在使用它，已经有数千人订阅。

所以，如果你感兴趣，可以获取这份新闻通讯，我将每天分享AI领域正在发生的事情，以一种易于上手的方式，你可以看到人们对不同故事的推文，这非常有趣，我试图让它对你有所帮助。所以，如果你感兴趣，请查看链接，链接在AI Box的描述中。

好的，ElevenLabs究竟在这里构建了什么？整个过程是如何运作的？我认为，到目前为止，ElevenLabs主要以提供不同的AI语音而闻名。他们做文本转语音。

他们的增长主管Sam Skylar在接受TechCrunch采访时表示，许多客户已经利用新的对话式AI代理的功能来构建一些东西。因此，在所有这些方面，他们能够利用代理使用的语言、第一条消息、系统提示等来确定代理的个性。你可以说，“嘿，扮演一个旅行代理，总是这么说，总是那样做”，对吧？

所以你可以输入所有这些信息，然后你可以选择你使用的LLM，是GPT还是其他，这非常棒。他们还有不同的温度响应和其他可以更改的设置。

所以它的设计实际上是上手式的。我查看了ElevenLabs以及如何实际设置它。他们有一个非常有趣的演示，展示了这个工具的实际应用，其中他们构建了一个旅行代理，该代理实际上正在与某人讨论旅行，询问冒险经历，提出不同的问题。

我不想这个，我想那个。对我来说真正有趣的是，在我结束对话后（我做得很好），如果你知道ElevenLabs的音频，听起来相当不错，我认为就语音而言，它是最好的之一。

当然，OpenAI也有很棒的语音。但它远没有那么多的集成和功能。所以，在对话结束时，它会有历史记录，我认为这很酷。

所以在他们的文档中，他们解释了如何构建这些工具。他们正在为一家名为“Pierogi Palace”（如果以前吃过Pierogi的话，它们很好吃）的假商店构建一个工具。它们是波兰菜，你知道，中间有土豆泥和奶酪，就像饺子，也许我不知道，像一个小热口袋之类的东西，无论如何，它们很好吃。

所以，你首先可以做的就是设置你的助手，你进入仪表板，点击“创建助手”。你可以使用模板，也可以选择空白模板，这很有趣，对吧？他们有一个支持代理的模板。

他们有一个视频游戏角色的模板，还有一个数学导师的模板。然后你只需选择模板即可。所以，根据你的兴趣，你有一些选择来开始。

然后你将进入你的第一条消息或系统提示，它基本上是你说的东西，例如，“欢迎来到Pierogi Palace，我来帮你点餐。今天我能为你做什么？”对吧？这就是总是显示的欢迎消息，然后你进行所谓的系统提示。系统提示基本上是你告诉它如何行动的方式。

你告诉它说什么样的东西，在他们给出的例子中，你是Pierogi Palace（一家波兰餐厅，专门供应Pierogi）的友好虚拟助手，位于扎科帕内，波兰。所以你真的要具体说明，我的意思是，我可以想象有多少餐厅会使用这个工具。他们说你的角色是帮助顾客通过语音对话点餐。你对菜单项目和价格有全面的了解。所以有趣的是，你可以用这个。

你可以构建你的代理或任何对话式AI代理，并将它与你的电话线路连接起来，当人们打电话到你的餐厅时，他们会被它问候。你甚至可以有两个，对吧？一个用于筛选电话，例如，“今天我能帮你什么？”然后根据你的需要，它会把你转到另一个用于点餐的代理。

好的，转到另一个用于预订的代理，它与我们的日历相连。你可以用它做很多很酷的事情。我对他们的特殊系统提示非常兴奋，他们实际上列出了菜单项目，例如土豆和奶酪Pierogi，三个波兰Pierogi一打，价格和项目，我认为这非常好。

你可以复制粘贴整个菜单到这里，它只会从这里提取信息，例如，“我想点这个随机的牛肉Stroganoff”，它会说，“好的，听起来不错”，对吧？它只查看这里的内容，只允许他们点这里有的东西。然后，在他们展示的例子中，他们说这些是你的任务，创建客户，它会说，“我做到了”。点餐，它会说，“仔细听”。

选择项目，确认订单，计算总价，收集送货信息，估计送货时间，提供订单摘要，结束对话，这是一个对话的精确流程。然后它说指导方针，在整个对话中使用友好、专业的语气，耐心并注意客户的需求。如果你不确定，请要求重复，不要收集任何付款信息，只需告诉他们付款将在送货时处理，避免讨论与点餐无关的话题。

对吧？他们这样做是因为，我可以说，“你对波兰目前的政治局势有什么看法？”你可以让这些事情偏离正轨。所以他们真的必须在里面放一条消息来坚持脚本，这有点好笑。

好的，一旦你准备好这些，一旦你准备好你的欢迎消息（第一条消息），以及系统提示，你就可以设置你的语音设置了。你可以从ElevenLabs目前拥有的超过3000种不同的语音中进行选择，是的，你可以收听它们，你可以测试它们。他们有一个完整的市场，人们可以在其中上传自己的声音。所以这里有很多很酷的东西。

任何他们认为合适的人。所以这是一件很有趣的事情。然后，在你完成之后，你就可以测试你的助手了。你有一个小示例按钮，你可以点击它，然后与系统进行完整的对话。

在那之后，你需要配置数据收集的方式，你可以配置如何收集和分析所有对话，基本上你可以查看所说的话。它还会创建一个对话的简短AI摘要，这很酷。他们有一个分析部分，用于助手设置，你可以在其中定义自定义标准。

如果你试图评估对话中的特定内容，那么。他们有很多很酷的工具，其中一个是Go/No-Go提示标准。这会将对话记录传递给LLM，以验证是否达到了特定目标，对吧？

所以你可以说目标是向他们提供关于菜单的信息，或者目标是让他们购买东西，然后你可以通过LLM运行它，例如，根据这次对话，这是成功、失败还是未知？所以他们有很多这样的很酷的工具。

你可以设置你想要收集数据的哪些方面，包括客户姓名等等。然后你可以查看整个对话的历史记录，所以你可以看到它的摘要，然后你可以看到对话中所说的一切，这真的很酷。这里有很多非常酷的东西内置在这个系统中。

然后，你就可以开始使用了，你的工具可以开始接单了。总的来说，我认为这是一个令人着迷的时代。ElevenLabs正在成为关键参与者之一，它显然与OpenAI、Descript、AssemblyAI、Deepgram、Speechmatics等竞争。

是的，还有很多其他的。他们现在也正在寻求融资，估值30亿美元。所以他们正在积极寻求融资。我个人认为ElevenLabs是最好的AI公司之一，也是最好的音频AI公司之一。

所以我是ElevenLabs的忠实粉丝，从一开始就一直在使用它，并且看到它越来越好，30亿美元的估值对我来说听起来完全合理。他们直接与OpenAI竞争，虽然OpenAI有一些演示，一些很酷的语音工具等等，但ElevenLabs在推出方面击败了他们。

所以我不知道ElevenLabs现在正在准备什么来与之竞争，但很多这些工具还不知道。所有这些工具甚至都没有从OpenAI发布。所以我认为有很多机会。

无论如何，如果你喜欢今天的播客，请务必在收听播客的任何地方留下评价，如果你有兴趣每天收到AI新闻，请务必注册新闻通讯，希望它能对你有所帮助。非常感谢你收听今天的播客，非常感谢。希望你们今天过得愉快，下次再见。