cover of episode 2024 Recap: The Art of Prompt Engineering with Alex Banks, Founder and Educator, Sunday Signal

2024 Recap: The Art of Prompt Engineering with Alex Banks, Founder and Educator, Sunday Signal

2024/12/23
logo of podcast DataFramed

DataFramed

People
A
Alex Banks
Topics
Alex Banks: 提示工程是一项基础技能,每个人都应该学习,以更好地利用语言模型,提高工作效率。有效的提示取决于输入质量,清晰具体的提示能获得更精准的回应。编写有效提示的策略包括:清晰性、具体性以及开放式提问。可以使用角色-问题-解决方案框架来提高提示的有效性,并引导模型进行更深入的思考。一些提示技巧(如“深呼吸”或“我会付你100美元”)可以为模型提供更多思考空间,从而改善输出结果,但其背后的机制尚不明确。评估 ChatGPT 响应的有效性可以使用 LARF 框架:逻辑一致性、准确性、相关性 和事实正确性。可以通过提示工程技术来减少大型语言模型输出中的偏差,例如使用能够访问最新信息和可靠数据的工具。一些非显而易见的工具(例如 Scholar AI)可以提高提示质量,例如通过访问同行评审文章来确保事实的准确性。链式思维提示是一种高级技术,通过提供逐步推理的路线图来引导模型得出答案。ChatGPT 的输出质量最近有所下降,这可能是由于计算限制或其他因素造成的。可以通过改进提示工程技术来缓解这个问题。提示工程将成为一项重要的基础技能,而不是一个独立的职业。为 AI 应用程序编写提示与使用 ChatGPT 等工具编写提示之间存在差异,前者需要更长、更复杂的提示,并需要使用分隔符等技术。除了提示工程外,专业人士还需要掌握其他AI技能,例如制定AI战略和了解各种AI工具。下一代大型语言模型将朝着更通用化和个性化的方向发展,并在边缘计算领域发挥更大的作用。 Adel: 与Alex Banks讨论了提示工程的技巧、评估方法、以及在不同情境下的应用,并探讨了提示工程作为一项技能和职业发展路径的可能性。 Adel: 与Alex Banks就提示工程的有效性、评估方法、以及应对大型语言模型局限性(如幻觉和偏差)的策略进行了深入探讨,并对提示工程的未来发展趋势和对专业人士技能需求的影响进行了展望。

Deep Dive

Key Insights

Why is prompt engineering considered a foundational skill for the future?

Prompt engineering is essential because it allows users to effectively harness the power of language models, ensuring they get the best possible outputs. It helps individuals and organizations supercharge their productivity by leveraging AI tools more effectively.

What are some strategies for creating effective prompts in ChatGPT?

Effective prompts require clarity, specificity, and sometimes open-endedness. For example, providing context (e.g., 'I am an eighth-grade math teacher') and asking for creative examples can yield better results. Open-ended prompts allow the model to think outside the box and generate unexpected but valuable insights.

How can prompt engineering help reduce bias in AI outputs?

Bias in AI outputs often stems from the one-dimensional nature of the model's knowledge and the data it was trained on. Using tools like web browsing or referencing peer-reviewed papers can help fact-check and reduce hallucinations, ensuring more accurate and less biased responses.

What is chain-of-thought prompting, and why is it effective?

Chain-of-thought prompting involves providing a roadmap for the model to follow, guiding it step by step to arrive at the desired answer. This technique is particularly useful for complex tasks, as it allows the model to reason through problems more effectively, using examples and structured thinking to shape the output.

What are the key differences between prompt engineering for developers and general users?

Developers often write longer, more complex prompts that require detailed system-level instructions, using delimiters and structured formats. General users, on the other hand, focus on simpler prompts for tasks like writing or generating ideas. Both, however, rely on clarity, specificity, and examples to get the best results.

What are the must-have AI skills for professionals in the future?

AI literacy starts with understanding prompt engineering to maximize the potential of current AI tools. Beyond that, professionals should be proactive in identifying AI tools that can solve specific business problems, such as using generative AI for video creation or voiceovers. Being able to leverage AI to enhance productivity will be crucial.

What does the future hold for large language models like GPT-5?

The future of large language models is likely to trend toward artificial general intelligence, with models becoming more capable of handling complex tasks in users' voices. Additionally, there will be a proliferation of smaller, hyper-specific models tailored to individual or organizational needs, offering faster and more personalized solutions.

Chapters
This chapter introduces prompt engineering as a crucial skill in harnessing the power of language models. It explores the potential of AI and how prompt engineering can enhance productivity and transform daily life. Alex Banks' journey into AI and the creation of Sunday Signal are highlighted.
  • Prompt engineering is a foundational skill.
  • AI is a platform with potential to diffuse quickly.
  • AI can augment human potential and allow anyone to become a storyteller.

Shownotes Transcript

我认为提示工程是一项基础技能,每个人都应该花时间学习,以便成为能够使用语言模型的明智用户,这些模型可以非常强大,并最终增强他们今天正在做的工作。

大家好,我是阿德尔,DataCamp的数据布道者和教育家。如果您是新手,DataFramed是一个每周播客,我们探讨个人和组织如何通过数据和人工智能取得成功。

自从ChatGPT推出以来,除了ChatGPT本身之外,生成式AI领域最热门的术语之一就是提示工程。调整指令以从ChatGPT获得最佳响应的行为,有些人认为是炼金术,有些人认为是科学。那么,什么才是ChatGPT最有效的提示呢?

让我们看看Alex Banks。Alex Banks自2021年以来一直在构建和扩展AI产品。他撰写《Sunday Signal》通讯,提供AI进步和更广泛发人深省的见解的融合,我们已在下方链接。他在DataCamp上的最新课程是关于理解提示工程的,我们也在下方链接了。他还在LinkedIn和X上不断分享他的专业知识。

在整集节目中,我们讨论了构建更有效的ChatshipD提示的策略,为什么某些提示会失败而另一些会成功,如何最好地衡量提示的有效性,他认为提示工程的未来会是什么样子,以及更多内容。如果您喜欢这一集,请务必在评论中、社交媒体上或其他地方告诉我们。现在,让我们进入今天的节目。♪

Alex Banks,很高兴你在DataFramed节目中。阿德尔,很荣幸。非常感谢你来到这里。你在Datacamp教授《理解提示工程》课程,你撰写《Sunday Signal》,这是一个很棒的AI通讯,我强烈推荐大家订阅。你也在AI社区非常活跃。所以在我们讨论提示工程之前,请你介绍一下你是如何进入AI领域的,以及是什么促使你创建《Sunday Signal》的。

当然。非常感谢你邀请我,阿德尔。为了让你了解我的背景以及我如何参与到AI领域,我从2022年1月开始创作内容,我立刻被AI的机会所吸引,它本质上是按需情报。我的意思是,它比从人类那里获得的信息便宜得多,也快得多。这从根本上激起了我的好奇心。这让我意识到,如果你看到人们现在正在构建的大量东西,最终似乎AI是每个人都在等待的平台。我坚信,在我们有生之年,将不会有像AI这样传播速度如此之快的技术进步。现在的美妙之处在于,我们拥有可以增强人类潜力的工具,让任何人都可以成为讲故事的人。对我来说,阿德尔,讲故事的成分是如此基础的组成部分,从商业领导力到写作,

我坚信企业家最重要的特质是能够讲故事的人。许多人并不认为,至少对我来说,我不认为自己是一个好的讲故事的人。我小时候总是很内向。

但AI让我意识到这种潜力达到了极致,现在有很多工具,你、我、以及其他人可以使用,例如ChatGPT、RunwayML等视频工具、MidJourney等图像工具以及Cursor等编码工具,这些工具极大地降低了障碍

创造有意义的东西。这真的让我兴奋。这让我开始撰写《Sunday Signal》,阿德尔,是因为我开始在(以前是Twitter,现在是X)上写作。我仍在努力克服这个命名摩擦点。我开始寻找可以融入我的写作中的智慧片段。幸运的是,Twitter很棒,因为它

迫使你将你的写作分成280个字符的块,以真正提炼你想要表达的内容的意义和本质。我意识到我的Twitter信息流越来越嘈杂

在这片喧嚣的海洋中。它总是很难突破噪音。我克服这一切的一种方法是我创建了这些叫做Twitter列表的东西,这是一种创建我更容易消化并从中学习的策划信息流的好方法。帮助我形成这些信息的问题是,你看,我信任谁?我尊重谁?以及

我如何将这些应用到我自己的写作中,以便我不仅在讲故事,而且还在同时提供见解?

这让我意识到,看,如果我要写一些有意义的东西,我最好做到名副其实。《Sunday Signal》就是这样。它每周日都会在喧嚣的海洋中给你带来信号,包括我最喜欢的AI亮点、一篇文章、一个想法、一句引言和一个每周日需要思考的问题。它直接发送到你的收件箱。我喜欢它的地方在于它融合了

我的两个好奇心,第一,是AI的尖端技术。第二,你知道,你得到了及时和永恒的想法。及时的是AI亮点,永恒的想法是一篇保罗·格雷厄姆的文章,或者一个可以经受住几个世纪考验的想法。

我认为对我来说,这是一种美丽的融合,遵循了思想的杠铃方法。我认为这让我现在处于一个我正在使用这些AI工具的位置。至少我试图成为这些工具更明智的用户,因为我不断地将我学到的东西融入我的写作中,无论是来自Twitter还是subreddit,最终从噪音中提炼出信号。

是的,我完全同意从噪音中提取信号。正如我提到的,我强烈推荐《Sunday Signal》,它充满了信息和大量价值,同时避免了大量的噪音。你提到生成式AI工具能够降低许多任务的进入门槛,我们以前认为这些任务需要很多技能或进入门槛很高,正如你提到的,编码、写作、创建图像、创建视频。而

从AI系统创建这些真正高质量的输出的关键在于有效的提示工程,对吧?这正是我们今天谈话的核心内容。所以,为了深入探讨是什么让ChatGPT中的提示有效,你能否举个例子或说明一下是什么构成了ChatGPT中好的提示?

是的,阿德尔,我在撰写有效的ChatGBT提示时获得的第一条建议是,你的输出只能和你输入的一样好。我认为这与我产生了深刻的共鸣,如果我要问,写一篇关于一级方程式的文章,它会产生一些相当模糊的东西。它会还可以,但它会非常非常模糊。但是当我开始突出我的兴趣、想法和偏好时,

一件非常聪明的事情开始发生,你与语言模型开始在不同领域建立新的联系,并且它会迭代地向你学习以获得你想要的回应。也许如果我能将此提炼成我用来最终从ChatGPT提示中获得最佳结果的一些我最喜欢的策略,那么突出其中一些可能会有用。首先,

清晰度,第一位。包含相关的上下文以减少歧义绝对至关重要。例如,如果我是一名老师,我可能想要创建一个教学计划,我可以清楚地说,看,我是一名八年级的数学老师,准备教授三角学。这样做会立即向语言模型清晰地说明你是谁以及你想要实现什么。

其次是具体性,你越具体,就越接近你想要的答案。例如,在教授三角学之后,你还可以推荐一些有创意的现实世界例子,让这个三角学课程对我的学生更具吸引力吗?所以,

它突然有了你的背景。它对课程持续时间和学生人数有一些具体的说明。第三,我认为这也很不明显,那就是有时让提示开放式,阿德尔夫。允许ChatGPT跳出框框思考,往往会产生结果

丰富的结果,这些结果从一开始就不明显。所以,你看,你还可以推荐一些有创意的现实世界例子,这样当我教授这个三角学课程时,它可以对我的学生更具吸引力吗?这真的很棒,因为这一切都是关于与语言模型来回讨论并发现你原本从未涉足的想法。

太好了。然后,你知道,你在这里提到了一些事情,尤其是在使用开放式提示方面。也许更详细地向我介绍一下这个概念。我从未见过有人将提示的开放性概念化。更详细地向我介绍一下它是什么样的。我认为这里最好的例子,阿德尔,是使用我非常喜欢并且经常使用的框架之一。它确实很好地触及了那个开放性概念。

想法很好。我喜欢使用的框架是角色问题解决方案框架。为了给你一些关于这个的背景,戴夫·克莱因,他也是一位多产的创作者,他经营着MGMT加速器。他向许多人教授管理和领导力,也是桥水的前同事。所以在雷·达里奥,这位多产的华尔街投资者的领导下。

无论如何,他问我,亚历克斯,看,我想为我的领导者创建一个很棒的提示。他们有很多领导力问题需要解决。我可以用什么提示来帮助他们回答他们的问题?我花了一些时间挠头,我想,为什么不让语言模型ChatGPT穿上多产投资者雷·达里奥本人的鞋子呢?所以我这样说,

ChatGPT,你是雷·达里奥的顾问。你是领导力任务的专家问题解决者,也是大型语言模型的著名详细提示编写者。这里有一些我想解决的问题。我说,这里所有问题。然后真正巧妙的部分是这个,阿德尔,在最后,所以我定义了角色,我指定了我想要解决的问题。现在我进入第三个也是最后一个部分,那就是解决方案。

我说,对于这些X问题中的每一个,请提供第一,三个相关的在线资源来解决问题。

一个处理当前问题的思维模型或框架,以及使用思维模型或框架如何解决问题的解释。然后还有关于当前问题的雷·达里奥的著作《原则》的参考。然后是这最后一个部分,它突出了你前面提到的开放性,阿德尔,为大型语言模型提供一个详细的提示来解决当前问题。我们在这里做的是我们正在

使用ChatGPT来提示它本身并思考,好吧,我在这里可以使用什么有效的技术来充分利用我的自动攻击性,即下一个词的预测?这本质上是我试图弥合这些大型语言模型思考的简单性质与更复杂的东西之间的差距

鉴于当前数据的限制以及这些模型的计算方式,它更漂亮一些。我真正喜欢的是我们可以准确地定义解决方案的样子。并且

从我前面提到的,你知道,写一篇关于一级方程式的文章。我们已经走到了光谱的几乎另一端,我们让模型进行自我反思,查看其内部。通过使用,通过具有内在的特殊性,我们真正地充分利用并充分发挥了ChatGPT的能力。是的,你在这里提到的自我反思部分很有趣,因为这就是我想触及的部分。

你知道,你在课程中分享的一些技术,我们将在整个谈话中进一步扩展,这些技术会导致这种自我反思。看到这如何产生更好的结果很有趣,例如,即使是像深呼吸或逐步思考你的行为这样的东西,也会在语言模型中产生这种有趣的动态,让它自己反思并产生更好的输出。所以也许向我介绍一下这种自我反思元素的重要性,以及你在提示Chatchapati等工具时所看到的情况。

是的,这真的很有趣。你可能已经看到了一些例子出现了,一些病毒式的例子。你知道,第一,深呼吸。或者第二,如果你创建一个很棒的输出,我会付给你100美元。阿德尔,名单还在继续。看到这一点真的很、很有趣,而且我认为现在仍然很难找到一个明确的解决方案。我们现在所做的只是简单地学习这些模型的行为方式越来越多。

因此,你会获得更多信息来确定如何提示最佳输出。现在,像这样的工具正在询问或至少在告诉,哦,我会给你小费或深呼吸。它们正在为语言模型提供更多空间和更多喘息的空间。从一开始,这似乎就相当明显。但是当你真正思考它时,为什么我会作为……

下一个词预测工具,考虑创建一个比我没有得到100美元小费后更好的答案。现在,这是不明显的部分。老实说,阿德尔,我们仍然没有答案。但我们正在收集越来越多的信息,越来越多的数据,关于是什么让这些系统表现良好。这部分真的让我兴奋。

是的,绝对的。而且,你知道,我们在这里讨论了几种优化提示的方法。你提到了角色行为之类的解决方案,或者像角色问题解决方案框架。你还提到了开放性、清晰度、减少歧义。我认为对我来说,提示ChatGP工具的一个很大的挑战是我不知道如何评估提示是否有效。

有哪些方法可以评估ChatGPT的响应,并从更科学的角度(而不仅仅是查看输出如何变化的比较)系统地评估提示的有效性?是的,我认为这是一个非常棒的问题,阿德尔。我认为这里有一个非常简单的首字母缩略词,我喜欢用它。

有效地评估ChatGPT的响应,那就是LARF。它不像听起来那么幽默。首字母缩略词是L-A-R-F。虽然我在理解提示工程的课程中会更详细地介绍,但我认为对如何让您成为ChatGPT更明智的用户以有效地评估您的响应进行高级概述会很有用。所以从L开始,

代表逻辑一致性。我喜欢从这里开始的原因是,如果我问Chat GPT,看,是什么

一级方程式赛车的减阻系统有哪些优缺点。正如你所看到的,在一级方程式赛车中,我们有一个相当反复出现的主题贯穿整个播客,这恰好是我的最爱之一。无论如何,好的。它陈述了这个列表,然后说,哦,它使赛车的最高速度更高。但在缺点方面,它说,哦,它使赛车的最高速度更高。突然之间,你有了这个相互矛盾的陈述,说它也是一个

一个好处,也是一个缺点。虽然这是一个相当简单的例子,但它突出了这些模型是易错的。它们确实会犯错误,使用明智的人眼来审查输出并检查其连贯性,我认为这非常非常有价值。接下来,你有准确性,以及模型产生幻觉的这种趋势

我的意思是幻觉,ChachiBT经常会陈述一个答案。它经常会自信地陈述一个不正确的答案。所以如果你说,看,第一个登上月球的人是谁?它说,哦,是巴兹·奥尔德林。显然,正确答案是尼尔·阿姆斯特朗,巴兹·奥尔德林是

第二个人。所以交叉引用这些答案和其他资源非常有用。例如,你可以添加诸如浏览功能之类的功能,甚至可以使用插件或GPT来引用论文和资源,这些资源最终会将输出与事实数据融合在一起,最终可以产生更好的响应。

R代表相关性。所以这本质上是满足上下文。我的意思是,阿德尔,你基本上是在确保响应与上下文以及你在编写提示时想要从答案中获得的内容相符。所以如果你要求列出伦敦一些很棒的餐厅推荐,而它说,哦,这是这个推荐,但它在伦敦,

纽约市,突然之间,你没有满足你想要实现的目标的上下文。现在,我认为类似地,工具可以成为克服这些限制的一种极好的方法。我相信我们稍后会谈到这些。然后是这个首字母缩略词的最后一部分,F,事实正确性。正如我们都知道的那样,这些模型有一个截止日期。当你问一个没有在线浏览上下文的问题时,

它无法告诉你2024年1月发生了什么。现在,它可能会这样做,但它会产生幻觉,我们前面已经讨论过,它自信地陈述了这个不正确的答案。例如,谁赢得了世界杯或其他重要的体育赛事或事件,这些事件发生在这个截止日期之后。现在,我认为理解这些非常重要的原因是……

它让你了解Chatsheput的优势和局限性。通过理解两者,它真正让你能够充分利用模型,并使你能够完成你设定的任何任务或行动。

而且,你知道,我想抓住并进一步扩展你提到的一件事是大型语言模型产生幻觉的方面。我们确实已经看到大型语言模型在公共场合产生幻觉的一些相当有趣的高调用例,但是,你知道,产生幻觉的方面的一个黑暗面是

像Chachapati这样的模型,特别是图像生成模型和视频生成模型,往往会产生有偏差的输出。也许现在已经修复了,但一年前,如果你在Midjourney中放了一张五位医生的照片,这五位医生很可能属于特定的人群,而不是其他人。也许向我介绍一下你可以如何利用提示工程来最大限度地减少偏差以及大型语言模型和AI生成工具输出的这种有害影响或方面。

是的,我认为将此与一个例子联系起来,阿德尔,以及克服它的方法可能会有用。我最近看到的最著名的例子是反转诅咒,这是安德烈·卡帕西在大型语言模型介绍视频中首先向我指出的。这种反转诅咒的工作方式是,如果你问ChatGPT汤姆·克鲁斯的母亲是谁,它会回答,是玛丽·迪菲弗,这是正确的。但如果你问玛丽·迪菲弗的儿子是谁,Jack G.P.T.会回答,我不知道,作为一个大型语言女孩,以及它通常提供的那些说法。这真的很有趣,因为它知道母亲是谁,但它不知道儿子是谁。这说明了什么?

所以它表明ChatGPT的知识非常单一。我的意思是,你必须从某些角度、某些方式提出问题来窥探并找到答案。这与其他工程壮举非常不同,无论是从软件还是硬件的角度来看,因为我们仍然不知道这些模型究竟是如何工作的。这表明……

第一,其知识理解中存在固有的缺陷,第二,这如何导致偏差,这些偏差往往是社会的反映,也是这些模型所接受的数据集质量的反映。因此,鉴于它正在吸收大量信息,这些信息通常是网络文档、文本等,

当你吸收这些信息时,它实际上会放大数据中存在的这些偏差。这些包括刻板印象、错误信息,提出一个像谁通常在家做饭这样简单的问题,它会以性别化的答案回应。它非常清楚地代表了一种偏差,这种偏差已经被

它可能是从历史或文化数据中吸收的。我发现克服这个问题的最佳方法是使用可以包含的工具

或者至少它可以克服这种事实正确性的想法。我喜欢使用网络浏览,因为我喜欢获取最新的信息。我喜欢使用引用论文档案的工具,因为这样我就可以对收到的答案进行事实上的更正。我喜欢它的地方在于它允许我克服这些缺点

并避免任何细节或事实的想象,这些细节或事实往往会导致不正确的输出,如果在敏感环境中使用,可能会导致最终非常具有破坏性的结果。因此,在适当的环境中使用适当的工具来获得我们想要的答案非常重要。

是的,你在这里提到了工具,特别是使用Chat GPT的浏览功能,如果实际上是正确的,也可以使用其他GPT。你使用过哪些不明显的工具来帮助你提高提示的质量?是的,阿德尔,这是一个非常棒的问题。我认为,你知道,有一些工具浮现在脑海中。我认为,你知道,

如果我查看的是GPT商店,工具,例如Scholar AI,就是一个例子,你可以通过它,它本质上充当AI科学家,它搜索超过2亿篇同行评审的文章,你可以创建、保存和总结引文。这样做的好处是你可以从文章中提取数字和表格

大量的同行评审文章。为什么这很好?这很好,因为JCPT以产生幻觉而闻名,当你想要编写和开发源材料时,这是一个严重的问题。因此,能够直接查询相关的同行评审研究,这些研究可以直接链接到数据,我们突然开始进入AI价值创造的新时代,其中

现在,突然之间,我可以通过按需利用人类知识和直觉的这个奇妙资源,创造出真正有意义的东西,这些东西是有数据和事实正确性支持的。

在我们的提示之旅中,我向前迈进了一步,对吧?因为课程的一个方面是更高级的提示工程技术,那就是思维链提示。我看到你写过这个,我也看到社区写过很多关于这个的内容。也许更详细地向我们介绍一下思维链提示是什么,并分享一些关于为什么思维链提示在构建ChatGPT等工具的有效输出方面如此有效的例子。

是的,绝对的。当你想要使用ChatGPT等工具创建很棒的输出时,这是一个你可以装备到你的武器库中的非常棒的工具,Erdal。那么什么是思维链提示呢?思维链提示是一种相当先进的技术,它最终将训练更进一步,你不仅仅是……

提供Chat GPT示例,而是实际提供到达答案的路线图。我喜欢的是,你真的可以几乎成为模型的指导之手,准确地告诉你想要去哪里。所以如果我正在解决家庭作业问题,或者我正在

旅行,或者我正在做一些独特而专业的事情,这些事情通常不在ChachiBT的知识库中,我可以让模型一步一步地思考。我们可以从不同的角度考虑这一点,阿德尔。你有一个零样本思维链,你这样说,看,

这是这种情况,一步一步地思考,然后开始吧。你几乎是把Jack GPT扔进了深水区,你让它推理、思考,但你没有预先定义的一套思想让它推理。这可能有用。你可以窥探模型的思维过程,验证并信任它的结论。

但我认为有更好的方法,这包括一次性思维链提示和几次性思维链提示。一次性只是意味着一个例子。我该如何提供一个

解决ChatGPT可以从中学习并最终告知它将要响应的输出的问题的例子。几次性只是意味着几个例子。我将提供一些不同的场景,其中包含一些细微差别,说明我如何推理这个答案。训练技术真的、非常好,因为它们最终有助于塑造你想要实现的答案。你非常

正如我前面所说,手把手指导模型并指导ChatGPT获得你想要的答案,或者至少尽可能接近你想要的答案。正如我相信你将在理解提示工程的课程中探索的那样,例如,如果我们使用我最喜欢的例子之一,你知道,我

我是一名宇航员在太空中。我遇到了一些外星人。我躲开了两个。我遇到了三个。我向四个告别了。我遇到了多少外星人?然后答案是,好吧,躲避外星人是否意味着我遇到了他们?不。因此,不要将其包含在我的答案中。模型可能已经假设或可能没有假设的一些细微之处。

作为一种互动,现在可以很容易地验证和确认它是否应该包含在推理这个问题时。这就是思维链的美妙之处。

是的,我也体验到了这种美妙之处,就像你提到的那样,尤其是在写作任务中,因为你可以向模型展示你自己的写作示例,对吧?它能够模仿你的声音和语气、你的结构和措辞,对吧?因此,在使用 ChatGPT 时,能够提供示例对于这些类型的用例非常有用。是的,示例可以非常非常有帮助。我经常在撰写电子邮件时大量使用它。所以

我喜欢用我自己的声音、我自己的语气写电子邮件。如果我想提供示例并最终获得对某些相当复杂内容的回复,我可以输入一些非结构化的想法,一些非结构化的想法,并提供一些我通常如何撰写电子邮件的示例。突然之间,ChatGPT 的声音会非常接近我喜欢回复的方式,这是一件非常美好的事情。

现在,还有一件事我想问你,鉴于我们在这里进行讨论,我如果不问你这个问题,我会觉得有所遗漏,那就是我和 ChatGPT 和 AI 社区中相当多的人在过去几个月里注意到的一件事,那就是 ChatGPT 变得越来越懒惰。

我不确定你是否也注意到了这一点,ChatGPT 的输出变得越来越简洁,越来越简短,有点像。它不像以前那样有用或有帮助了。我甚至看到 OpenAI 的领导团队过去也对此进行了处理。首先,你是否也认为这是你在使用 ChatGPT 的过程中遇到的问题?如果是这样,那么我们如何利用提示工程来减少一些这种负面影响呢?

这真的很有趣。我确实看到从 GPT-4 发布到我收到的最近一些输出之间存在一定的下降。现在,这是否是针对数亿用户的计算限制,这些用户查询这些模型,然后使用不同的或可能缩小规模的版本来提供这些答案,这仍然是一个需要提出的问题。但是,在这里,我们可以考虑如何获得更好的回复,那就是使用我们之前强调的一些技术。因此,使用思维链,使用更好的示例,因为最终

在这些模型交付给消费者之前进行的最终阶段的训练,即来自人类反馈的强化学习。

这是真正最好的方法,选择对这些答案的最佳回复,并让模型最终理解什么构成了一个伟大的答案,以及我如何才能尽可能像人类一样行事。因此,使用示例可以成为一种极好的方式,帮助告知并引导模型朝着

它经常会偏离主题,并提供与你想要解决的问题无关且泛泛而谈的回复。是的,太棒了。所以也许让我们稍微改变一下话题,Alex。与其讨论提示工程的最佳实践,不如让我们从更高的层面来看待提示工程作为一项技能或职业道路。

去年的一个重要讨论话题是,提示工程将成为越来越重要的职业道路。而且,你知道,我们开始在某些时间点看到诸如“提示工程师”之类的角色出现在词汇中,也出现在某些职位发布中。你认为提示工程将来会成为一条可行的职业道路,还是每个人都需要学习的一项技能,就像谷歌一样?所以我很想知道你在这场辩论中站在哪一边。

我认为提示工程是一项基础技能,每个人都应该花时间学习,以便他们成为能够识别语言模型的使用者,这些模型可以非常非常强大,并最终增强他们今天正在做的工作。

我们通过今天发布的职位机会看到了这一点,Adol,如果你看看 Hebbia 等公司,这是一家用于分析和搜索文档的公司,他们为加入其组织并编写这些优秀的系统提示的提示工程师支付高达 250,000 美元的薪水,这些提示最终可以帮助引导模型在为思想、推理和程序化任务提供优秀输出方面真正有效。而且

显然,现在这具有很大的价值。为专门为语言模型服务的优秀作家支付 25 万美元,我认为这太棒了。它确实突出了目前这一机会的价值。我认为在接下来的

五年里,这将成为一项核心竞争力,每个人都必须关注它。如果你不这样做,你很可能会落后。你将无法从这些模型中获得最佳效果。

最终检索和接收的输出将远远超过你的同行。所以对我来说,这绝对是一项我非常关注的核心技能。但至少在我与我的同行 Adil 进行的对话中,成为一名优秀的提示工程师绝对值得你付出时间。

你认为我们是否会看到更多像提示工程师这样的职位出现,这些职位的核心职能或核心职责是编写有效的提示?或者你认为它会消失在今天几乎所有角色的背景中?是的。因此,就构建应用程序层的产品而言,最终系统提示非常重要。

你为用户提供的核心增值部分,对吧?你正在使用这个通用的 LLM 并将其引导到非常具体的用例中。因此,对于在该层上运行的任何内容,我认为它绝对不仅是一项核心竞争力,而且也是一项经过优化的核心角色。当我们考虑未来的状态并将此推断到未来的状态时,Adil,

随着 GPT-5 等工具的出现,以及我们越来越接近 AGI,考虑提示工程,

开始呈现出略微不同的形态,突然之间这些系统变得越来越智能。正如我们前面所强调的,能够自己提示突然之间变得非常可怕,但也非常现实。所以我认为这将进一步推广到越来越多的能力,这就像使用 Microsoft Excel 一样。

这是一个现在拥有如此多不同分支和衍生产品的工具,以至于它看起来是第二天性。这就是我所看到的属性工程的发展方向,它现在是一项非常重要的技能。但是随着我们的学习和成长以及这些系统的扩展,它肯定会成为一项更常见的技能。

以及广为人知的实践,其重要性不如现在那么高。而且,你知道,当你提到构建应用程序的系统提示时,对吧,我认为这与我的下一个问题非常吻合,那就是,现在我认为主要有两个需要学习提示工程的配置文件。例如,你让开发人员使用 AI 模型,构建需要编写应用程序的开发人员

系统级提示,然后其他人需要学习如何使用 ChatGPT 等消费者工具进行提示工程。也许更深入地关注开发人员角色。构建 AI 应用程序的提示工程与使用 ChatGPT 等工具的提示工程之间有哪些细微差别?是的,这是一个非常好的问题。我认为这里有很多需要考虑的地方,Adil。所以当你想到开发人员时,你知道

这些人正在编写非常非常长的提示。上下文窗口通常比“为我写一首关于赛车的诗”长得多。你正在处理一系列非常长的角色设置,并且至少能够确定一个很棒的,我们以系统提示为例,使用分隔符,将你的提示分成语言模型可以轻松理解的部分,并最终融入到它正在创建的输出中。所以

当我们考虑比较和对比这两者时,前者肯定需要更深层次的理解,但肯定需要更严格,也增加了更多复杂性,这种性质的提示与开始进行提示工程相比。你绝对不必成为专家。对于开发人员而言,提示工程实际上只是对

询问 Jack GPT,你知道,考虑为我接下来要写的论文起草一个提纲。一切都是从简单开始的,然后变得复杂。当你开始理解这一点并开始看到,好吧,你知道,所有复杂的系统都是从简单的系统开始的,那么你实际编写的内容就会变得更加清晰。

因此,当我们开始将这些进行对比时,它只是对一个非常简单的提示的扩展。突然之间,你正在使用我们之前强调的所有这些技术,Adel,例如提供示例、输出格式、上下文、样式、受众、长度、具体、清晰。你只是将所有这些不同的公式捆绑在一起,以创建比编写一些泛泛而谈的东西强大得多的东西

比编写一些泛泛而谈的东西强大得多。我认为这两个例子都非常好,因为每个人都是从零开始的,尤其是我回顾我开始使用 ChanchiPT 的时候。我相信你也是,Adol,我们对这些系统的强大功能感到困惑和震惊,尤其是在对我们人类来说如此自然的界面中,那就是 Chat。所以当你从那里突然

使用工具,使用可以用来制作详细的优秀提示的技术,这就是这些优秀的开发人员提示所在的地方。我认为理解这一点是一件非常美好的事情。

是的,绝对的。也许在我结束今天的节目之前,我还有几个最后的问题。如果你退一步看,我们已经谈了很多关于提示工程作为一项技能集的内容,但如果我们想退一步看看你平均的组织及其拥有的不同角色,从开发人员到非开发人员,你认为除了提示工程之外,专业人士还需要具备哪些必备的 AI 技能?而且

如果你要定义一般的 AI 素养是什么样的,那么构成它的技能会是什么样的?我认为基本的 AI 素养从根本上来说是从市场上现有的系统中获得最大收益开始的。而最好的起点莫过于理解提示工程。从系统中获得最大收益,你的输入质量决定了你的输出质量。正如我们开始时所说,Adele,这是必须建立其上的基础真理。

接下来,我认为是一种更积极主动的方法,那就是认识到 ChatGPT 等通用工具、Midjourney 等图像工具以及 Eleven Labs 等音频工具的当前格局。积极主动地发挥核心作用,帮助构建和确定你自己的组织的 AI 战略和 AI 路线图,这将是一件非常有用的事情。

不仅是为了领先,也是为了在这个美好的时代保持领先。我的意思是,从具体的用例角度来考虑这个问题。我的企业或我个人目前面临哪些关键问题?我能想到哪些工具可以帮助我更快、更有效地从 A 到 B,A,

比我独自一人去做要快得多、有效得多。一个简单的谷歌搜索查询甚至询问 ChatGPT 往往会发现非显而易见的见解和工具、技术,你可以将这些见解和技术融入到你或你组织的战略中,最终实现一些伟大的成就。这可能是,哦,好吧,我想创建一个

我的工具的宣传视频。我可能会使用 Synthesia 来创建一个生成式 AI 视频或我的用户的教学视频。或者可能是,好吧,我是一个配音演员,但我每天能做的配音数量有限。为什么我不训练 11 个实验室来真正了解我的声音,这样我就能在一个小时内创作 100 个配音呢?突然之间,你不仅在利用自己,还在利用你的时间。这变得非常非常强大,因为

因为当你看到栅栏的另一边时,个人仍在使用并且没有听说过 chat GPT 或没有听说过生成式 AI,突然之间你感觉自己变得超人。这是一个非常令人兴奋的想法。

绝对的,这真的很令人兴奋。在我们结束节目时,Alex,如果不问你这个问题,我会觉得有所遗漏,今年对于生成式 AI 领域来说将是关键的一年,对吧?GPT-5 最有可能发布。马克·扎克伯格提到正在训练 Lama 3。也许你认为下一代大型语言模型会为我们带来什么,对吧?它们会解锁哪些类型的用例?

是的,我认为随着我们越来越接近人工智能通用智能(AGI),即按需访问媒体知识工作的能力,我们肯定正在朝着高度通用的智能系统发展。所以,好吧,Alex,第二点,我希望你编写这些报告,回复这些电子邮件,去。

突然之间,它可以用我的声音、我的语气比我更快地做到这一点,因为它不需要睡觉,不需要休病假,不需要做任何类似的事情。这意味着什么?这将把我们带向何方?好吧,我认为在边缘智能方面有很多机会。所以,我认为随着我们向 AGI 发展,

在边缘出现越来越多的较小模型,这些模型是由组织个人的视角决定的,这些模型是针对你、你的工作方式、你的写作方式、内部知识、组织理解而量身定制的。这就是很多价值和很多 alpha 尚未被开发的地方。我对此非常非常兴奋,我认为很多人并没有太关注这一点。但我认为

针对你或你的组织量身定制的特定、精细的模型,速度非常快,非常快。而且是一个改变游戏规则的东西。我同意。是的,这将绝对是惊人的。所以这是我非常期待的事情。好的。太棒了。现在,Alex,在我们结束今天的节目时,在我们结束聊天之前,你还有什么最后的说明或行动号召吗?

除了随意查看关于理解问题工程的课程之外,没有其他要补充的了,Adele。今天很高兴和你交谈。如果我能强调一件事,那就是如果你考虑过并想在 AI 或生成式 AI 中涉足,你将更容易获得你想要的输出。

通过理解如何控制输入并编写优秀的输入。而你做到这一点的方法是理解提示工程,我相信这是未来五到十年的一项基础技能。所以要非常关注它,尊重它,然后行动起来,快速行动。还有,收听节目的各位,请务必订阅 Sunday Signal。说到这里,非常感谢 Alex 来参加 Data Friend。