cover of episode The Unusual Project Management System Notion Uses To Build AI

The Unusual Project Management System Notion Uses To Build AI

2024/12/12
logo of podcast unBlocked - the podcast for Notion Fans

unBlocked - the podcast for Notion Fans

People
S
Shir Yehoshua
主持人
专注于电动车和能源领域的播客主持人和内容创作者。
Topics
主持人:Notion AI 团队在技术尚不明确的情况下,快速迭代开发 AI 工具,其项目管理方法也随之不断调整。Notion AI 的问答功能最初集成在搜索体验中,但后来发现其在回答问题方面更胜于关键词搜索。AI 技术简化了同义词识别等复杂任务,Notion 内部文档完善,注重团队协作和效率。Notion 团队使用自身产品,这有助于产品改进。 Shir Yehoshua:AI 产品开发与其他产品类似,但也存在差异,其生命周期因技术新颖性而不同,需要先原型设计再进行产品设计。Notion AI 团队尝试了许多未发布的功能,不断学习和改进。Notion AI 的问答功能通过将文本转换为数字,比较数字相似度来实现。项目管理方法应根据项目阶段而调整,早期应灵活,后期应结构化。项目早期采用灵活的文档和清单管理,后期转向结构化的任务数据库和里程碑管理。Notion AI 团队快速尝试,快速失败,避免沉没成本谬误。在处理复杂问题时,应将问题分解成小的、AI 擅长的子问题。作者使用 AI 进行绩效评估,提高效率并提升反馈质量。编写有效的 AI 提示需要精确和具体,并了解 AI 的局限性。 Shir Yehoshua:在 AI 项目中,过早的结构化规划可能导致方向错误。AI 的优势在于分析和重组数据,而非创造新颖内容。寻求 AI 帮助时,应注意其擅长和不擅长的领域,并调整预期。

Deep Dive

Key Insights

What is the unconventional development process used by Notion's AI team?

Notion's AI team prototypes features first to determine if AI can perform the task, then designs the user experience afterward, unlike traditional development where design precedes building.

Why does Notion's AI team prototype features before designing?

The AI technology is new, and the team needs to explore what it can do before committing to a specific design or user experience.

What was a surprising success for Notion's AI team?

The Q&A feature initially integrated into search performed poorly, but when used as a question-answering tool, it became a powerful feature, showcasing AI's strength in answering questions over keyword searches.

How does Notion's AI team manage project management?

Project management varies based on the project's phase. Early exploratory phases use minimal structure with bullet points and checklists, while later stages adopt more structured task databases, milestones, and regular stand-ups.

What is the philosophy behind Notion's AI team's project management?

The team matches project management tools and processes to the lifecycle of the project, avoiding over-structuring in early phases to allow for flexibility and exploration.

What are some of the AI use cases that Shir Yehoshua finds particularly valuable?

Shir uses AI to generate initial drafts of performance reviews by synthesizing feedback and self-assessments, saving time and allowing her to focus on providing more thoughtful feedback.

How does Shir Yehoshua describe the role of AI in her work?

AI handles the manual work, such as aggregating data, so she can focus on the creative aspects of her job, like providing meaningful feedback.

What advice does Shir Yehoshua give for writing effective AI prompts?

Be precise and specific in your prompts to get the desired output. Break down complex tasks into smaller components and focus on AI's strengths in synthesis, restructuring, and searching.

What is the importance of dogfooding at Notion?

Dogfooding allows the team to use their own product, providing immediate feedback and driving improvements, even if the experience is sometimes less polished than that of external users.

Why did Shir Yehoshua join Notion?

She initially dismissed Notion as too large, but after using it to create a job tracker, she was impressed by its functionality and decided to join the company.

Shownotes Transcript

认识Shir Yehoshua,Notion的AI工程负责人。 获取21个以上的免费Notion模板:https://matthiasfrank.de/special 需要Notion顾问吗?https://matthiasfrank.de/notion-consulting/

我们还讨论了提示的最佳实践,AI实际上擅长什么(以及你应该自己做哪些工作),还有她目前最喜欢的AI用例。 这是一个持续的访谈系列的一部分,我与Notion的强大用户或在Notion工作的人坐下来,看看幕后,并展示其他人如何使用Notion来组织他们的工作。 </context> <raw_text>0 Notion的AI团队真是疯狂。他们的AI第一版去年刚发布,现在他们基本上在构建一个AI万用工具。但如果没有人确切知道它实际上能做什么,你怎么能在这个新领域构建软件呢?

几周前,我有机会与Shir,Notion的AI工程负责人坐下来。如果你想知道一个专家是如何编写提示的,以及项目管理如何因这种新技术而改变,那么这期就是为你准备的。Shir,你能告诉我们Notion的AI工程师的典型一天是什么样子吗?嗯,好的...

所以构建AI产品与构建其他产品非常相似,但也非常不同。由于技术如此新,我们不知道它能做什么和不能做什么,AI功能的生命周期看起来有点不同,我们首先原型化一堆东西,只是为了弄清楚,AI甚至能做到这一点吗?然后一旦我们通过了那个阶段,我们就会回去,设计,考虑

考虑产品,考虑用户体验,这可能与许多其他项目的相反,你首先...

设计它,考虑用户体验将会是什么样子,然后构建它。我们喜欢先构建,弄清楚它能做什么,然后再设计。这有点有趣。是的,听起来真的很酷,像是把整个开发过程颠倒过来。是的,这也更有趣。你有没有遇到过那种奇怪的时刻,比如,哦,我们完全没想到

会这样工作,或者有什么大的挫折?太多了。好吧,我的意思是,我们学到的唯一事情是,你们看到的只是我们已经发布的。我们实际上构建了可能数十个不同的功能,但它们都没有工作,我们从未发布。

但实际上,Q&A的起源,我们开始时将其集成到常规搜索体验中。但后来我们发现,新技术实际上在回答问题方面比进行关键字搜索更好。因此,当我们将其集成到关键字搜索中,

效果一般,但并没有改变生活。是的。但当你开始提问时,突然之间,哇,它就有效了。所以这是一个有点令人惊讶的例子。是的,我完全同意这个问答时刻,因为它解决了知识管理的最大问题之一,人们创建了所有那些很酷的文档,然后它们被保存在某个云存储中,而SharePoint是好文档去死的地方,因为没有人知道如何找到它。而现在,我认为这真的是一个灵光一现的时刻,当你第一次问Ocean AI,你能...而且它的技术也很酷。你可以...

基本上在后台,我们所做的是将一段文本转换为一个数字,然后将你的问题转换为一个数字。如果这些数字接近在一起,这意味着它们是类似的内容。这对于问答来说是一个非常强大、强大的功能,但对于其他内容也是如此。

哦,是的。我仍然记得在AI的早期阶段,当时一切都是全新的,你试图第一次弄清楚。我不是工程师,所以我的知识非常有限。但我不知道的小事情是,比如说,字符串比较。单词需要匹配单词。所以计算机不理解“嗨”和“你好”是相同的。想象一下,教代码需要多少工程。

让“嗨”变成“你好”,现在你可以做到这一点。我认为这- - 是的,现在你可以通过一次API调用做到这一点。但如果你考虑一下老式搜索系统,我曾在Google工作过,负责Google搜索,你需要这些庞大的系统来判断两个单词是否是同义词。

而现在有了嵌入和AI,你不再需要那样了。是的,这真的很酷。这也许是一个很好的过渡,因为你刚才提到你之前在Google工作,对吧?那么你能多告诉我们一点吗?是什么让你最初加入Notion的?是的。这实际上是一个有趣的故事。我在Google工作,然后在Waymo,我试图弄清楚我想做什么。唯一我知道的是,我想去一家小公司。

所以Notion联系了我,因为我在找工作,我想,啊,你们太大了。我想去一个10人的初创公司。那时Notion大约有200人。但那时我还没听说过Notion。所以我想,嗯,让我先玩玩这个工具,看看我的想法。但我不会去面试。长话短说,我在Notion里创建了一个工作追踪器。我想,

这太棒了。我非常喜欢这个产品,以至于我又联系了他们,我想,嗯,好吧,也许我现在可以面试了。然后我就加入了。这真的很酷。也许你能和我们分享一下,像你知道的,加入Notion的第一天是什么样的?成为Notino的体验是什么?是的。我认为加入Notion最...

重要的事情就是内部文档记录得非常好。所以我之前的地方,事情是有文档的,但主要是Google Docs,分散得很,没有一种保持高效、保持组织的文化。而在Notion看到的真正有趣的是,你加入的是一个充满Notion生产力爱好者的公司。是的。

所以当我第一次加入时,我作为经理加入,而向我汇报的人为我们创建了一对一的文档来保持联系。我觉得这太酷了,因为这在其他地方的工程师中并不是常见的做法。是的。

所以这真的很好。是的,很好。我是说,这也很元,对吧?Notion作为一个帮助促进协作的产品,然后构建这个工具,你可以不断使用它。因此,与构建某些东西但用户总是不同的人相比,你有一种不同的脉搏。是的,我们自己使用我们的产品,F&A。这意味着有时它比其他人更破碎。但我认为这是一个巨大的...

飞轮。所以我们构建我们想要的功能。是的。哦,是的。这真的很酷。分享Notion的AI团队,对吧?你们的改进速度惊人。我简直不敢相信。自从我们第一次有了集成以来,才一年多一点。也许你能告诉我们一点关于你们如何能够如此快速地开发产品并提供如此有意义的改进的信息?是的。嗯,所以我显然必须说Notion是一个工具。这个移动速度很快。嗯,

如果你看看我们内部的Notion设置,看看我们的流程和会议结构,它看起来,

今天与一个月前、四个月前、一年前的样子非常不同。这种灵活性使得Notion能够改变流程,以便它永远不会妨碍我们。是的。嗯,这是一部分。嗯,另一部分是,尽可能快地失败。所以我们首先构建和原型化。我们尝试降低风险,确保我们尝试构建的东西尽快有效。是的。

嗯,然后这实际上为我们节省了很多时间,因为我们不再在一个项目上投入资金,而是投入几天时间来看看它是否可行。是的。嗯,然后我们取消了很多我们认为不会成功的项目。嗯,然后我们也尽量不陷入沉没成本谬误。因此,有点违反直觉的是,

因为我们仅仅因为在某件事情上投入了资金,并不意味着我们必须看到它完成,因此这可能会让你觉得你在构建一些没有发布的东西上浪费了很多时间,但实际上你在构建某些东西,走到最后发布,然后说它没有工作,这样反而浪费了更多时间。所以是的,我认为快速失败是...

是的,保持灵活性。是的,尝试很多不同的事情。是的,这很酷。所以我想你们在Notion中进行项目管理,可能是的,你们是否有某种特定的哲学来遵循?对吧?你们是否采用敏捷方法,或者某种常见的方法论,或者我该如何想象,如果我是明天加入你们团队的工程师,你会如何向我介绍你们的项目方式?嗯,我个人的看法是,项目管理必须与您所处的项目阶段相匹配。嗯,并不是总有一种适合所有的方案。有时,当你可能处于项目周期的末尾,准备发布时,你需要一个非常结构化的任务管理系统,嗯,

但如果你处于一个非常早期的探索阶段,创建具体的任务来跟踪一切,像构建非常具体的冲刺实际上可能会妨碍进展。因此,在项目的最开始,

只有一个文档,一些要点。也许还有一些检查项。但它非常开放,因为你需要在开始时保持开放。然后在项目结束时,我们有一个任务数据库。我们在数据库中有里程碑。我们在检查清单上勾选事项。我们有定期的站会和bug修复会。但我认为将流程与项目的生命周期相匹配是至关重要的。是的。

这真是令人着迷。我完全同意,确保你不会过早地添加太多结构。这是我也经常看到的问题,尤其是在处理流程或类似的事情时,你知道,你坐下来在真空中将其全部映射出来,而你很少,特别是在这些新的探索性事物中,你不知道最终结果是什么样子,像,

你有多大的机会在一开始就将项目映射出来。我认为尤其在AI中,我们的Q&A的第一个版本,正如我所说,是搜索集成。我们没有,

在那时设想构建一个聊天界面。对吧?因此,如果我们试图将其全部规划出来,我们可能会花费几天甚至几周的时间。是的。规划出错误的东西。因此,呃,我喜欢你那种迭代的风格,你只构建你需要的轨道。是的。是的,至少在我目前看来。对。确切地。确实很酷。

也许从整体上看,可能这也不是AI的答案,但从整体上看,你在日常生活中使用AI的所有事情中,你有没有任何突出的喜欢的用例,让你觉得,这真是太有趣和好玩了?是的。所以我现在正处于我们的绩效评估中。我们正在给我团队的每个人提供反馈。因此,我能够在上一个周期做到这一点。我们目前每六个月进行一次。

我所做的是,我将为每个人收集到的所有反馈、自我评估,然后让我Notion AI为我生成他们的优缺点的第一版。这只需要一分钟,对吧?在AI出现之前,这通常需要我大约

30分钟,甚至几个小时,如果这些东西分散在各处。然后一旦我有了这个,我实际上可以利用我的大脑提供更好的反馈,因为我不再因为汇总所有内容而感到疲惫。然后在上一个周期,我的直接下属告诉我,这是他们收到的最好的绩效评估。我想,嗯,这花了我最少的时间。因此,我认为当AI可以为你完成所有手动工作时,你可以用你的大脑来做创造性的工作。这就是价值所在。是的。我喜欢这个。是的。

我认为这也是一个巨大的解锁,只有在你与AI合作时你才会开始理解。因为之前,像非结构化数据,这根本不是你无法用技术处理的东西。没有任何脚本可以编写。没有什么能帮助你消化这种自由形式的论文。但现在有了大型语言模型,你可以,只需几次点击,就将其转化为你所需的结构。我最喜欢用AI做的事情之一是,我拿一个会议记录文档,甚至是我原始的想法,是的,我要求AI将其转化为一个表格,是的,你会惊讶于它在确定应该是什么结构方面的能力,是的,或者给我一组选项,是的,这太棒了。

因此,格式化和重组也很棒。是的,我认为这就是秘密,对吧?像是少考虑生成AI作为,知道,像是为我创造某些东西,因为根据模型的工作方式,它必须是平均的,对吧?因为它是基于预测的。因此,它不会产生新颖的东西,但然后将其用作分析集,对吧?并且,知道,做那部分工作,这真是一个巨大的提升。

是的。并且像是将信息放大或缩小。如果我有一个包含许多不同内容的大文档,我想生成一个公告来发送。是的。那种我可以发送的快速摘要。是的。是的。

太好了。因此,基本上就像是一个文本的调整器。是的,我喜欢这个。也许作为一个在AI和黑箱中有前排座位的人,你有没有什么建议,知道,对于那些试图让AI做他们想要的事情但又感到沮丧的人,因为输出并不匹配,毕竟,它是一个黑箱,所以很难知道,凭借你的经验,你有没有什么建议?

所以AI特别擅长综合,比如说,总结、将事物结合在一起

以及重组。因此,将一种格式转换为另一种格式,搜索。因此,像是找到,知道,这两部分内容是相互关联的。这些都是Notion中很好的乐高积木。因此,当你考虑什么是AI的一个很好的用例时,任何涉及这些的事情都可能会很好地工作。是的。

任何你试图做的事情,如果复杂得多,仍然是可能的。是的,但需要更多的工作。因此,我认为首先将自己置于一个心理模型中,好的,这是AI自然会非常快的事情,还是我需要像?与它合作,调整它。是的,我认为很多人会感到沮丧,当他们期望它工作时,但实际上它在第二类中。是的。

因此,合理地设定你的期望。然后将问题分解。因此,如果你试图做一些非常复杂的事情,比如说,我需要生成一份报告,综合来自许多不同来源的信息。我没有要求AI一次性完成,因为它不会成功。但我要求它,好的,首先生成一个大纲,列出所有不同的事情。然后对于大纲的每个部分,我会询问一个具体的提示

以找到那里的信息。然后一旦我获得了那里的信息,我会再询问另一个提示,以我想要的方式将其结构化。因此,如果你能将问题分解为这些综合、搜索、重组的组成部分,然后逐步进行,我认为这是最好的。至少在现在,直到模型变得更好。

是的,这是真的。但我也看到这一点。例如,仅仅是为了一个客户,我们构建了一些东西来帮助他们重新利用长篇内容。为了做到这一点,知道,有16个提示被训练和使用,并且是从之前的模型输出的,因为这就像是管理一个人,对吧?如果你告诉他们,嗯,做这个大工作,而他们从未做过,那么他们可能会失败。但如果你像一个经理一样思考,想象一下,知道,这就像是我雇佣过的最聪明的实习生,但他们不知道该做什么。对吧?

我该如何引导他们?是的,完全一样。就像人类一样。你将问题分解为几个部分。这样做要容易得多。谁知道?谁知道?工作最佳实践也适用于AI。是的。这真的很酷。也许在我们结束之前最后一个问题。你知道,

我不确定,但也许朋友或亲戚经常问,哦,我应该用AI写提示。我不太习惯。你有什么建议给他们?如果你想更好地写出能得到你想要的精确输出的提示,你会对他们说什么?是的,我会说,如果你想要精确,就要精确。因此,如果你问一些非常模糊的东西,实际上,你的实习生例子,如果你问一些非常模糊的东西...

AI可以朝多个方向发展,所以要更具体。

然后分解它。我认为如果你一次性要求太多,有时模型会处理,有时它们无法处理。因此,你越精确,越具体,效果就会越好。然后还要知道AI不会做得好的事情。不要试图将方形钉子塞进圆孔。并且至少在现在,专注于综合、重组和搜索。希望更多。是的。

太棒了。非常感谢你抽出时间。这真是太有趣了。我迫不及待想看看Notion和Notion AI接下来会构建什么。是的,希望我们能很快再谈一次。听起来不错。非常感谢我与Cher的采访。但Notion AI并不是今年唯一有重大改进的领域。Notion发布了60多个单独的功能和更新。我制作了一个视频,逐一介绍它们。因此,为了确保你不会错过任何重要内容,请接下来查看这个。我几秒钟后见。