AI时代的产品管理：产品经理需要具备的5项技能
AI时代的产品经理手册
Shownotes Transcript
这是我2020年翻译的文章，首先发表在我的公众号“PM熊叔”。3年之后的今天，我们进入了大模型时代，但这篇文章并没有过时。因此我将它的音频重新发布我的播客之中，希望能帮助到大家。 2020年1月25日, 在曼彻斯特产品思维大会上，Salesforce 爱因斯坦系统的产品总监马尤克·博瓦尔做了个分享，探讨了在人工智能时代，产品经理需要做哪些调整，以及如何打造成功的人工智能产品， 演讲主题《人工智能如何重新定义产品经理》 一、故事 在步入正题之前，我们从一些有趣的故事开始： 1、AI重新定义职业 在几个月前的马萨诸塞州剑桥城，聚集了在成百上千的技术爱好者，一名来自斯坦福的教授在探讨人工智能是如何改变世界，探讨传统的职业是如何被AI打破和瓦解的。这位教授就是吴恩达，一家名为“Landing AI”的公司的创始人，他也是著名的在线教育公司Coursera的创始人。在他的分享中提到了一段产品经理的工作的场景画面。 以聊天机器人应用程序为例。在互联网时代，如果我们的产品经理正在设计一款新的网页或APP，那画线框图是必不可少的环节。通过原型图，产品经理可以告诉工程师这款程序应该是什么样子，而工程师将根据原型图方案进行实现。这就是长期以来，硅谷和科技公司的产品经理和工程师协作的方式。但在人工智能时代，这种旧的工作方式将变得无效。 假设你在做一个聊天机器人，那又会怎么样呢？ 例如，我们在打造一个“行为疗法”的聊天机器人，通过与机器人聊天的方式解决美国人的心理疾病。如果展示在线框图上面，或许是这样： 机器人说：“你好~” 用户说：“我不开心”。 机器人：神奇地展示了一张图片，括弧：一张源自于NLP生成的图片 这完全没有用，我不需要知道对话的气泡的形状是怎么样的，我需要知道谈话的实质是什么，我的聊天机器人如何能够感知到用户发生了什么。传统的产品经理通过线框图为聊天机器人提供产品规格，但对于工程师来说更需要了解内在的逻辑。 2、产品经理再造 在加利福尼亚的旧金山，有一个叫做洞见数据科学（Insight Data Science）的组织。前不久，他们开办了一个为期七周的集训项目，帮助来自不同背景的专业人士转行至软件工程和数据科学领域。我的法国同事利昂·麦奎尔，她拥有神经科学博士学位，她加入了他们的数据科学项目，并在林肯获得了一份数据科学家的工作。最近，我从人工智能产品主管杰里米·卡拉斯科得知，他们正在启动一个全新的项目。此项目称为数据产品经理项目或者AI产品经理项目。杰里米认为，对于更传统的产品经理来说，他们需要掌握必要的技能，能专注于数据、更懂得如何利用AI来打造产品。 最后，Salesforce 爱因斯坦的产品副总裁马可·卡萨莱纳正与他的团队合作开发一门新的课程，这是一个针对的内部培训课程，为人工智能和机器学习带来的第四次工业革命做准备。 我问马可：“这门课的目的和目标是什么？”他说：“我们要让我们的产品经理们获得一些感知力，让他们能够快速地评估用机器学习解决业务问题的可行性，知道哪些业务问题适合使用AI，又有哪些不合适。” 人工智能时代，产品管理发生怎么样的改变？作为产品经理，如果要打造一款成功的AI产品，你又需要掌握哪些技能呢？ 二、产品经理的奥林匹克竞赛 工程学作为一门学科已经存在了几千年。它的历史可以追溯到埃及金字塔工程和军事工程。一千多年里，诞生了机械工程、发明了蒸汽机，工程管理已经是一门非常成熟的学科。相较于工程管理，产品管理要年轻许多，其历史不到一百年。最早的产品经理，实际上做的是品牌管理，他们被称之为“品牌人”。在制造业中，它又变成了“产品线经理”。
随着软件业的发展，它又发生了一些改变，使用着像Scrum这样的敏捷方法。这让我想起了职业体育。回顾过去的50到100年里，电视里重复播放着每一个世界纪录是如何打破的。我相信，不管你是在运动场上还是在家中舒适地观看，这已从根本上改变了你参与运动方式和情感的寄托。
电影《点球成金》普及了体育分析方法。另外，有更多的高科技装备和运动器材出现在每隔四年的奥运会上，每一次都会有新的世界纪录。我们的确走在“更高、更快、更强”的道路上。最后，越来越多的女性也开始从事职业运动。 华盛顿邮报还特别提到：女性在男性运动中的领导地位。其实，产品管理就像是一项运动比赛，随着人工智能和软件行业的发展，它也正在被重新定义。世界正在改变，AI产品经理正在崛起。如果你细想一下我讲的故事，就会发现那些针对产品经理的新要求。 三、产品经理的新技能
通常，产品经理需要跨职能地串联起每一个利益相关者，如：销售、市场以及开发。但是对于AI产品经理，你还需要串联起另外两个重要角色，即数据科学家和数据工程师。 同时，产品经理还需要更新技能树的五个方面： 1. 问题映射， 2. 数据是新的UI， 3. 验收标准， 4. 可解释性、伦理和偏见， 5. 将研究迁移到生产。
1、问题映射（Problem Mapping） 随着人工智能的热潮到来，你可能也会面临着新的执行压力，需要考虑如何将AI应用到产品之中。但是我们在考虑问题的时候，却常常忽视了将这些技术方案映射回业务问题上。 AI产品经理需要能够将业务问题与机器学习或深度学习问题相匹配。这包括理解业务需求，明确定义问题，选择合适的算法和技术，以及为团队提供清晰的问题定义。随着技术的不断进步，AI产品经理需要不断学习如何更好地将业务问题映射到技术解决方案。 AI产品经理必须能够清楚地表达产品的价值主张。产品经理必须先考虑传统的方法、评估使用传统的规则引擎来解决问题，而不是冒着风险去做。我们先举一个如何提升客服效率的例子。像亚马逊和优步这样的大公司都有庞大的客服部门。每天都会新增大量的客服工单。例如，顾客可能会抱怨： “我的订单在哪里，为什么还没有收到？” “收到了错误的订单，我需要更换” “我需要退款，优步司机取消了我的订单，但是费用还没有退给我！”…… 这个部门的目标就是尽可能快地解决掉这些不断涌现的客服工单。因此，系统的衡量指标就是如何尽可能地缩短解决工单的时间。 作为一名产品经理，我会先思考要解决的问题，会考虑传统的方法、流程和规则引擎——最好的引擎是已持续使用了一段时间的。这个案例中存在一定的问题，“分类”和“产品”这两个字段值是空的。
因为这些字段有助于正确地将客服工单指向到正确的部门。从而让它们可以得到快速解决。如果缺乏这些字段，客服工单很可能会被错误的分配到其他部门。导致它们在不同的部门之间来回流转，从而浪费了宝贵的解决时间。 可能，每个产品经理会这么想：通过使用一些规则，根据客服工单中的其他字段来填写此字段中的值。但通过进一步分析，我们会发现这样的规则是很繁琐的。它不会随着时间的推移而扩展，它将变得难以管理。坦率地说，有时候一个严格的规则并不能真正抓住价值。但倘若你有一段自由格式的文本并缺少关键字段和描述，您无法找出将其映射到“产品”和“类别”的规则。 此时，你就可以使用人工智能了。实际上，这可以建模为一个多分类问题。这些字段中的每个值都对应多个分类。您可以通过肉眼从历史的客服工单中学习和获得相应的感知，例如通过查看标题和描述来确定预测值应该是什么。
在我们的“爱因斯坦”系统中，我们可以看到这些字段的预测值。每个预测值都有相应的置信等级。人们可以通过肉眼使用传统的方法进行评估，而不是冒着风险使用AI去解决问题。请记住，我们每时每刻都应该将解决方案映射回业务问题上——即缩短客服工单的解决时间。 2、数据是新的用户界面 （Data is the New UI） 在AI时代，数据的质量严重影响着用户体验。AI产品经理最重要的职责之一就是提供数据规范。 众所周知，数据是任何机器学习算法的基础。 我们首先要问的是：我们有足够的数据吗？如果没有，那么也就没有训练机器学习模型的数据集，也就无法从数据集中的预测信号中进行学习。 第二个要问的是：在现实世界中，你的数据有多干净或有多少噪声？但据我们所见，你的大部分数据都是非常混乱和充满噪声的。它可能存在于第三方系统中。当你开始给机器学习之前，你可能还需要连不同来源的数据，再导入到数据仓库之中。 第三个要问的是：历史数据中是否存有用来给机器做监督训练的样例？也就是所谓的监督分类问题。如果没有样例来训练机器学习模型，数据科学家还得想其他的办法。 以一种通用的图像识别的AI产品为例。
一般的目标数据集，在互联网上面可能都能找得到。如果你用这个来分类猫和狗，它会表现会令你大吃一惊，大概100%的准确率。但是如果你用同样的产品从医学诊断中检测肿瘤，它的表现很差，因为它从来没有真正看到过数据，也从来没有真正地训练过。 实际上，通常情况下你可能甚至没有标注好的数据来满足机器学习的训练需求。必须强调的是，数据是一个全新的维度，这在传统的产品文档中是完全没有的。正如一些人对智能产品说的那样：数据是新的用户界面和用户体验。 3. AI世界的验收标准（Acceptance Criteria in the world of AI） 在产品应用于现实之前，它的验收标准是什么？在传统的产品管理中，这可能是功能的完整性、打开页面的数量、合适的完成提示等等。 AI产品经理需要明确定义和衡量模型成功的标准。这涉及到确定模型的性能指标，如准确率、召回率、F1分数等，以及如何将这些指标与业务目标相联系。了解如何设置合理的验收标准是确保项目成功的关键。 这里举一个欺诈分类的例子，我们试图将欺诈交易从正常或良性交易中分类出来。
这是一个理想分类器的例子，它能将每一笔欺诈性交易都归为欺诈，良性的交易依然还是良性。数据科学家会惊讶地说：这是完美的精确和完美召回率，但这只是一个永远无法实现的梦想分类器。
在现实世界中，它可能会滑向两个方向：要么会漏掉一些欺诈行为，但它仍然有完美精确率（如下左图）；要么在识别出欺诈行为同时也将一些良性行为误判为欺诈行为，也就是引入了假阳性（如下右图）。
作为产品经理有责任根据服务所在的领域来明确清楚正确的用例度量指标，以便数据科学家能够采取相应的举措。在这个例子里面，产品经理不需要拥有航天科学家一般的智慧，但需要知道欺诈交易是有害的，其代价远远大于在实际中引入的假阳性。 不过这还不够，一旦你找到了正确的度量指标，你还需要弄清楚阈值是多少，什么时候需要达到你认为的合理数值，精确率是否要达到80%或90%。当你思考这个数值是多少的时候，你必须再次考虑业务指标，并回溯到数据科学的指标上。 再举一个销售领域潜在客户评分的例子。
我们正试图预测潜在客户销售成功的可能性。例如，格雷格·汤姆森先生得分是88。这意味着他有88%的可能性转化为订单。但比较棘手地方在于它是一个转化率，我们还需要考虑整体的转化漏斗。
这里有两个重要的指标： ** 一个是由产品经理根据业务需求所决定的业务指标；** 另一个是针对当前的案例，与数据科学家和数据工程师合作得出的数据科学指标。 而后者能帮助你在商业中树立竞争壁垒。 因此，当你准备向实际用户推出AI产品的时候，你可以先明确这些额外的验收标准。 4、可解释性、伦理和偏见（Explainability, Ethics & Bias） AI产品经理需要了解如何解释模型的决策，以便用户和利益相关者可以理解并信任模型。此外，他们需要考虑数据偏见和模型偏见的问题，以确保不会导致不公平或有害的结果。 如今，我们的许多客户正在体验我们的这套预测应用。其中最常的问题是：“为什么机器学习模型没有做出它所做的决定呢？”事实上，人工智能软件根本不同于传统软件。 因为它的结果并不是基于一组写好的代码产生的。随着时间的推移，随着数据和反馈循环的加深，该软件的会越来越像一个黑盒。但我们还需要考虑可解释性，因为这将有助于建立用户对产品的信任。 这里有一张图，能够帮助我们评估可解释性和精确性：
从图中可以看出，我们需要为机器学习的可解释性和精确性做极大地权衡。相对简单的模型，如线性回归或决策树，准确性较差但可解释性较好；而神经网络、深度学习的准确性极高，但却更像个黑盒。产品经理需要根据特定的应用场景和用例来做出决策。如果你的产品面向于一个高度监管的行业，法律要求这些预测是可解释的。比如，医疗健康和法律领域需要符合欧盟的《通用数据保护条例》。 可解释性和精确率之间应该如何平衡？作为产品经理需要相应的保持洞察力，并在第一时间与数据科学家和数据工程师保持同步。另外，产品经理也需要想想这个产品是否有性别和伦理方面的影响：如数据需要具有足够的多样性、典型性，或者不能产生如种族歧视和性别的偏见问题。我最喜欢举的一个例子是谷歌翻译，左边是无性别区分的土耳其语，右边是对应的英文翻译。
如果你顺着往下念很快就能发现这个偏见： 他很努力地工作（AI用的是单人旁的他），她很懒（AI用的是女字旁的她）。可见灾难性的性别偏见已经渗透到了这个产品中。 或许你会想到一个功能来去剔除掉性别。但事情没有那么简单，性别是医学诊断的一个极其重要的特征和信号。例如，前列腺癌只发生在男性身上。可能在翻译产品中关系不大，但在人力资源招聘系统中匹配求职者的职位描述关系非常大。我们似乎应该要提供一些关于如何处理偏见引导。去年12月，谷歌发布了一个版本，解决了翻译中存在偏见的问题，每一个中性的短语，它都会给出男性化和女性化的翻译。
5、将研究投入生产（Scaling from Research to Production） AI产品经理需要了解如何将研究成果迁移到生产环境中。这包括将训练好的模型部署到生产服务器、建立实时或批处理的数据管道，以及确保模型的持续监控和维护。将研究成果转化为实际产品需要跨越从研究到工程的鸿沟，需要不断学习和适应新的工具和技术。 最具有挑战性的问题是，机器学习项目所需要的成功要素，研究环境和实际投产环境完全不同。下图源自一本非常有名的出版物，叫做《机器学习的隐性债务》：
真实世界的机器学习系统只有一小段代码，如中间的小黑盒所示。这与大家普遍认知相反，您可能会认为机器学习是你的人工智能产品的最大和最主要组件，但实际上它只是一小块。其所需的周边基础设施庞大而复杂，有配置、数据采集、数据验证、资源管理、特征抽取、分析工具、线程管理工具、基础服务设施和监控等等。 在我们的Salesforce的爱因斯坦系统，也有一张非常相似的架构图：服务器、配置、数据存储、ETL数据处理、计算、机器学习算法、编排、度量标准、数据科学经验、模型的生命周期管理、健康监测和基础设施等等
数据科学家和数据工程师实际上正在设计这样的一款产品，它需要能够回答各式各样的问题才能真正被带到生产环境中去。 “请确认你的数据是本地还是在云端？” “请确认你的机器学习模型是在服务器上，或者不需要分发到移动设备？” “是否准备重新训练你的机器学习模型，动机是什么？” “请确认产品是否需要实时预测能力？实时预测虽然有用，但这又是非常复杂和难以设计的，又或许您可以使用一个离线批处理系统”…… 每一天都会有成千上万的研究成果发表，但却少有应用到实际的规模生产。所以作为AI产品经理，我们必须建立起敏锐的洞察力：判断哪些产品值得投入，判断哪一种产品能够为实际的用户真正地产生价值。 虽然最近AI很火，但它在20年前就已经存在了。过去主要应用在搜索和广告领域，你在谷歌时看到的搜索建议、你在雅虎上看到的推荐广告、你在亚马逊上搜索时的自动更正……如果你在搜索和广告领域工作那必须提供明确说明，并且与数据工程师紧密的合作。
如今人工智能的应用领域呈指数级增长， 同时也需要产品经理提供大量明确的产品规范说明。如图所示，通常的AI产品开发阶段划分为：奇特的算法、炫酷的DEMO、试点、一般采用、商品，这五个步骤。在炫酷的demo之后，AI产品会陷入鸿沟之中，无法推向市场。
不管你的数据科学家们是多么的喜欢你们的小花园，或者你的营销演示又多么有创意和多么酷。 “AI产品鸿沟”很可能会成为你的AI产品普及的障碍。 作为一个孤岛，越来越多的AI产品需要管理。 作为一名产品经理你需要提升技能树。在你的工程项目中，能够实际地为数据科学家提供有价值的需求和规范。 最后，请你回答一个问题： 当你面对一个真实的具体的客户痛点，你是否有能力打造一款有用的产品，而不是仅仅地做一个很酷的功能？