33\. Tracking UX Progress with Metrics (feat. Dr. John Pagonis, UXMC, Qualitative and Quantitative Researcher)
44:06 Share

衡量用户体验起初可能让人感到畏惧，但这是确定你的工作是否朝着正确方向前进（以及前进了多少）的重要部分。UX大师认证的约翰·帕戈尼斯博士分享了他与其他组织合作测量UX改进和解读定量数据的经验。 了解更多关于约翰·帕戈尼斯的信息：

观看过去的主题演讲：有用性测量：所有UX工作者的实用指南（37分钟视频）⁠

《UX独角兽神话》（十项全能类比，解释，2分钟视频） 雅各布·尼尔森博士的《可用性101》（免费文章） 《测量UX和ROI》（UX认证的全天课程） ⁠凯特·莫兰的《UX指标和ROI》（297页报告）

⁠微软可取性工具包产品反应词⁠（免费文章）

（顺便提一下：他的网站MeasuringU.com是一个极好的资源）

使用系统可用性量表（SUS）测量可用性 解读SUS分数的5种方法 测量可用性：从SUS到UMUX-Lite ⁠UX-Lite的演变⁠

<raw_text>0 这是尼尔森诺曼集团的UX播客。我是特蕾斯·费森登。在过去的几集中，我们采访了我们的UX大师认证社区的成员，以了解他们如何在工作中应用关键的UX原则。今天，我们将介绍与约翰·帕戈尼斯博士的访谈。约翰是伦敦Zanshin Labs的首席定性和定量研究员。

他是我们中最早获得UX大师认证的人之一，但也曾多次发表关于测量和基准化UX工作的演讲。在这一集中，我们讨论了定量数据在明智设计决策中的作用，定性与定量的辩论，以及这对UX工作的影响，无论是好是坏。最后，我们还讨论了如何更全面地思考指标，以确保你在设计改进方面确实朝着正确的方向前进。

在这一集中提到了一些UX指标，但为了简洁起见并未详细解释。但如果你想了解约翰提到的指标，可以在节目说明中找到完整解释这些指标的文章链接。接下来，请欢迎约翰·帕戈尼斯博士。那么约翰，欢迎来到我们的播客。

很高兴你能来，很高兴能更多地了解你，了解你是如何来到这里的，以及你最近在做什么。你好吗？我很高兴能在这里。能和你交谈让我很兴奋，因为你是获得我们UX大师认证的最早的一批人之一，和这些参与这个项目并真正将其运用到实践中的人交流是很有趣的。

你是在2018年获得的UX大师认证，对吗？没错，实际上我是获得大师认证的第198人。从那时起，我一直在工作

就像我之前所做的，主要是在企业环境中。有一些初创公司，但主要是在企业环境中。大公司有成千上万的人，拥有许多不相互沟通的大系统。为很多内部和外部的人提供服务。所以

我主要与他们合作，还有一些初创公司。整合UX研究的整个重点在于引入和转变组织，使他们能够实际利用我们在UX研究中提供的证据，从而改善人们的生活中的产品。

我一直在做这方面的工作，我也在帮助人们或组织测量用户体验。UX指标或UX测量，如果你愿意的话，帮助组织做出决策并改善。这对我们从业者和组织本身都很重要。它有助于指导产品

证明UX的投资回报率，组织内部的许多从业者都希望这样。同时，它也有助于改善团队和产品，当然，也改善用户的生活。因此，我所合作的许多组织团队都想弄清楚他们是否做得好，以及如何改进。例如，在引入UX测量时，提出几个问题。

是的，这总是一个转型项目。所以我从问题开始，我问的一些问题是我们的世界有多好或多糟？想想体育。我是说，你必须测量你跑得有多快，你能举起多少重量，这样你才能改进。是的。

我们是否做得足够好？这是在大型组织中另一个重要的问题，因为有很多团队寻求预算和预算分配。因此，你必须证明你做得有多好，而你可以通过测量UX来做到这一点。你如何与另一个系统进行比较？假设你的团队正在构建系统X。你如何与另一个团队进行比较？如果你能证明这一点，那么...

我们如何找到信息或证据来决定在哪里关注？所以这些是我问的基本问题，这些问题并不容易回答。理论上是简单的，对吧？是的，确实如此。对于许多团队来说，提出这些问题很简单。实际上，高层管理人员也会提出这些问题。他们并不期望只有UX工作者来提出这些问题。他们提出这些问题，这些问题是基本的，但并不容易回答。

我认为我有一些关于原因的想法。

在20年代末，21世纪初，我有一段时间的休假，因为我们有了新生儿。所以我决定不再换尿布，我需要做点什么。作为一名研究员，你会做什么？你进行研究。所以我开始进行研究，定性研究，是的，那时，我与全球的从业者进行了研究。我相信有30或31位从业者，我在调查他们的过程。

或者说他们感知的过程，如果你愿意的话，关于他们如何与组织中的其他成员和其他团队合作等等。我发现的事情之一或我得到的想法是，许多人，很多时候，并没有闭合循环。

这就是研究所表明的。我稍后会解释闭合循环的含义。因此，他们无法证明自己的存在并在组织中请求预算。很多时候，他们放弃并辞职。闭合循环的意思是我们进行UX工作，研究，设计，我们开发它，交付它，它交给用户。然后呢？没有

反馈机制告诉我们我们是否做得好，我们的工作有多好，我们是否朝着正确的方向前进，我们应该做什么？我们是否改善了用户旅程？循环保持开放。我是说，在进行研究之前我就有这种迹象，但似乎许多团队没有一个有纪律的反馈机制，因此很多时候他们受到挑战而没有答案。

所以我问问题，你知道，这是我的工作问问题。这并不意味着我有答案，但你知道，我会问问题。是的，绝对如此。我认为这是最重要的第一步。意识到这些问题也很重要，对吧？因为我认为，正如你所说，大家对研究和客户在做什么非常感兴趣。他们对做什么感兴趣？我们有哪些目标？

我经常看到两种错误。第一个错误是不去了解当前发生的事情，对吧？检查一下，我们是否真的变得更好？我们是否变得更糟？对。它们就像是一种笼统的。这里是我们拥有的指标。这就像是你在玩玩具篮子，你在想，这就是我们拥有的。我们并不一定在挑选特定的指标或跟踪它们的变化。因此，这是一个问题，对吧？我们并没有真正具体地

在进行前后脉搏测量。但第二个问题是没有在之后进行脉搏测量，对吧？就像，我们设计了它，我们做到了，它完成了。然后呢？现在我们如何继续前进？我意思是，如果我们在改善吗？我们应该下一个关注什么？这是产品管理实际上会问的基本问题。是的。我是说，服务

UX研究为产品管理提供的服务是帮助他们做出明智的、希望是好的决策。这就是我们的服务。这就是我们提供的。因此，我们应该能够帮助他们回答这个问题。我们是否在改善？我们应该将预算分配到哪里？我引入了

如果你愿意的话，答案有很多，通过使用常见的测量工具，例如UMUX Lite、SUS、SEQ、满意度等。但当然，团队可以使用他们需要的任何工具，只要它能给他们带来价值，显然。这并不总是容易的。有时，根据组织的成熟度，你会遇到很多抵制或对指标或测量成本的恐惧。

是的。你认为这种对指标和测量的恐惧是什么？这与不知道有关。这回归到教育。你通常会害怕你不理解的东西，并试图避免它。因此，这与教育有关。人们认为，仅仅因为你必须进行基本统计，因为你必须理解工具，也许它的可靠性如何。他们会说，不，我不想这样做。

所以他们会冻结，因为你实际上可以教育人们。没有人天生就知道一切。我们需要定性和定量研究。你必须从某个地方开始。这很好。你能做什么？教育至关重要，因为我看到人们感兴趣。他们只是不知道怎么做。这就是你可以通过引导他们并进行小实验来帮助和协助他们的地方，展示这里的价值。

这是数据的解释方式非常重要。我发现将一种数据解释为叙事非常有用。你实际上可以使用像uMOOC Slide这样的工具，它测量效用和可用性。你可以将其映射到形容词。例如，微软的形容词列表。

然后你可以向利益相关者解释，这就是人们如何描述我们的产品，类似的东西。从定量到定性在叙事和讲述故事方面也非常重要。这就是你吸引人们的方式，因为一旦你能给他们讲一个故事，他们就会感兴趣，人类的本性就是

尽量不贬低，但要仔细审视它。然后你说，是的，这里是数据。我们从这种数据得出了这个叙事。他们会说，啊，我们可以这样做吗？是的，我们可以。因此，你让他们感兴趣并参与其中。

是的。当你提到这一点时，我想到一个概念，就是当你与某人分享见解时，你分享的是你学到的东西，你可以分享尽可能多的数字，但这些数字是没有意义的。即使它们是你听过的最糟糕的数字，你也可以将其与可怕的事情联系起来，比如世界上的可怕悲剧，比如战争，或者你知道的，饥饿，所有这些人都经历着这些可怕的事情，而这些就是数字。

这些数字可能会让人觉得，好的，好的，是的，这听起来不太好。然后，一旦你讲述其中一个人的故事，并以有意义的方式将其带入生活，那么就会变成，哦，我需要立即采取行动。它变成了更有意义的东西。因此，是的，将这些指标与实际有意义的叙事联系起来是很重要的。

对人们有意义，并且他们实际上可以想象，无论是针对他们自己的工作还是未来可能要做的工作。实际上，有两种可视化方式。一种是你刚才描述的。另一种是向他们展示图表，显示他们的产品在用户眼中的表现进展。

例如，看看当我们从版本1移动到版本2再到版本5.6时，发生了什么。因此，如果情况不佳，你可以回过头来问，“等一下，等一下。我们在那个版本中引入了什么，导致我们获得了这个新的分数，而这个分数在统计上与之前的分数不同？”我不打算深入细节。因此，你可以问这个问题，问，“好吧，我们做了什么？

假设我们的效用，我们的功能适应性，如果你愿意的话，已经恶化。我们是否移除了某个功能？假设你的可用性下降。我们是否引入了一个实际上使人们更难找到或完成任务X的功能？你可以问这些问题，然后你可以引入定性研究来找出原因。因此，你从数据中提取信号，发生了什么，就像你身后的白板一样，实际上发现原因。因此，UX的定量或测量，如果你愿意的话，给我们提供信号

和基准，以便我们可以提出更多问题，通常通过定性研究来回答。是的，我很欣赏这一点。对于那些在听的人，我这里有一个白板，上面写着“为什么大于什么”。这是我们在尼尔森诺曼集团经常非常重视的事情，因为有信号，然后还有导致该信号的原因，对吧？但我也很欣赏你所说的，

将这些指标视为信号，跟随路径，跟随兔子洞，并开始询问，利用它作为提出问题的跳板。在某种程度上，我认为定性数据通常可以回答定量数据的问题，反之亦然。你可能会在定性数据中发现一些事情，然后你会有额外的问题，比如，这种情况发生的频率是多少？或者

这个问题有多重要？这个问题有多严重？像这些问题，或许你可以定性地回答，但最终你需要数字来确定频率或规模，对吧？因此，在某种程度上，害怕这些数字就像是害怕问题的答案，或许将其重新框定为，我们不一定需要完美的答案，对吧？

但有一些答案，甚至一些额外的问题作为其中的一部分是有帮助的。像往常一样，是的。对，绝对如此。我想另一个有趣的事情是，从某种意义上说，我们正在创造新的知识，对吧？因此，你必须对模糊性有一定的胃口，或者至少在模糊中运作一段时间。模糊性？是的。

什么是模糊性？那是什么？不可能。是的。在我们等待答案或寻找答案时，生活在这个灰色空间中是很常见的。

而这往往是一个不舒服的地方。我自己也这样说，当你在那里时，这是一种可怕的体验，我希望我知道这里的答案。我有一些答案的线索，但我们需要做更多的分析。我们需要深入挖掘。现在，我想知道，关于你与其他组织的工作，你提到了一些不同类型的指标。

你认为人们目前如何应用这些指标，而理想情况下应该如何应用？你认为情况看起来不错，还是看起来有点可以改善？我确实认为，我观察到，你可以在所有企业仪表板或初创公司仪表板中看到，人们普遍对UX测量感兴趣。当正确应用时，

我看到人们在注视着启示，无论是好是坏。因此，他们普遍感兴趣。好的，这是我回答的积极部分。然而，我观察到成熟度较低。我所说的是什么？很多时候，指标或测量工具，如果你愿意的话，

被错误地应用。人们对如何使用这些指标没有良好的理解，抱歉，工具是什么，以及如何从你获得的数据中推导出你需要做什么。因此，在理解测量工具、在哪里以及如何应用它以及如何解释它方面，成熟度较低。问题在于

人们认为这是一种魔法，他们需要像我这样的顾问来帮助他们。现实是，是的，请打电话给我，但只需一点教育就不难。并不是很难。我是说，你实际上可以通过进行一些良好的UX测量在你的组织和团队中做很多好事，正如我之前讨论的原因。因此，我也观察到，成熟度较低。最近，我看到很多，怎么说呢，UX影响者、思想领袖，发布了很多关于UX测量和定量UX的一些负面内容，这可能会对

社区产生负面影响，从而帮助人们闭合循环，因为我们需要闭合循环。此外，关于定性与定量的辩论，至少是幼稚的，因为你显然需要两者。因此，是的，我想这些是主要的观察。当你看到团队使用定量和定性研究时，

他们更有可能比仅使用定性研究的组织更成熟。这是关于它们如何应用的另一个观察。而且，他们肯定比仅使用定量的组织更成熟。我应该重复一遍吗？因为很多人通过仅进行定量UX而避免与人接触，实际上并没有做对的事情。

所以这是另一个观察。很多人认为，仅仅通过发送调查或在线进行一些测量，你就在进行UX研究。不，你没有。你可能成熟度很低。但这只是我对世界的非常偏见的看法。你知道，我认为你说的很有道理，尤其是当涉及到你刚才提到的内容时，对吧？所以总结一下，你有...

定性和定量研究。如果你同时进行这两者，机会是这是一个相当成熟的组织。因此，对于我们尼尔森诺曼集团来说，我们有关于UX成熟度的研究，比如这个UX成熟度模型，这个概念是你对

研究有一定的胃口，对吧？你对研究人们感兴趣，以便开发某种产品、技术或服务，或者无论那种体验是什么，对吧？这与人们在现实世界中的行为相一致，对吧？因此，你越多地使用这些证据，你越依赖这些证据，越将其作为核心理念，你的组织就越成熟，而不是以更直观的方式做出决策，或者甚至以一种积极避免进行研究的方式，研究被视为浪费金钱，对吧？这将被视为低成熟度的东西，对吧？而低成熟度和抵制的原因是，如果你只做数据，并且足够折磨数据，它们会告诉你你想听的任何事情。因此，如果你只有数据，

你可以调整数据，转换数据，以告诉你确切需要听到的内容。但是如果你有视频记录人们使用产品并失败的情况，那么你该怎么办？这之间有很大的区别。是的，这很有趣。因此，当考虑数据的使用时，对吧？如果最成熟的组织正在使用定性和定量数据，他们同时使用这两者，而最不成熟的组织，如果他们使用数据，可能使用定量数据。但正如你所说，

他们可能会调整数据。让我想起马克·吐温的一句名言，我在这里要改述一下，但大致是这样的，有三种谎言。谎言，我想他们说是该死的谎言，还有统计数据。因此，你总是可以根据你使用统计数据的方式或你如何调整它来框定某件事情的发生。

现在，我认为你接下来的观点是，如果你使用一些定性研究，这就更难争辩，因为你看到的是从执行这些任务或其他事情的人的角度发生的事情。你开始看到这些关系，如果发生这个，那么也会发生那个。因此，你会有更多的成熟度。但同样，视而不见或回避这些指标，

那么你也在故意避免，知道客观的视角。因为同样，你也可以调整定性数据。这也取决于你将镜头对准哪里，或者谁被邀请参加会议，对吧？专业提示。

是的，并不是要倡导操纵数据，但那里也可能存在一些偏见。因此，如果你将两者结合起来，就不是最成熟的，对吧？

偏见无处不在。选择用户池时存在偏见。编写问题时存在偏见。工具、设置中总是存在偏见。无处不在的偏见。这就是为什么你需要结合事物。偏见无处不在，但你需要了解偏见。否则，你无法进行研究。关于定量和定性以及操纵的观点，

好吧，我一直在帮助组织引入UX研究，我做了很多测量工作。然而，我的大部分经验实际上是在定性工作中。我能做统计、写一些代码和分析数据实际上是次要的，因为如果你在定性研究方面做得不好，在我不那么谦虚的观点中，你就无法在定量方面做得好。

UX研究。没有办法。你发现哪些技能最有帮助？你知道，当涉及到处理定性研究时，什么技能可能是让你成为优秀定量研究员的最有帮助的技能？什么技能？好吧，我们有测量和基准的东西，然后你有调查。对于调查，知道如何提问非常重要。否则，你会得到错误的数据。

在统计或数据分析方面，试图找出叙事，试图解释，就像你会做的那样。因此，假设你进行主题分析并总结定性数据。你试图讲述一个故事。数据也是如此。

从分析成千上万或数万个数据点中提取信号时也是如此。你仍然必须讲述一个故事。讲故事是这里最重要的部分。然后将其映射到人们实际上可以消费的内容，从而做出决策。两者的共同点是聚类的能力。

无论是结构化文本数据还是数字，聚类和分类的能力在我看来是共同的。我认为如果我不能很好地进行定性研究，我就永远不会在定量方面做得好。我认为我无法做到，因为我无法讲述故事。

我认为这是一个关键点。是的，仍然会有这种分类的元素，对吧？你有许多不同种类的指标，对吧？当然，你不能仅仅...

我想你可以。你可以随便扔出你拥有的任何指标，然后看看有什么变化。但那样会有点压倒性。就像我在桌子上看着50个不同的便签，想着，好吧，这些便签中的一个有答案。哪个是？对吧？你可以那样把它们都留在那里。但如果你可以开始采取更系统的方法，考虑哪些指标可能最能与您想要的结果相结合。

或者可能更有效地回答这些问题。回答研究问题的能力，我觉得，或许这就是你在这里提到的聚类的想法，对吧？我们开始寻找这些问题的具体答案，并找到合适的工具来测量

几乎就像为正确的工作选择合适的工具，对吧？不仅如此，我最喜欢的工具在大多数情况下实际上是测量有用性，因为这是基础。正如雅各布所说，有用性等于效用和可用性。然而，你在哪里应用这个？任何工具，例如。

如果你突然出现，假设有人，假设它在野外，你知道角色，你知道你的选择偏见等等，然后你在网上弹出一个问卷，询问易用性和效用，你会得到正确的答案吗？

我们会得到一些答案。你能解释它们吗？我不太确定。然而，如果你进行了任务分析，了解用户的旅程以及该特定角色的目标，那么你可以在正确的时间打断用户，以获得正确的答案。如果你不擅长定性研究，如果你不擅长观察人们，进行任务分析，

找出目标和需求。你无法做到。测量是一回事，但何时测量、在哪里测量、如何测量以及与谁一起测量，这些事情需要你比其他任何事情都更了解定性方面。是的，这是一个很好的观点。我认为这就是让你对

整体发生的事情有更高层次理解的原因，对吧？我是说，我们当然，我认为这绝对是有益的。我认为你提到雅各布·尼尔森博士，他的有用性方程式，右边的有用性等于可用性加效用。效用意味着：它是否有目的？但另一个概念是专业化，这有点，他在不同的演讲中提到过。我会包括链接到...

他提到这一点的主题演讲或演讲。但他谈到了通才与专家的概念，以及如果你把一个专家放在奥林匹克运动会上，例如，如果你考虑那些，我想说的是十项全能或其他一些活动，你必须在很多事情上表现出色。然后在其中的单项比赛中，

如果你专注于其中一项，你可能会赢得金牌，而通才则对所有事情都有一点了解。但同时，这种专业化会有权衡。专家可能在其他技能上表现得很糟糕，这并不是坏事。这只是他们专注于的地方和他们的注意力所在。因此，视团队而定，也许你有很多专家，擅长定量研究和定性研究的人。

他们每个人在自己擅长的领域都很出色。最终，你确实需要以某种方式结合这些知识。我认为这就是通才能够真正发光的地方，他们可能没有所有的答案或所有的工具。他们甚至可能会转向那些专家，问他们，告诉我，我是用锤子吗？我用...

我用扳手吗？我用六角钥匙吗？然后他们可以告诉你，这是最好的工具，原因是什么。实际上，正是这些专家和通才之间的结合，导致了团队组成方面更好的结果，对吧？这就是为什么有时由那些影响者所滋生的内斗

我认为对这个职业的未来非常不利。我的意思是，再次，你不应该阻止人们发展他们的技能和能力，以便能够同时进行定性和定量研究。你不可能在所有方面都是专家，但如果你在两者上都足够好，你可能会生存得更久，走得更远。在大多数情况下，我认为这会带来更多的韧性。</raw_text>

我认为当人们不理解时，正如我之前所说，他们会感到恐惧，然后进行攻击。这表明他们没有理解。我们必须通过教育来帮助，并做更多的事情来解释为什么闭环是好事，等等。是的。实际上，关于你之前提到的影响者可能反对定量与定性之间的观点，

你知道，把它们视为相辅相成的。我认为部分反对意见也与此有关，正如你提到的，当你仅依赖定量数据时，你就错过了拼图中的一个重要部分。因此，在某种程度上，我认为这些观点有时会被脱离上下文，对吧？上下文是，如果你没有进行定性研究，很可能是因为你处于一个用户体验不成熟的环境中。

但这可能是有害的。这几乎就像接受教练建议一样，对吧？我可以从任何人那里获得教练建议，但如果我得到的建议来自于一个处于非常不同生活阶段的人，而不是我的团队或我个人，那么我可能会应用错误的处方，对吧？错误的解药来解决问题。没错，是的，是的。

所以是的，当考虑到更成熟的组织时，也许对定量数据的渴望实际上是件好事，因为这将帮助你在用户体验成熟度上更进一步。所以我认为这确实有某种真理的核心，但可能是针对特定受众的。而这通常是被脱离上下文的，对吧？你可以同时引入定性和定量。

因此，加速团队或组织的成熟。如果你把基础做对了，你可以通过只做基础来走得更远。所以如果你的成熟度低并且你试图改善，并不是说你不能同时拥有两者。认识到你有低成熟度，并且如果你理解这一点，你实际上可以在两个属性上同时改善，当然前提是你理解这一点。是的。

这就是上下文。我们理解我们在这里。我们需要去那里。我们能做什么？啊，实际上，我们可以同时做两者。对。我认为这是一个非常重要的观点，你不必选择。你不必在这两者之间做出选择。它们可以是你拥有的能力或技能。

提高，就像你可能提高，嗯，我不知道，口语能力。如果我选择提高口语能力，那并不意味着我突然放弃了视觉设计能力，对吧？这只是不同的能力。这是分配你的时间和精力的不同方式。实际上，它是复合的。它是指数级增长的。

它是如何复合的，或者说它们是如何相互增强的，所以如果你了解并实践定性和定量研究，收益是指数级的，而不是线性的。你不仅仅是做得更多就得到更多，你做得更多，你会得到更多更多的，因为例如你闭环，如果你有一个反馈机制。

那么你可以放大某些东西。这是系统，抱歉，控制理论。你需要反馈机制来放大你所做的事情。所以你放大。假设你进行了定性研究，因此你发现你以这种方式设计了系统，你设计了它，你进行了基准测试，

或者你只是把它放在那里，你测量了它，然后你发现，哦，你错过了什么，因此你进行了更多的定性研究，然后你不断改进。

不仅如此，这对团队内部也是如此。现在更多的放大。嘿，老板，我们做得很好。我们的用户告诉我们这些，等等。哦，太好了，继续这样做。你们得到了我的信任，假设，或者你们总是得到了我的信任，但无论如何，继续沿着这条路走。

哦，我们再做这个额外的事情怎么样？哦，我们需要更多的预算。我们如何获得更多的预算？哦，我们做得很好，我们可以证明这一点。哦，我们可以证明。让我去申请更多的预算。更多的预算？哦，让我们做更多的好工作。你帮助了组织中的每个人。你帮助了产品。你帮助了用户。每个人的生活都变得更好。这就是放大。是的。

明白了。所以基本上这是一个反馈机制，不仅仅是针对直接团队的，它还作为一个放大措施，帮助团队获得更多资源，帮助其他团队，扩展正在进行的工作的影响力。是的。还有一点我想到的，我认为这也说明了你选择工具的重要性，对吧？正如我认为你提到的，如何知道何时测量，测量什么？显然，我们有很多课程来讲这个，我们当然不会在这里进行学术讲座，但我确实认为值得一提，你知道，我昨天刚和一个客户进行了一门关于测量工作影响的课程。

你知道，或者提出某些事情？你如何进行基准测试？我想到的是

你有结果指标、感知指标和描述性指标。这些都是非常有帮助的思考，因为如果你只测量一件事，那么从技术上讲，你只是在改变一件事，对吧？所以假设我们在改善结果。或者实际上，我经常喜欢依赖的一个例子是关于描述性指标的。所以一些描述性的，比如

某人完成一项任务需要多长时间，对吧？这是我们可以观察到的。我们可以实际设置一个计时器来查看它。然后如果我们测量那个时间，我们说，好吧，我们想激励我们减少任务时间的能力。所以这甚至可以是某人拨打电话给呼叫中心的电话，对吧？我们想减少通话时间。因此，我们可能会说，好吧，呼叫中心的员工，我们将给你们一个奖金。我们将激励这个

你知道，看看你能否减少通话时间。现在预期的结果可能是人们更快地解决他们的电话，但因为这是我们激励的时间，它实际上可能不会

提高解决率，对吧？它实际上可能会让它变得更糟，因为现在人们会说：“我现在要转接你。请稍等。”短通话时间，但没有好的解决方案。我认为我们在这里展开了不同的讨论，但例如，这是一个愚蠢的例子，但为了传达这个观点。人们在网页上停留多长时间？我知道这很愚蠢，是吗？

哦，我们有巨大的参与度。人们在我们的页面上停留了很长时间。好吧，是的，但这好还是坏？是因为他们找到了他们所寻找的东西，还是没有找到？你知道，仅仅改善一个指标通常需要有一个平衡，以确定你是否朝着正确的方向前进。

好的，那是系统层面的思考和改进，但这是你在这条道路上前进时需要做的主要事情之一。这就是为什么我总是从有用性开始。

因为它是如此基础。如果你改善可用性和效用，你将改善整个事情。这是第一个要引入的。对。我认为这些问题再次不是容易回答的，但它们是重要的。它们是基本的问题。因此，在某种程度上，当你考虑可用性和效用时，有两个部分。一个是感知，对吧？它有多有用？

这是人们想要使用的东西吗？好吧，这是一回事。我想交税吗？对吧？不，但我必须交，对吧？但然后，你知道，所以你必须进行平衡。会有某些目标、某些感知、某些事情，你可能想改善感知，但改善一些描述性或基于结果的指标可能更实际或更有益，对吧？因此，你可以将这些视为杠杆，对吧？作为确保你朝着在你的上下文中意味着什么的良好方向努力的方式，对吧？是的。如果你试图优化，过度优化一件事，假设你有一辆车。假设你有一辆车，是吗？你建造了车中最好的发动机，最快的发动机。

它变得如此强大，以至于你无法转向。因此，你会撞车。如果你优化的不是最快的发动机，而是设计整辆车，使其能够转弯，那么这不是更好吗？这样你就可以快速转弯，或者它实际上可以刹车。这很重要。过度优化系统链中的某一部分，会导致系统崩溃。我很欣赏这个隐喻，因为...

这个隐喻，我觉得在设计某些东西时真的很有共鸣，对吧？无论我们是设计师还是研究人员，我都宽松地使用“我们设计”这个术语。但作为一个团队，我们在创造东西。我们可能有不同的KPI或关键绩效指标，就像你所说的。根据我们如何讨论这些以及谁设定它们，也许我们并不负责设定它们，但也许...

我们可以帮助确保我们朝着预期的正确方向前进，对吧？那么这是一个非常重要的对话。因此，如果我们未能达到某些目标，我们就有理由。这不仅仅是，“哦，我不知道，我们没有测量”或“那不是我们尝试做的事情”，而是，“嘿，我们在这些限制和我们想要实现的结果下尽力而为。”所以我认为进行这些

坦诚的对话，即使它们很困难，确实可以帮助阐明我们正在做的工作，并使其不再神秘化，这样就不是，“哦，设计只是做设计的事情。”而是，我们正在与其他商业决策者一起做出这些决定。因此，这是一种艰难的平衡。对。因为最终，设计决策就是商业决策。这就是它的本质。

这往往可能有点，你知道，有时当你提出可能挑战我们经营业务的方式或我们工作的方式的建议时，你可能会发生冲突。

所以我认为你是对的。闭环是重要的。可能会挑战。可能，可能。我只是， 我在这里持乐观态度。绝对如此。我认为这是一个很好的地方，可以总结一下，并给人们一些思考的食物，关于他们接下来要做什么来转变他们的组织。因此，信任，我同意。信任在我们所做的任何其他工作中绝对是至关重要的，同时也给人们一个机会参与这种信任。我认为在我们所做的研究工作中，常常会有一些...

孤立感，因为要么是“啊，没有人感兴趣”，要么是“我只是为了成为团队的好公民而这样做。”但有时，仅仅这样做最终会让人们被排除在外，并没有给人们机会，正如我的同事Tanner Kohler常常所说，让他们在上面留下指纹。当人们在某件事情上留下指纹时，他们会感到更有投资感，更投入，更对最终发生的事情感兴趣。因此

所以，你知道，虽然我们当然可以抵消工作，但我认为有一种方法可以通过给人们机会去查看并发表意见来建立关系。并且要过度沟通。我无法强调这一点。你必须耐心。你必须透明，并过度沟通发生的研究。你需要进行实验，沟通实验的结果，并且要非常非常非常耐心，因为你将挑战人们。