33. Tracking UX Progress with Metrics (feat. Dr. John Pagonis, UXMC, Qualitative and Quantitative Researcher)
2023/12/4
NN/g UX Podcast
J
John Pagonis
T
Therese Fessenden
John Pagonis：将UX研究融入企业，旨在改变组织，使其利用UX研究证据改进产品，提升用户体验。UX指标有助于组织决策和改进，提升产品ROI，改进团队和产品，最终改善用户生活。引入UX衡量需要回答一些关键问题：现状如何？工作是否足够好？与其他系统相比如何？如何找到改进方向的证据？许多团队缺乏闭环反馈机制，无法证明其工作价值，导致难以争取预算。UX研究应帮助产品管理做出明智的决策，回答改进方向和预算分配等问题。对指标和衡量的恐惧源于缺乏了解，需要通过教育来克服。需要结合定性和定量研究，从小规模实验开始，展示数据价值，并通过叙事方式解释数据。将定量数据转化为叙事，有助于让利益相关者理解并参与其中。定量数据提供信号和基准，帮助提出更多问题，这些问题通常需要通过定性研究来解答。一些UX意见领袖对UX衡量和定量UX的负面评价，可能对社区产生负面影响。定性和定量研究都不可或缺，结合使用才能更好地理解用户体验。仅使用定量研究的组织，其成熟度通常较低，因为他们可能操纵数据以得出期望的结果。定性研究能力是做好定量UX研究的基础。在定性研究中，提问技巧至关重要，因为这直接影响数据质量。定量数据分析的关键在于讲故事，将数据转化为可理解的叙事。聚类分析是定性和定量研究中都通用的重要技能。定性研究能力是做好定量UX研究的关键，因为只有理解用户行为才能有效地进行测量。衡量有用性是UX研究的基础，因为它包含了可用性和效用两个方面。要有效地进行测量，需要了解用户的任务分析、目标和需求，而这需要定性研究的知识。定性和定量研究人员的合作，以及通才和专才的结合，对团队的成熟度至关重要。培养定性和定量研究能力，有助于提升团队和组织的成熟度。即使在成熟度低的组织中，也可以同时引入定性和定量研究，从而提升成熟度。定性和定量研究的结合，其益处并非线性叠加，而是呈指数级增长。闭环反馈机制不仅能改进团队内部工作，还能提升团队影响力，获得更多资源。从有用性入手，提升可用性和效用，从而改进整体用户体验。过度优化系统某一部分，可能导致系统整体崩溃。建立信任，并通过透明沟通和耐心引导，有助于推动组织变革。要耐心、透明地沟通研究过程和结果，并选择合适的时机进行挑战。
Therese Fessenden：许多团队在进行用户体验衡量时，存在两个常见错误：一是未定期评估现状；二是未进行后续评估以确定改进方向。定性和定量数据相互补充，定性数据解释定量数据的信号，反之亦然。成熟的组织同时使用定性和定量研究，而成熟度低的组织可能只使用定量研究或完全避免研究。仅依赖定量数据容易操纵数据，而定性研究（例如用户使用产品的视频）则更难操纵。衡量指标应涵盖结果指标、感知指标和描述性指标，避免过度关注单一指标。关注单一指标（如页面停留时间）可能无法反映实际情况，需要结合其他指标进行综合分析。需要根据具体情况，选择合适的指标进行优化，避免过度优化单一指标而影响整体效果。与业务决策者进行坦诚沟通，明确目标和约束条件，有助于更好地理解和改进设计工作。设计决策本质上也是业务决策，需要与业务目标保持一致。
Deep Dive
Dr. John Pagonis discusses the importance of measuring UX to make informed design decisions, the role of quantitative data, and how organizations can improve by asking fundamental questions about their UX performance.
Shownotes Transcript