作者 | TWInsights 

體驗度量的趨勢洞見

在過往與企業(yè)進行體驗優(yōu)化項目合作時，我們發(fā)現(xiàn)企業(yè)就如何驗收并解讀結果常常存在諸多困擾。此外，多數(shù)企業(yè)也錯誤認為體驗度量只能作為后驗數(shù)據(jù)存在，具備滯后性。然而，正如有長遠目標牽引和完善業(yè)務度量的企業(yè)更具生命力，品牌和企業(yè)的體驗如能兼具明確的策略和體系化的度量框架，自然也更易在“體驗制勝”的大環(huán)境下構筑壁壘。

作為一個相對新興的概念，大多企業(yè)對體驗度量的認知僅停留于NPS（凈推薦值）分析的階段。誠然NPS能夠較好反映用戶對產品體驗的整體感受，但其卻不能作為一個良好的問題定位工具。此外，NPS在數(shù)據(jù)回收中往往存在幸存者偏差，導致我們難以獲取到不愿提供反饋的用戶群體對產品的體驗感受。因此，為了能夠更客觀、全面、持續(xù)和精準的了解和洞見用戶體驗（建議回顧上期??數(shù)據(jù)驅動體驗度量的挑戰(zhàn)與思考??），在收集大量企業(yè)和品牌的痛點訴求后，基于多個項目實踐經驗，我們打造出了一套以數(shù)據(jù)驅動的體驗度量解決方案，旨在解決企業(yè)以下體驗問題：

• 如何以業(yè)務目標為驅動定義和搭建完整的體驗度量體系
• 如何在缺乏統(tǒng)一標準的語境下明確體驗指標的好壞與否
• 如何通過度量結果了解和洞察指標背后的根因并提煉改進方案
• 如何對改進方案進行快速驗證與分析

圖1：四步打造數(shù)據(jù)驅動體驗度量

數(shù)據(jù)驅動體驗度量之度量體系搭建

在搭建體驗指標體系前，我們的首要任務是明確品牌和企業(yè)獨特的體驗策略：一個與企業(yè)長期愿景、品牌形象、企業(yè)文化相吻合的體驗策略。在此基礎下，拆解并定義最符合品牌當下階段的體驗指標。不同于我們常見的財務指標和運營指標，體驗度量體系是動態(tài)的，它需要伴隨品牌和企業(yè)商業(yè)目標的迭代、受眾喜好的變遷、科技發(fā)展等因素進行不斷的調整。

數(shù)據(jù)驅動體驗度量之體系搭建三部曲

常見的體驗指標體系搭建，不是自上而下即是自下而上。然而體驗本身既關乎用戶整體感知，又在意細節(jié)感受。因此在實踐中，我們通常采用結合模式：先自上而下，以北極星指標出發(fā)輕量級拆解體驗維度；后自下而上的關注細節(jié)感受，向上總結和調整體驗維度。

圖2：指標拆解方式-自上而下與自下而上的結合

第一部曲 - 基于業(yè)務目標定義體驗北極星指標

體驗為因，而業(yè)務為果。作為業(yè)務目標外化到用戶可感知層的體現(xiàn)，體驗北極星指標（即反映體驗目標的唯一關鍵指標）的定義通常需要借助業(yè)務指標進行明確。常見的定義方式是通過業(yè)務目標分化出最具代表性的體驗指標，例如常見的NPS(凈推薦值）、CSI（用戶滿意度指數(shù)）。甚至我們可以直接將業(yè)務目標與體驗指標畫上等號，通過忠誠度、復購率等進行整體監(jiān)控。

第二部曲 - 體驗維度的拆解

北極星指標作為體驗整體結果反映的第一要素，更強調與業(yè)務目標的相關性。為了獲取用戶更全面的感受，則需要對體驗進行多維度的拆建和細化。我們基于多年經驗總結了以下兩種維度拆解方式：

• 已有模型的優(yōu)化：在資源、時間有限且體驗要求趨同的情況下，我們可以基于已有模型進行變形和拆解。業(yè)內有不少頭部公司基于自身業(yè)務推出了普適性較強的體驗維度模型：例如UES模型，是阿里云產品設計中心推出的B段技術類體驗模型；Google推出的HEART模型，則面向C端產品的初期階段。因此我們可以從北極星指標入手，尋找較為適合當前業(yè)務現(xiàn)狀的度量模型，并對其進行拆解重構。通過去掉對體驗目標影響權重較小的指標，加入對體驗目標影響權重較大的指標，確保指標的全面性、完整性、客觀性，從而構建適合自己產品的體驗度量指標體系。
• 構建自有模型：在產品具備更明確和獨特體驗策略的情況下，僅基于市面已有模型進行優(yōu)化往往不能凸顯產品希望突出的體驗特質。我們需要更深入的分析，提煉該產品獨有的體驗維度模型?？梢酝ㄟ^體系化的用戶原聲調研、專家走訪以及團隊設計和體驗目標回顧，總結體驗的核心維度；抑或是基于產品屬性和用戶需求類型從更學術的視角進行拆解。

第三步 - 指標的具體落地與拆解

指標拆解是數(shù)據(jù)驅動體驗度量有別于傳統(tǒng)主觀用戶評分和可用性測試的核心差異點。相較通過用戶或專家主觀評分總結各維度得分的度量方式，數(shù)據(jù)驅動體驗度量體系更重視如何通過用戶行為、消費和產品使用等客觀數(shù)據(jù)，推測和判斷用戶的體驗感受。

在落地指標拆解上，我們通常帶著既已明確的體驗維度，實現(xiàn)對功能、場景、旅程和事物項具體指標的層層拆解：從核心場景入手，通過場景分解、旅程拆解與事務項解構保證指標體系的層層細化，以此確保不同業(yè)務層級與指標的關系映射。當上層指標不理想，亦可通過下鉆的方式明確潛在的根因。

圖3：指標層層拆解邏輯

最底層體驗指標的拆解總是從一個旅程的事物項起步，結合維度模型與GSM（Goal目標-Signal信號-Metric指標）明確詳細指標。另一方面，我們也會使用MOT的方式，通過明確體驗的核心關鍵點，定義關鍵指標，抽象額外的體驗維度。

數(shù)據(jù)驅動體驗度量之指標結果評估標準

一個完整的度量體系往往具備四個要素：策略、維度、指標，以及合理的評價標準。當我們獲取指標結果以后，往往需要通過對標了解現(xiàn)實與期待的差距，并明確提升的方向。然而每個企業(yè)就體驗度量體系搭建的方式不同（例如：使用NPS的企業(yè)難以直接與使用HEART模型的企業(yè)進行對比），體驗拆分維度不同( 希望突出安全感體驗的企業(yè)，也許不在乎品牌未來感的凸顯)，往往導致難以建立行業(yè)標準或者直接進行競對比較。

基于現(xiàn)狀，我們將指標結果解讀的方式分為了“與別人比”和“與自己比”兩大類。

圖4：建立評估標準的兩個大方向

• 與別人比 - 參考行業(yè)相對成熟和統(tǒng)一的標準：雖然指標體系的構建不同，希望突出的體驗核心點也大相徑庭。但涉及關乎性能、體驗界約定俗成的交互原則、以及通用運營的相關指標，往往會采用統(tǒng)一而客觀的度量方式，因此具備較強的可比性。常見的指標有：頁面加載時長、信息查找的步長、流失率等。
• 與自己比 - 通過業(yè)務目標樹立評估標準：根據(jù)部門業(yè)務目標制定針對體驗和功能的指標要求。常見于與業(yè)務績效（有助于產生直接經濟收益）直接掛鉤的體驗指標，例如功能使用率、功能使用時長、或者服務推薦接受率等?；跇I(yè)務目標建立的指標好壞標準，往往與產品/功能所處的階段以及企業(yè)整體的業(yè)務目標具備強相關性。例如在功能上線的初期，會更關注于使用率，而成熟期更聚焦使用時長。至于具體的目標數(shù)值，通常由整體業(yè)務目標拆解和測算形成。因此可以與部門制定的目標進行直接對比。
• 與自己比 - 按照指標結果進行描述性統(tǒng)計分析：反映功能/產品體驗關鍵點的指標往往因為品牌希望突出的體驗維度而具備特異性，因此難以進行行業(yè)與競對比較；而又因該類指標直接或間接反映產品/功能用戶體驗（例如：搜索成本、決策成本），作為影響業(yè)務指標的原因（決策成本高導致功能使用率低），我們也不能直接通過業(yè)務目標進行映射。因此我們通過結果數(shù)據(jù)的統(tǒng)計分析，依據(jù)百分位進行指標好壞與否的劃定（例如：Top 30%定義為優(yōu)秀）。

數(shù)據(jù)驅動體驗度量之指標結果根因分析

當我們定義了指標結果的好壞與否以后，接下來就是整個度量體驗搭建意義所在：如何通過指標結果了解造成用戶體驗不理想的根因，并做出體驗甚至產品的優(yōu)化和改善方案。

基于過往豐富的項目經驗，我們總結出了根因分析的三種方式，適用于數(shù)據(jù)指標體驗搭建的不同階段。

圖5：不同階段的指標根因分析方法

階段一：指標體驗搭建的初期 - 指標間的結合解讀

在結合解讀之前，必須充分明確單一指標的涵義和指代；接下來則通過漏斗指標、路徑指標和功能指標的結合分析，通過逐步下鉆的方式了解更宏觀指標表現(xiàn)不好的根因。此外，指標之間的邏輯關系（ 因果關系或者共同作用的關系）也可以進行結合解讀：通常情況下，功能體驗指標會是功能業(yè)務指標不理想的潛在因素。例如功能的易用性會極大程度的影響功能的留存率。在數(shù)據(jù)指標有限的情況下，多渠道的VOC分析也是幫助品牌和企業(yè)更好的理解用戶的情緒傾向，收集具體的描述性反饋的重要方式。

階段二 - 指標體驗搭建的成長期 - 根因排除法

在積累一定產品體驗分析的經驗后，可以嘗試針對產品核心場景或者體驗關注點進行詳細和全面的潛在影響因素分析。通過數(shù)據(jù)埋點對潛在根因進行刻畫，最后通過回收的數(shù)據(jù)反映和篩選出影響體驗結果的核心因素。

在我們總結的解決方案中，根因排除法通常存在通用與具體的兩個觀測維度。在通用維度，可以依據(jù)四象限分析法，快速定位功能潛在的問題方向：用戶需求不成立、功能體驗不好、功能因為設計不周導致用戶難以觸達。通過快速定位，提高根因分析效率。

圖6：根因排除法：通用維度分析方式

而具體觀測，則需要像構建實驗一樣建立假設并驗證假設，涉及更多的領域經驗和分析過程。 通過窮盡體驗不理想可能的潛在假設因素，利用數(shù)據(jù)指標刻畫假設因素，最后通過回收數(shù)據(jù)驗證假設。例如在過往項目中，我們?yōu)榱伺袛嗄车攸c導航偏航率高居不下的原因時，便基于核心因素拆解法將潛在根因歸結于：車主因素、功能因素、路段因素、路況因素、天氣因素等，并通過數(shù)據(jù)指標刻畫這些因素，最終鎖定了體驗異常的根因。

階段三 - 指標體驗搭建的成長期 - 因素相關性分析

隨著產品數(shù)據(jù)指標的豐富，我們可以針對性的搭建數(shù)據(jù)標簽體系，實現(xiàn)更廣義的根因分析。傳統(tǒng)的埋點數(shù)據(jù)項目更多基于事件與實體的屬性進行相關性分析，常見的屬性標簽有用戶標簽或者應用標簽。為了更深入探究指標的根因，我們的方法論期待去還原一個事件或者指標發(fā)生時的具體場景，通過5W+1H的事件還原法清晰的觀測事件全貌以及事件發(fā)生的前因后果，進行根因的相關性分析。甚至可以通過全方位的數(shù)據(jù)分析，剖析用戶群體、產品適用場景、以及產品創(chuàng)新方向的探索。為此我們構建了根因分析的雙轉模型，保證分析的成果的同時，注重分析的效率。

因素分析法的雙鉆模型：通過發(fā)散和收斂進行因素類型的明確 - 可控因素（例如功能、內容）和不可控因素（用戶與環(huán)境），相關因素和潛在因素，最終形成改進的方案與方向：

圖7：因素相關性分析：雙鉆模型

• 第一次發(fā)散收斂 - Pareto Principle：通過純工具手段，以求全的方式通過對變量進行全量分析。一方面可以通過標準化的流程和工具降低對相關領域的知識經驗要求，另一方面避免遺漏具備創(chuàng)新價值但是反常識的關聯(lián)因素。通過純數(shù)理的方式，利用20%的事件獲取80%高潛的相關因素
• 第二次發(fā)散收斂 - 傳統(tǒng)科研分析方式：基于第一階段獲取的核心相關因素作為基本輸入，進行假設建立和迭代實驗。通過實驗性地加入一些經驗判斷認為有價值的可控因素和不可控因素進行回歸分析，了解影響因素對指標結果是否確有影響以及影響大小，從而明確方案改善的優(yōu)先級。

改進方案評估與快速驗證

當我們根據(jù)根因分析結果輸出體驗改進方案后，需要對體驗改進方案進行評估和快速驗證。結合我們的項目經驗，對體驗改進方案的評估主要有競品對比分析、可用性測試、灰度測試、ABTesting。對于產品體驗改進方案的評估需要根據(jù)不同的產品階段，來采用不同的方法。

圖8：原型與上線階段的改進方案評估方式

在產品原型階段，通常采用競品體驗對比分析和可用性測試來評估。

競品體驗對比分析主要是依據(jù)產品體驗五要素，對產品體驗從戰(zhàn)略層到表現(xiàn)層依次對比分析。另外在功能交互等子維度則可以通過用戶視角、業(yè)務視角等多角度打分評估，評估出體驗改進方案對比競品的優(yōu)劣勢，找出需要提高的地方并加以完善。

可用性測試主要是通過實驗法和分析法，快速找到影響產品有效性、使用效率、滿意度的關鍵影響點。其中實驗法主要是通過用戶測試獲得，分析法主要通過行為分析、認知分析等獲得。競品體驗對比分析和可用性測試都可在方案原型階段使用，但競品體驗對比分析更偏重主觀分析，而采用實驗法獲得的可用性測試結論，更偏重于用戶真實反饋。

當體驗改進方案已發(fā)布上線，通常采用灰度測試和ABtest來進行評估。

灰度測試通常是在新產品功能上線時，對部分用戶開放測試，讓部分用戶直接使用，確認沒有問題后再開放給所有用戶，其目的一般在驗證方案的可用性和正確性，確定產品功能是否能全面推廣上線。它對產品的規(guī)模要求不高，在產品已上線單位全部發(fā)布時可以使用。

ABtesting在整個產品的周期都會使用，主要是因為其本質是通過控制變量法，獲取產品變動對產品關鍵數(shù)據(jù)指標的影響。通常在體驗方案上線前，需要將用戶根據(jù)需要進行分組，給不同分組的用戶不同的方案，在上線后根據(jù)不同分組的數(shù)據(jù)對比，獲取各分組方案優(yōu)劣反饋，然后將數(shù)據(jù)最優(yōu)的方案推到全量用戶。其目的是通過真實實驗獲取方案最優(yōu)數(shù)據(jù)，進而來獲取最佳方案?；叶葴y試和ABtest都可用于獲取方案客觀的評估數(shù)據(jù)，但ABtest對用戶屬性和數(shù)量有較高要求，對實驗用戶量有較高要求，適合用戶體量大，個性化需求多的場景，而灰度測試則對用戶屬性和用戶量要求不高，適用性較強。

最后

隨著越來越多的企業(yè)關注產品體驗的持續(xù)優(yōu)化、管理與創(chuàng)新，我們希望這套數(shù)據(jù)驅動的體驗度量體系能夠協(xié)助企業(yè)有章法、有依據(jù)地進行體驗策略的制定，體驗度量體系的搭建，基于結果分析的體驗優(yōu)化與產品創(chuàng)新。在這個以體驗作為核心競爭力的商業(yè)環(huán)境下，通過體驗度量、體驗管理和體驗優(yōu)化的閉環(huán)，打造持續(xù)提升的競爭優(yōu)勢。