本文轉(zhuǎn)載自微信公眾號(hào)「巡山貓說數(shù)據(jù)」，作者巡山貓。轉(zhuǎn)載本文請(qǐng)聯(lián)系巡山貓說數(shù)據(jù)公眾號(hào)。

你好，這里是巡山貓編輯部，我是巡山貓。

我們經(jīng)常遇到產(chǎn)品需要加一個(gè)新功能，當(dāng)功能上線后，產(chǎn)品經(jīng)理總會(huì)找我們建立指標(biāo)體系，分析相關(guān)產(chǎn)品效果。

那么問題來(lái)了：我們應(yīng)從哪幾個(gè)角度去入手，才能更好地評(píng)估一個(gè)功能的具體效果呢?

整體來(lái)說，需要從三個(gè)層次來(lái)度量產(chǎn)品效果：

• 從大盤出發(fā)，度量該功能對(duì)整體產(chǎn)品的一個(gè)貢獻(xiàn)
• 從產(chǎn)品本身出發(fā)，分析產(chǎn)品本身的效果
• 從技術(shù)層面出發(fā)，為了保證技術(shù)層面的服務(wù)不受影響，建立護(hù)欄指標(biāo)

大盤貢獻(xiàn)

首先要明確，我們做一個(gè)產(chǎn)品，或者說頁(yè)面/功能時(shí)，我們一定有一個(gè)明確的業(yè)務(wù)目標(biāo)，是提升用戶在產(chǎn)品上的什么效果。

比如我們?cè)诰〇|中增加了秒殺板塊，是為了讓用戶感受到某些產(chǎn)品更便宜，從而提升用戶的購(gòu)買次數(shù)，從而提升整體的 GMV。

所有的這些功能，我們都需要有一些明確的指標(biāo)來(lái)衡量，產(chǎn)品對(duì)大盤的貢獻(xiàn)。最基礎(chǔ)的就是這個(gè)功能的 UV 在大盤中的占比。

但是這只是縱向的貢獻(xiàn)，我們還要從橫向上來(lái)度量對(duì)大盤的貢獻(xiàn)，也就是我們要基于這個(gè)功能的核心目的(如搜索次數(shù)、被查看次數(shù)、GMV等)，建立與大盤上該指標(biāo)的聯(lián)系，才能更好地衡量該功能對(duì)大盤的貢獻(xiàn)。

切忌不要張口就說，提升用戶滿意度。

首先，什么是滿意度，我們沒有一個(gè)明確的指標(biāo)來(lái)度量，因?yàn)橛脩魸M意度是使用次數(shù)增加還是停留時(shí)間增加?或者是后期的留存率提升?無(wú)法定義就無(wú)法度量。

其次，我們沒有定義出什么是滿意度，沒有具體的指標(biāo)映射到產(chǎn)品上，我們?nèi)绾稳プ霎a(chǎn)品迭代?

所以，我們?cè)诖蟊P貢獻(xiàn)這一層，要基于功能的目標(biāo)，非常清晰地構(gòu)建與大盤的聯(lián)系，這個(gè)聯(lián)系一定是某些可度量的指標(biāo)上的聯(lián)系。

比如：

UV上的指標(biāo)，與大盤的聯(lián)系可以是 UV 滲透率

PV 上的指標(biāo)的聯(lián)系可以是 PV 占比

停留時(shí)長(zhǎng)上的聯(lián)系可以是該功能的停留時(shí)長(zhǎng)在整體 App 停留時(shí)長(zhǎng)上的占比

功能效果

整理完對(duì)大盤的貢獻(xiàn)，我們還需要評(píng)估項(xiàng)目本身。

那一般來(lái)說，一個(gè)功能的效果該從哪些角度來(lái)評(píng)估呢?我們來(lái)看下面這個(gè)圖

從圖中我們可以看到，當(dāng)一個(gè)功能被增加，那一定會(huì)在用戶的使用鏈路上體現(xiàn)出來(lái)。 那相應(yīng)地，縱向的指標(biāo)就很好確定了：當(dāng)前功能的 UV、PV，對(duì)比上一層的漏斗(滲透率)以及留存率相關(guān)的指標(biāo)。 橫向指標(biāo)又需要哪些呢?從圖中我們可以看到，一個(gè)功能從開始使用到使用完成，經(jīng)過的過程是進(jìn)入該功能→在功能中停留、點(diǎn)擊、消費(fèi)、跳轉(zhuǎn)→最后又退出該功能。 那相應(yīng)的功能指標(biāo)也需要將這一些動(dòng)作包含進(jìn)去。比如常見頁(yè)面的 CTR、頁(yè)面停留時(shí)長(zhǎng)、頁(yè)面跳出率等。 這里的目的是度量出用戶在整體功能中的操作的步驟，查看用戶的消費(fèi)情況。

整體說下來(lái)，關(guān)于功能本身的效果評(píng)估，我們可以：縱向上度量功能本身的流量的大小和留存的情況;橫向上去根據(jù)整體功能的操作路徑，建立功能上的消費(fèi)指標(biāo)。 橫向和縱向結(jié)合，就能比較清楚地了解當(dāng)前功能的效果。

護(hù)欄指標(biāo)

可能看到 “護(hù)欄指標(biāo)” 這幾個(gè)字會(huì)比較懵，會(huì)疑惑什么是護(hù)欄指標(biāo)。

這個(gè)通俗來(lái)說，是一種對(duì)效果評(píng)估補(bǔ)充的服務(wù)層指標(biāo)。

舉個(gè)例子，我們上線了某功能，但是該功能占用的服務(wù)器內(nèi)存特別大，雖然功能效果很好，但是經(jīng)常會(huì)導(dǎo)致 App 白屏或者崩潰。

這時(shí)候，我們就需要從服務(wù)器層面，去監(jiān)控比如“XX失敗率”這樣的指標(biāo)。而這些指標(biāo)就是護(hù)欄指標(biāo)。

護(hù)欄指標(biāo)的意義在于，我們不僅能從大盤貢獻(xiàn)和功能效果層面去評(píng)估某個(gè)功能的價(jià)值，還可以從服務(wù)層面保證用戶的體驗(yàn)沒有下降(比如打開某頁(yè)面等待時(shí)長(zhǎng)沒有從 1s 上漲至 5s)。

因?yàn)橥芏鄷r(shí)候，功能有沒有效果還不是那么重要，如果我們從最直接的交互上損害了用戶的體驗(yàn)而導(dǎo)致用戶流失，反而是最得不償失的。

但是也不需要緊張，并不是所有頁(yè)面和功能都需要護(hù)欄指標(biāo)。

比如常見視頻的播放、頁(yè)面的加載、活動(dòng)的下發(fā)，這幾種往往需要監(jiān)控一些失敗率及大盤上的加載效率。而一些小功能的添加，我們就監(jiān)控一下最基礎(chǔ)的頁(yè)面白屏率就可以了。

總結(jié)

綜合以上的三個(gè)層次，我們可以總結(jié)出來(lái)，當(dāng)一個(gè)新功能需要評(píng)估時(shí)，我們可以按照以下步驟來(lái)進(jìn)行評(píng)估。

1、確定功能目標(biāo)

確定所需要度量的功能的目標(biāo)是什么，是做一個(gè)活動(dòng)頁(yè)面短期刺激用戶量，還是做一個(gè)功能長(zhǎng)期提升用戶留存率。這個(gè)其實(shí)就是最基礎(chǔ)的兩個(gè)目的，我們也可以從這兩個(gè)目的出發(fā)，開始我們的第二個(gè)步驟。

2、梳理整體指標(biāo)

上文我們說到，評(píng)估功能需要有三個(gè)層次去考慮。

第一：從大盤的角度出發(fā)，根據(jù)當(dāng)前功能的核心目的，建立當(dāng)前功能與大盤的聯(lián)系，拆解出對(duì)大盤指標(biāo)的貢獻(xiàn);

第二：從功能本身出發(fā)，縱向查看功能流量，橫向度量功能消費(fèi)情況;

第三：從服務(wù)層面出發(fā)，保證用戶在一系列的交互使用上體感良好。

這也就是第二步梳理整體指標(biāo)。

3、對(duì)比功能效果

最后，我們建立了度量的指標(biāo)，整體有了量化的標(biāo)準(zhǔn)。還需要一件事：對(duì)比。

沒有對(duì)比就沒有結(jié)論，我們可以用當(dāng)前使用該功能的用戶對(duì)比未使用該功能的用戶，或者用當(dāng)前功能的數(shù)據(jù)對(duì)比類似功能的數(shù)據(jù)效果。當(dāng)然我們?nèi)绻苣玫礁?jìng)品數(shù)據(jù)，對(duì)比競(jìng)品數(shù)據(jù)更好了。