活動效果評估體系,該怎么搭建?
“如果讓你來評估這次活動,你會怎么分析”無論是面試還是工作,做數(shù)據(jù)分寫的同學(xué)都經(jīng)常遇到這個問題。今天我們系統(tǒng)講解一下。
場景還原:
某音樂類APP,對新用戶進(jìn)行一個新注冊即送7天會員權(quán)益的活動,用戶注冊后,自主決定是否點擊領(lǐng)取,為期1個月,問:如何評價該活動。
一、活動評估常見錯誤
首先牢記,所有以評估/評價/判斷作為動詞的問題,答案只有一種:“好or壞”。
比如,如何評價該活動,可以回答:
1、這個活動很好,該繼續(xù)做;
2、這個活動不好,不能做
3、這個活動不好不壞,雞肋
4、這個活動沒有任何改變,做了也白做
這才是評估類分析的核心結(jié)論。離開這四句話,其他的都是廢話。比如:
- 活動期間有4萬新人注冊
- 活動期間注冊人數(shù)比活動前多1萬
- 活動期間新用戶點擊率是80%
- 活動期間新用戶使用權(quán)益率30%
這些統(tǒng)統(tǒng)不是結(jié)論,只是分析過程而已。如果沒有結(jié)論,直接甩這些過程指標(biāo),很容易遭遇業(yè)務(wù)方反問:“所以呢?所以呢?你分析了啥?結(jié)論呢!”最后被搞得灰頭土臉。
二、活動評估關(guān)鍵問題
活動評估,首先要得出好/壞評價。如果評價是好,再看能不能繼續(xù)做,還能做多少次;如果是評價是差,再看差在哪里,是差得不可救藥,還是能拯救一下繼續(xù)用。
數(shù)據(jù)+標(biāo)注=判斷。因此想得出好/壞判斷,需要有2樣?xùn)|西:
- 明確的考核指標(biāo)。
- 明確目標(biāo)數(shù)值。
達(dá)標(biāo)了,算好;不達(dá)標(biāo),不好。就這么簡單(如下圖)。
圖片
看似簡單,實際上運(yùn)營經(jīng)常干的是:
1、稀里糊涂:老板讓做我就做,至于為啥?咱也不知道,咱也不敢問。
2、呆頭呆腦:我就是要做拉新人,拉就完了奧力給!
3、投機(jī)取巧:反正以前干過/別人也在干,干就完了。
4、渾水摸魚:這是改變用戶心智資源,數(shù)據(jù)豈能衡量!
總之,十個運(yùn)營里最多只有倆,能準(zhǔn)確說清楚現(xiàn)狀和目標(biāo)。這時候就需要數(shù)據(jù)分析師自己有獨立判斷能力。能分析業(yè)務(wù)邏輯、梳理業(yè)務(wù)過程,才能得出客觀結(jié)論。這里我們拿完全稀里糊涂的場景舉例,看如何幫運(yùn)營理清目的。
三、從0建立評估模型的做法
第一步梳理活動流程
運(yùn)營活動會改變用戶的行為,進(jìn)而體現(xiàn)為數(shù)據(jù)指標(biāo)的變化。從0開始建立評估模型,第一步就是了解活動具體流程,了解活動可能導(dǎo)致的用戶行為變化。比如問題里的新用戶送權(quán)益,可以按如下梳理(如下圖):
圖片
了解到行為變化以后,可以進(jìn)一步看這些行為能用什么數(shù)據(jù)記錄,能反應(yīng)為什么指標(biāo)的變化。經(jīng)過梳理,我們就能看清楚:衡量活動結(jié)果的指標(biāo)了。這些工作,應(yīng)該是運(yùn)營在策劃階段的干的事,如果事前沒做好,事后就要補(bǔ)課。
圖片
第二步篩選主指標(biāo)。
一個活動可能影響方方面面,比如上邊的問題,有送東西,你說:
1、能增加新用戶注冊——沒毛??;
2、能增加會員購買機(jī)會——似乎有機(jī)會
3、能提升忠誠度減少流失——似乎也有道理
4、能增加DAU!——額,理論上新注冊多了,DAU也增加。
如果不看數(shù)據(jù),光聽嘴巴講,以上當(dāng)然都有道理。但真要一鍋燉,讓你計算沒有流失的用戶,送會員占比百分之幾,產(chǎn)品本身占比百分之幾,歌曲數(shù)量占比百分之幾,能算清楚就見鬼了。所以,評估指標(biāo)要分主次,才容易說清楚問題。
如果是事前定目標(biāo),那么活動的主指標(biāo)應(yīng)該與目標(biāo)緊密結(jié)合,優(yōu)選直接受影響的指標(biāo)。比如活動是為了拉新,那主指標(biāo)就是新注冊用戶數(shù);如果活動是為了提高新用戶留存率,那主要考慮的就是1-7日內(nèi)留存情況。
圖片
這里看似簡單,實則很容易被運(yùn)營渾水摸魚。運(yùn)營經(jīng)常喜歡扯一堆影響指標(biāo),甚至扯什么“我的活動從深層次改變了用戶心智認(rèn)知,從而達(dá)到了數(shù)據(jù)不可衡量的深遠(yuǎn)影響”,總之搞一堆指標(biāo)進(jìn)來,哪個好看說哪個,不好看的不說。
做數(shù)據(jù)評估,最忌諱搞幾百個指標(biāo)然后做巨復(fù)雜的評估公式,混淆進(jìn)來的的東西越多,就有越多搞文字游戲的空間,就越容易粉飾太平。越簡單清晰的評估,才越容易看出問題。
第三步設(shè)定判斷標(biāo)準(zhǔn)。
有了清晰的主指標(biāo),可以找判斷標(biāo)準(zhǔn)。找標(biāo)準(zhǔn)有四個基本思路:
1、從整體結(jié)果出發(fā),看總量。比如本月需要10萬新用戶,所以必須做到10萬。
2、同無活動對比,看增量。比如無活動一個月5萬,活動必須5+5萬,多的5萬作為標(biāo)準(zhǔn)。
3、同過往活動對比,看效率。比如拉新活動一般100塊一個新人,所以這次不能超過。
4、同無參與的用戶對比,看差異。比如分無參與組/參與組,對比參與組新注冊數(shù)/留存率。
站在公司角度,肯定是第一種方法最實在。但站在組織活動的角度,都喜歡突出自己的貢獻(xiàn),因此傾向于用2、3、4種方法。運(yùn)營最喜歡談:自然增長率(沒有活動情況下,自然增長是多少)。并且總是傾向于把自然增長率算得低低的,或者干脆弄成負(fù)數(shù),這樣才顯得活動牛逼無比。
要注意的是:所謂自然增長率,只在活動不頻繁的時候才能計算。很多業(yè)務(wù)(比如電商、O2O),根本就是活動不斷,大活動套小活動,根本區(qū)分不出來,這時候就不適用。
同理,設(shè)參照組的前提,是參照組根本沒有活動提醒和活動參與功能,且參照組和活動組用戶質(zhì)量差不多。如果不滿足這個限制條件就很難直接得出活動效益好的結(jié)論。這些方法都是看似科學(xué),實則充滿玩貓膩空間。想討論清楚問題,就簡單直接立標(biāo)準(zhǔn)。
圖片
第四步找影響結(jié)果的過程。
以上1、2、3步都是為了得出判斷做鋪墊。有了“好/壞”判斷。就能進(jìn)一步分析為啥好,為啥壞。這時候就需要細(xì)化梳理業(yè)務(wù)流程,找到能影響結(jié)果的關(guān)鍵點。比如拉新活動,廣告投放渠道、廣告文案、注冊流程、進(jìn)去以后提示權(quán)益方式、領(lǐng)取會員權(quán)益流程,都會有影響(如下圖)。
圖片
在分析這些指標(biāo)的時候,要注意先后順序。比如有關(guān)新用戶注冊問題。要先看各個用戶來源渠道的投放力度,活動是否及時上架,何時與投放結(jié)合。之后才是深入分析文案、活動禮品、領(lǐng)取后行為等等。