什么是頂級(jí)的數(shù)據(jù)分析方法?
經(jīng)常有同學(xué)疑惑:
“什么是頂級(jí)的數(shù)據(jù)分析方法”
“面試的時(shí)候,被人問(wèn):用過(guò)什么方法,怎么回答好?”
“為什么我講的分析方法,會(huì)被人嫌棄簡(jiǎn)單?”
今天系統(tǒng)盤(pán)點(diǎn)下數(shù)據(jù)分析方法,大家也好對(duì)號(hào)入座,看看自己講的水平如何。
首先,并不是名字帶“分析”倆字的,就是數(shù)據(jù)分析方法。有很多XX分析,是統(tǒng)計(jì)學(xué)、運(yùn)籌學(xué)、數(shù)學(xué)的專業(yè)工具,并不直接指向業(yè)務(wù)問(wèn)題的答案。當(dāng)人們?cè)趩?wèn):“有什么分析方法”的時(shí)候,更多期望聽(tīng)到一個(gè)能給出結(jié)論的方法。
所以想回答好這個(gè)問(wèn)題,要回到:數(shù)據(jù)分析到底解決哪些業(yè)務(wù)問(wèn)題上去。
從業(yè)務(wù)用途上看,數(shù)據(jù)分析可以解決5大類問(wèn)題
1、是多少(數(shù)據(jù)描述狀況)
2、是什么(樹(shù)立數(shù)據(jù)標(biāo)準(zhǔn))
3、為什么(探索問(wèn)題原因)
4、會(huì)怎樣(預(yù)測(cè)業(yè)務(wù)走勢(shì))
5、又如何(綜合判斷狀況)
圍繞每個(gè)問(wèn)題場(chǎng)景,有特定的方法組合(如下圖)
圖片
一、解決“是多少”的方法
用數(shù)據(jù)描述狀況,需要建立完善的數(shù)據(jù)指標(biāo)體系。建立數(shù)據(jù)指標(biāo)體系,則需要梳理清楚數(shù)據(jù)指標(biāo)之間的邏輯。數(shù)據(jù)指標(biāo)間有兩種基本的邏輯:串行邏輯和并行邏輯,因此衍生出兩種基本的分析方法:漏斗分析法&指標(biāo)拆解法。
圖片
拆解的業(yè)務(wù)多了,人們發(fā)現(xiàn),某些數(shù)據(jù)指標(biāo)可以固定的組合使用,比如:
用戶運(yùn)營(yíng)場(chǎng)景:AARRR指標(biāo)、RFM指標(biāo)
零售門(mén)店場(chǎng)景:人、貨、場(chǎng)指標(biāo)
商品管理場(chǎng)景:進(jìn)、銷(xiāo)、存指標(biāo)
這些也習(xí)慣性被稱為:分析模型。但注意,這些都只是在展示數(shù)據(jù)。數(shù)據(jù)+判斷標(biāo)準(zhǔn),才有分析結(jié)論。有關(guān)判斷標(biāo)準(zhǔn)的分析,就是:是什么類問(wèn)題。
二、解決“是什么”問(wèn)題的方法
判斷標(biāo)準(zhǔn)可以很簡(jiǎn)單,比如領(lǐng)導(dǎo)的指令、KPI要求、過(guò)往同期數(shù)據(jù),都能作為標(biāo)準(zhǔn)。這些統(tǒng)稱為:簡(jiǎn)單標(biāo)準(zhǔn)。但很多時(shí)候,指標(biāo)走勢(shì)是否正常,并無(wú)明確的KPI約束,甚至KPI達(dá)標(biāo),但是走勢(shì)奇特,領(lǐng)導(dǎo)們還是會(huì)覺(jué)得有問(wèn)題。這時(shí)候就需要找其他參照物。因此衍生出一系列分析方法。
比如:
與業(yè)務(wù)自身規(guī)律比較,判斷好壞:生命周期法、自然周期法
與同類型,同期發(fā)展的業(yè)務(wù)比較:同期群分析法
與其他業(yè)務(wù)個(gè)體進(jìn)行比較:分層分析法
這樣對(duì)比,即使只有1個(gè)數(shù)據(jù)指標(biāo),也能得出好壞判斷。如果業(yè)務(wù)發(fā)展違背過(guò)往規(guī)律,明顯比其他個(gè)體更差,則可以判定為:不好。
圖片
當(dāng)然,也可以使用2個(gè)指標(biāo),比如經(jīng)典的矩陣分析法,通過(guò)兩指標(biāo)交叉+兩指標(biāo)平均值,分出四類業(yè)務(wù),從而得出好壞判斷。
圖片
如果用更多指標(biāo)也行,比如常用的Kmean聚類,可以先利用多個(gè)指標(biāo)對(duì)業(yè)務(wù)個(gè)體聚類,之后再看各類型之間表現(xiàn)優(yōu)劣。
以上這些方法,都能將業(yè)務(wù)的好/壞區(qū)分出來(lái),從而在一定程度上輔助判斷。
三、解決“為什么”問(wèn)題的方法
“分析下這個(gè)問(wèn)題是什么原因?qū)е碌摹笔浅R?jiàn)的要求,這就是“為什么”問(wèn)題。解決為什么問(wèn)題,有兩大基本思路:
一:結(jié)果推斷:?jiǎn)栴}發(fā)生后,用各種數(shù)據(jù)尋找差異,建立假設(shè)。
常見(jiàn)的,比如:
結(jié)構(gòu)分析法:通過(guò)結(jié)構(gòu)分析,找到問(wèn)題發(fā)生點(diǎn)
標(biāo)簽分析法:通過(guò)打標(biāo)簽,做個(gè)體對(duì)比,找到問(wèn)題原因
相關(guān)分析法:通過(guò)計(jì)算指標(biāo)相關(guān)關(guān)系,找到相關(guān)指標(biāo),再形成假設(shè)
MECE法:講多個(gè)業(yè)務(wù)假設(shè),按MECE原則合并成分析邏輯,一一驗(yàn)證
結(jié)果推斷,可以把業(yè)務(wù)口中“我覺(jué)得這是XX原因”,抽象成一個(gè)數(shù)據(jù)可驗(yàn)證的假設(shè),因此適用范圍非常廣。但結(jié)果推斷只是單方面從結(jié)果做歸納,有可能有偏頗,還需要實(shí)驗(yàn)驗(yàn)證。
圖片
二:實(shí)驗(yàn)推斷:先有假設(shè),然后通過(guò)實(shí)驗(yàn)/分組對(duì)比,驗(yàn)證假設(shè)。常見(jiàn)的方法,包括ABtest、DID、PSM、RDD、Uplift等方法。
這些方法更接近傳統(tǒng)統(tǒng)計(jì)學(xué)的實(shí)驗(yàn),大部分都要求:
1、開(kāi)展數(shù)據(jù)實(shí)驗(yàn),驗(yàn)證假設(shè)
2、設(shè)參照組/實(shí)驗(yàn)組,且參照組/實(shí)驗(yàn)組特征相似
3、區(qū)分控制變量、環(huán)境變量,重點(diǎn)測(cè)控制變量的影響
實(shí)驗(yàn)推斷有統(tǒng)計(jì)學(xué)依據(jù),計(jì)算過(guò)程復(fù)雜,看起來(lái)更量化一些。但是對(duì)實(shí)驗(yàn)條件要求太高,比如大促銷(xiāo)類ALL in的業(yè)務(wù),比如商品、店鋪這些無(wú)法控制環(huán)境的業(yè)務(wù)場(chǎng)景,比如業(yè)務(wù)員行為、內(nèi)容傳播等難采集數(shù)據(jù)的領(lǐng)域,都很難用。
理想的狀態(tài),肯定是兩者結(jié)合,事實(shí)-假設(shè)-驗(yàn)證,不斷循環(huán),接近真相。但現(xiàn)實(shí)中有很多條件制約。導(dǎo)致我們只能從一個(gè)角度切入,慢慢靠近真相。
四、解決“會(huì)怎樣”問(wèn)題的方法
預(yù)測(cè)類問(wèn)題,是所有人都感興趣的話題,也是統(tǒng)計(jì)學(xué)/算法最有可能發(fā)揮作用的地方。唯一限制方法使用的,是:到底有多少數(shù)據(jù)&業(yè)務(wù)人員要不要參與。
如果業(yè)務(wù)人員堅(jiān)持參與預(yù)測(cè)過(guò)程,就只能用業(yè)務(wù)假設(shè)法或者滾動(dòng)預(yù)測(cè)法,這些方法把影響結(jié)果的參數(shù)都列出來(lái),方便業(yè)務(wù)人員拍腦袋,也能幫他們清晰:我要做多少。
圖片
如果業(yè)務(wù)人員不參與,則視數(shù)據(jù)量的多少。數(shù)據(jù)少,則使用時(shí)間序列預(yù)測(cè),數(shù)據(jù)多,且有影響結(jié)果的原因數(shù)據(jù),則可以用諸如回歸模型一類算法預(yù)測(cè)。
圖片
五、解決“又如何”問(wèn)題的方法
綜合評(píng)估與分配問(wèn)題,統(tǒng)稱“又如何”問(wèn)題。這是決策的最后一步,決定是否對(duì)業(yè)務(wù)做動(dòng)作,做多大動(dòng)作。有些簡(jiǎn)單的評(píng)估是很容易的,比如銷(xiāo)售簽了生死狀,達(dá)不成業(yè)績(jī)目標(biāo)就炒魷魚(yú)。
但大部分情況,評(píng)估很復(fù)雜,要考慮方方面面。這里最大的區(qū)別,在于要不要考慮領(lǐng)導(dǎo)的主觀意見(jiàn)。如果要,果斷使用主觀評(píng)分法!滿足領(lǐng)導(dǎo)的打分欲是第一位的。如果不要,再考慮使用有監(jiān)督的機(jī)器學(xué)習(xí)算法,或者因子分析法,DEA法(求的是相對(duì)效率)等客觀方法。
至于:做多少,誰(shuí)來(lái)做。就是更復(fù)雜的問(wèn)題了。想做好分配,得先把前邊幾步分析做完,對(duì)每個(gè)業(yè)務(wù)線基礎(chǔ)能力有充分認(rèn)識(shí),才好下判斷。這里,線性規(guī)劃的方法,可以用來(lái)做支持。
圖片
六、為什么感覺(jué)沒(méi)用上方法?
綜上可見(jiàn),數(shù)據(jù)分析的方法是非常多的。但為什么很多同學(xué)感覺(jué)自己沒(méi)用上方法呢?因?yàn)槊糠N方法是和業(yè)務(wù)場(chǎng)景、領(lǐng)導(dǎo)風(fēng)格、數(shù)據(jù)質(zhì)量、息息相關(guān)的。
比如因果推斷算法大多基于分組測(cè)試展開(kāi),而實(shí)際業(yè)務(wù)中,很多因果分析是事后再查原因,也不給二次實(shí)驗(yàn)的機(jī)會(huì)。
比如很多公司的分配方案,根本就是領(lǐng)導(dǎo)拍腦袋,一言堂,根本沒(méi)機(jī)會(huì)讓分析師用算法。
比如預(yù)測(cè)問(wèn)題,很多公司根本沒(méi)有足夠數(shù)據(jù)積累,只有一條銷(xiāo)售數(shù)據(jù),那撐死了也只能用時(shí)間序列法。
這種理想與現(xiàn)實(shí)的差距,讓很多同學(xué)很痛苦。一方面不清楚到底這些方法該如何用,另一方面不了解,自己該如何應(yīng)對(duì)業(yè)務(wù)需求。面試和工作都很吃力。