增長(zhǎng)為什么要做量化

做增長(zhǎng)產(chǎn)品的數(shù)據(jù)分析，和其他的數(shù)據(jù)分析，個(gè)人認(rèn)為最大的特色在于量化，為什么要做量化？因?yàn)?，做增長(zhǎng)，是個(gè)強(qiáng)數(shù)據(jù)驅(qū)動(dòng)的方法，要把有限的資源發(fā)揮出最大的價(jià)值，所以必須準(zhǔn)確計(jì)算出每個(gè)Driver的ROI，才能更有效分配資源，做到效率最大化，把好鋼用在刀刃上。

舉例幾個(gè)場(chǎng)景：

• 每次拉新，不但要量化拉新人數(shù)，還要量化后續(xù)的持續(xù)貢獻(xiàn)價(jià)值

• 每次拉活，同樣，老板關(guān)心后續(xù)的持續(xù)價(jià)值

• 每次活動(dòng)，老板不但會(huì)問(wèn)，這次活動(dòng)有多少人參與，還會(huì)問(wèn)，這次活動(dòng)貢獻(xiàn)了多少增量貢獻(xiàn)，如果沒有這次活動(dòng)，DAU會(huì)是多少？

• 上線新模塊，和活動(dòng)類似，老板會(huì)關(guān)心這個(gè)模塊為大盤帶來(lái)了多少增量貢獻(xiàn)？

可以看出，我把增長(zhǎng)產(chǎn)品的量化規(guī)為2大類，外部拉量（拉新、拉活）和促進(jìn)活躍：

• 外部拉量：拉新方面，業(yè)界有比較成熟的LTV模型，難點(diǎn)在于對(duì)LTV模型的預(yù)估，拉活方面，一般我們只計(jì)算當(dāng)次（當(dāng)然不嚴(yán)謹(jǐn)，拉活的后續(xù)持續(xù)貢獻(xiàn)非常復(fù)雜）

• 促進(jìn)活躍：例如做了運(yùn)營(yíng)活動(dòng)，上線新功能、新模塊，本質(zhì)上都是在促進(jìn)活躍，這里問(wèn)題的關(guān)鍵就在于，到底促進(jìn)了多少活躍，后續(xù)滾動(dòng)下來(lái)有多大收益？往往，促進(jìn)活躍投入的資源是非常大的，準(zhǔn)確量化增量貢獻(xiàn)不易，此部分也是本文討論的重點(diǎn)。

拉新拉活的量化

這部分，只簡(jiǎn)單談一下，因?yàn)槲业臉I(yè)務(wù)范圍拉新拉活量化比較少，沒有經(jīng)驗(yàn)，借鑒下比較基礎(chǔ)的量化方法

• 拉新，采用y = ax^b分渠道量化預(yù)估，雖然還有很多高大上的算法，但是這個(gè)公式實(shí)現(xiàn)成本最低的，方法還不錯(cuò)

• 拉活，對(duì)于DAU的貢獻(xiàn)，只計(jì)算當(dāng)日首次啟動(dòng)，對(duì)于使用時(shí)長(zhǎng)的貢獻(xiàn)等等，按每個(gè)session計(jì)算

促活貢獻(xiàn)的簡(jiǎn)單量化方法

促活方面，有幾個(gè)簡(jiǎn)單的量化方式，雖然不好，但是較為簡(jiǎn)單，可以參考，后續(xù)將會(huì)討論2種比較復(fù)雜的量化方式

• 染色法：對(duì)于參與或深度參與的，設(shè)定一個(gè)閾值，認(rèn)為是帶來(lái)的

• 對(duì)比法：對(duì)比滲透與未滲透的用戶，對(duì)比一個(gè)周期內(nèi)活躍天，或周期內(nèi)總使用時(shí)長(zhǎng)，作為貢獻(xiàn)，但是此方法有嚴(yán)重的幸存者偏差，需要對(duì)滲透有著較為嚴(yán)格的定義，例如有一定深度的閾值

• 時(shí)間對(duì)比法：對(duì)小部分用戶做強(qiáng)刺激的時(shí)候，常采用對(duì)比法，時(shí)間上對(duì)比，例如對(duì)某個(gè)渠道做了某些特殊的承接，可以對(duì)比渠道不同時(shí)間的留存。此方法看似不嚴(yán)謹(jǐn)，但是其實(shí)想一想，這是我們應(yīng)用最多的方法，資本市場(chǎng)，每個(gè)Q的財(cái)報(bào)，常用的同比、環(huán)比，本質(zhì)上就是這種方法；一般公司對(duì)部門定的KPI或OKR，都是這種方式，公司不會(huì)給一個(gè)對(duì)照組，用絕對(duì)值量化貢獻(xiàn)。

• AB實(shí)驗(yàn)法：我認(rèn)為AB實(shí)驗(yàn)的對(duì)比，是比較好的方法。這里，要注意2點(diǎn)，第一，有的時(shí)候AB實(shí)驗(yàn)會(huì)層層疊加，簡(jiǎn)單的AB實(shí)驗(yàn)無(wú)法量化出短期貢獻(xiàn)和長(zhǎng)期貢獻(xiàn)，第二，有一些時(shí)候，因?yàn)榫W(wǎng)絡(luò)效應(yīng)的存在或者開發(fā)排期的原因，不是所有的產(chǎn)品都有AB實(shí)驗(yàn)?zāi)芰Α?/p>

多層域AB實(shí)驗(yàn)法——準(zhǔn)確量化短期和長(zhǎng)期貢獻(xiàn)

以我負(fù)責(zé)的模塊為例，老板們會(huì)關(guān)心

• 長(zhǎng)期以來(lái)貢獻(xiàn)了多少DAU？

• 每次產(chǎn)品迭代，提高了多少？

• 嚴(yán)謹(jǐn)一點(diǎn)，我們采用了AB實(shí)驗(yàn)的方式核算，最終可能會(huì)發(fā)現(xiàn)一個(gè)問(wèn)題：短期迭代貢獻(xiàn)，不等于長(zhǎng)期貢獻(xiàn)，為什么呢？（本文重點(diǎn)講述AB實(shí)驗(yàn)，對(duì)于1+1≠2話題，詳細(xì)請(qǐng)看本人的文章《數(shù)據(jù)分析中，為什么1+1不等于2？》）

• 有的時(shí)候，迭代A和迭代B，有著相互放大的作用，這個(gè)時(shí)候就會(huì) 1+1 > 2

• 還有的時(shí)候，迭代A和迭代B，本質(zhì)上是在做相同的事情，這個(gè)時(shí)候就會(huì) 1+1 < 2

有些場(chǎng)景，我們的業(yè)務(wù)需要和去年或上個(gè)季度的自身對(duì)比，同時(shí)業(yè)務(wù)還不斷在多個(gè)方面運(yùn)用AB Test迭代

這個(gè)時(shí)候，我們準(zhǔn)確量化一個(gè)長(zhǎng)期產(chǎn)品模塊的貢獻(xiàn)，就需要一個(gè)【貫穿】所有活動(dòng)的對(duì)照組，在AB實(shí)驗(yàn)系統(tǒng)中通俗稱作貫穿層

（說(shuō)明：實(shí)驗(yàn)中，各層的流量是正交的，簡(jiǎn)單理解，例如，A層的分流采用用戶ID的倒數(shù)第1位，B層的分流采用用戶ID的倒數(shù)第2位，在用戶ID隨機(jī)的情況下，倒數(shù)第1位和倒數(shù)第2位是沒有關(guān)系的，也稱作相互獨(dú)立，我們稱作正交。當(dāng)然，AB Test實(shí)驗(yàn)系統(tǒng)真實(shí)的分流邏輯，是采用了復(fù)雜的hash函數(shù)、正交表，能夠保證正交性。）

這樣分層后，我們可以按照如下的方式量化貢獻(xiàn)：

•      計(jì)算長(zhǎng)期的整體貢獻(xiàn)：實(shí)驗(yàn)填充層-填充層填充組 VS 貫穿層2-貫穿層填充

•       每個(gè)小迭代對(duì)整個(gè)系統(tǒng)的貢獻(xiàn)：實(shí)驗(yàn)層中的實(shí)驗(yàn)組 VS 對(duì)照組

•       周期內(nèi)，系統(tǒng)全部迭代與上個(gè)周期的比較：實(shí)驗(yàn)填充層 VS 貫穿層1

類似與上面這種層次設(shè)計(jì)，在推薦系統(tǒng)中較為常見，在某一些產(chǎn)品或系統(tǒng)中，貫穿層不能夠完全沒有策略，那么采用去年或上個(gè)季度的策略，代表著基準(zhǔn)值，從而量化新一個(gè)周期的增量貢獻(xiàn)

詳細(xì)可參看《淺談AB Test實(shí)驗(yàn)設(shè)計(jì)和數(shù)據(jù)分析（二）——層域模型的設(shè)計(jì)》 ，https://mp.weixin.qq.com/s/SSRlELhzy3nOkjeYI1nmXg

沒有AB實(shí)驗(yàn)?zāi)芰?，如何盡量評(píng)估貢獻(xiàn)？

AB實(shí)驗(yàn)固然好，但是有的時(shí)候，因?yàn)楦鞣N各樣的原因，特殊時(shí)期，沒有AB實(shí)驗(yàn)，產(chǎn)品上線了。上線后，數(shù)據(jù)分析師依然有職責(zé)量化出貢獻(xiàn)，以我負(fù)責(zé)業(yè)務(wù)為例，2020的微視集令牌活動(dòng)，如何量化貢獻(xiàn)？

我們思考過(guò)程如下：

•   首先，采用對(duì)比法，對(duì)比參與活動(dòng)與未參與活動(dòng)的活躍天差別。（此步，考慮到了有幸存者偏差）

• 接下來(lái)，為了解決幸存者偏差，分別對(duì)比了下兩組用戶在之前的活躍程度，做了下差分比較。（此步，有考慮同期的其他活動(dòng)，會(huì)因?yàn)橛脩艚患螅瑹o(wú)法分離）

• 最后為了區(qū)分同期的其他用戶，將是否參與其他用戶也做了分組，同時(shí)做對(duì)比差分。

做了上面的處理，我還存在疑問(wèn)：

• 幸存者偏差仍存在，到底還存在多少？

• 排除幸存者偏差、紅包的干擾，依賴主觀判斷，還有沒有其他因素的干擾？如何證明？

• 評(píng)估方法個(gè)性化，可否抽象為通用方法？

思考：差分計(jì)算和按紅包分組，本質(zhì)上排除各種因素干擾，盡可能構(gòu)建平行世界，說(shuō)白了，我們?cè)?strong>尋找特征相同的用戶群，因此，在方法層面也許可以統(tǒng)一

按照上面的思路，我們引入了協(xié)變量的概念，這個(gè)概念借鑒了因果推斷算法

方法如下：

• 通過(guò)多種特征，尋找特征相同的用戶群（尋找協(xié)變量，協(xié)變量非常關(guān)鍵，后文會(huì)提到幾個(gè)原則）

• 每個(gè)群內(nèi)，按照是否參與活動(dòng)分為2組（構(gòu)建平行世界），對(duì)比參與與未參與的差異，計(jì)算每個(gè)群組的貢獻(xiàn)

• 為了增強(qiáng)可解釋性和可讀性，簡(jiǎn)化分組，例如：合并小的分組（如合并同特征分段），較少部分特征，原則是簡(jiǎn)化分組不影響整體結(jié)論，同時(shí)簡(jiǎn)化分組也有利于解決過(guò)擬合問(wèn)題

• 對(duì)于部分分組，仍存在較強(qiáng)的幸存者偏差，做特殊標(biāo)注（這樣至少可以量化得到范圍）

• 將各個(gè)分組的貢獻(xiàn)相加，得到量化貢獻(xiàn)范圍（說(shuō)明，雖結(jié)果不準(zhǔn)確，但有一定的范圍，也可以供部門決策，數(shù)據(jù)分析的很重要作用就是輔助決策）

核心流程如下：

說(shuō)明下尋找協(xié)變量的原則，這個(gè)非常關(guān)鍵：

• 選擇與評(píng)估時(shí)間盡可能近的特征，目的是分群盡可能公平，為了構(gòu)建平行世界，例如：活動(dòng)前7天的活躍天、使用時(shí)長(zhǎng)、畫像等

• 選擇需要解耦合的業(yè)務(wù)特征，例如：同期是否領(lǐng)取紅包、是否參與其他活動(dòng)等

• 不能選擇與評(píng)估指標(biāo)有因果性的特征，例如：不能按活動(dòng)期間的活躍天分群，同時(shí)要注意選擇解耦合業(yè)務(wù)的特征，盡可能降低與評(píng)價(jià)指標(biāo)的因果性，盡可能用輕度參與特征，例如：是否參與過(guò)（1次就算），不能選擇“參與的天數(shù)”，因?yàn)?ldquo;參與的天數(shù)”本身和我們?cè)u(píng)價(jià)的指標(biāo)活躍天存在因果性。

總的來(lái)說(shuō)，我還是推崇用AB實(shí)驗(yàn)衡量貢獻(xiàn)，特殊情況下，上面的方法我認(rèn)為雖然不嚴(yán)謹(jǐn)，這種方法有2點(diǎn)優(yōu)勢(shì)，并且我們也在其他業(yè)務(wù)中推廣

• 統(tǒng)一經(jīng)驗(yàn)方法，形成通用方法論，解決平行世界構(gòu)建和業(yè)務(wù)間解耦合問(wèn)題

• 有一定理論支撐（借鑒因果推斷思想），可評(píng)估誤差范圍