1、引言

雙11期間上線某功能/活動，用戶開通后參與能給大盤帶來交易增量嗎？

業(yè)務(wù)第一反應(yīng)大概率是說“會！”。那么，某活動/功能上線與大盤交易提升之間確實(shí)存在因果關(guān)系嗎？如果真實(shí)存在，具體增量是多少？

2、分析過程

為了判斷之間的具體聯(lián)系，可以從5個步驟、2種常見判斷方法進(jìn)行分析。

2.1 明確原因是什么

從前文可知，雙11期間業(yè)務(wù)上線了某活動/功能。

2.2 明確結(jié)果是什么

給大盤帶來了更多交易用戶/訂單/gmv。

2.3 確認(rèn)3個要點(diǎn)

• 是否純屬巧合？不好評價，從趨勢上來看，該活動上線之后大盤支付人數(shù)確實(shí)同期在提高；但正值大促，即使不做活動大盤交易大概率也會增長。

• 是否存在同時影響原因和結(jié)果的第三變量？一個參與了活動的用戶，比起沒有參加活動的用戶，本身活躍度或成熟度更高，而平臺活躍和交易成熟對是否產(chǎn)生購買是很關(guān)鍵的因素。所以，存在第三變量。
• 是否存在逆向因果關(guān)系？到底是活動刺激使更多用戶下單？還是高概率下單的用戶更有意愿參與這項活動？

2.4 制造反事實(shí)

如果雙11期間沒有上線這個活動，大盤交易量會不會減少？

2.5 調(diào)整到可比較狀態(tài)

很明顯，如果將大促期間參與了活動和不參與活動的人分成兩組，因為參與活動的用戶更活躍更成熟，而不參與活動的用戶質(zhì)量相對較差，這種明顯選擇性偏差的存在，導(dǎo)致直接對比是不公平的，不存在可比性。必須把兩組數(shù)據(jù)調(diào)整到可以比較的狀態(tài)，分組用戶上要真正體現(xiàn)出“隨機(jī)”性。常見的有2種判斷方法，包括隨機(jī)對照試驗、雙重查分法?？筛鶕?jù)實(shí)際背景條件選擇使用。

• 隨機(jī)對照試驗，即通常所說的AB測試。假設(shè)大促期間采用了ab實(shí)驗，活動上線時將大盤所有用戶隨機(jī)分成的兩組，一組能夠參加活動（干預(yù)組），另一組不能參加活動（對照組），然后通過觀察兩組用戶在大促期間的交易表現(xiàn)，對比得出最后的結(jié)論。
• 雙重差分法，適用于沒有做實(shí)際隨機(jī)對照的場景，例如大促期間全量上線了該活動。第三部分會重點(diǎn)介紹該方法的使用。

3、雙重差分法

3.1 基本思想

在沒有隨機(jī)實(shí)驗的情況下去模擬一種隨機(jī)分配實(shí)驗。鎖定目標(biāo)用戶，模擬實(shí)驗分組，然后跟蹤不同用戶組在受活動干預(yù)前后的大盤交易表現(xiàn)。

前提假設(shè)

• 始終不開通參與的用戶 VS 有開通/參與的用戶的場域效應(yīng)相同，即目標(biāo)指標(biāo)的趨勢平行；
• 受到干預(yù)期間，沒有出現(xiàn)影響目標(biāo)值的“其他變化”。

圖示

3.2 計算邏輯

3.3 具體步驟

3.3.1 分組

將全部的樣本數(shù)據(jù)分為兩大組，分組邏輯是根據(jù)是否受到營銷活動干預(yù)。

• 實(shí)驗組：受到營銷活動的干預(yù)影響，根據(jù)影響程度又可以分為「平銷已開通」影響復(fù)購動支，「平銷未開通->大促新開通」 影響開通和動支。
• 對照組：沒有受到同一活動的干預(yù)影響，表現(xiàn)為用戶「始終未開通」。

3.3.2 目標(biāo)選定

確定觀測的目標(biāo)指標(biāo)，大盤動支率、戶均大盤gmv。

3.3.3 驗證分組合理性

隨機(jī)圈選平銷期（10.10為例）用戶，觀察不同分組在10.10-11.11期間的戶均gmv變化趨勢是否一致。

• 10.10日新開通用戶、10.11-11.10期間中途新開通用戶在臨近10.10日階段與波動較大，與其他分組差異較大，不作為后續(xù)分析可用分組。
• 始終未開通、始終開通、雙11當(dāng)天新開通三個分組的用戶，在10.10-11.10期間變化趨勢一致、差異基本保持穩(wěn)定?？勺鳛楹罄m(xù)分析可用分組。

3.3.4 差分

驗證完滿足假設(shè)前提后進(jìn)行兩次差分，第一次差分得出干預(yù)前后總差異，第二次差分得到干預(yù)凈效應(yīng)。

• 第1次差分：分別對在干預(yù)前后進(jìn)行兩次差分（相減）得到兩組差值，代表實(shí)驗組與對照組在干預(yù)前后分別的相對關(guān)系；
• 第2次差分：對兩組差值進(jìn)行第二次差分，從而消除實(shí)驗組與對照組原生的差異，最終得到干預(yù)帶來的凈效應(yīng)。

3.3.5 方法小結(jié)

• 優(yōu)點(diǎn)：較為客觀的去除場域影響，剝離出由營銷活動干預(yù)下帶來的大盤增量。能基本解決“大促期做的營銷活動對于大盤的影響”。
• 不足：

（1）大盤收益，同一時間段多個活動共同干預(yù)時，無法剝離單個活動效益大小。如，11.11當(dāng)天，針對新客既做了活動1，又做了活動2，則無法分別評估活動1、活動2的效果。

（2）無法涵蓋“所有”增量。如平銷期與大促期之間新增用戶、中途開通的用戶表現(xiàn)。