一、Statsig公司介紹

公司名稱Statsig，取自于統(tǒng)計(jì)學(xué)顯著性的英文簡稱。我們提供A/B實(shí)驗(yàn)以及相應(yīng)的功能管理平臺(tái)，現(xiàn)在也開始做一些用戶分析方面的內(nèi)容。公司使命就是民主化A/B實(shí)驗(yàn)，用數(shù)據(jù)來驅(qū)動(dòng)決策，脫離傳統(tǒng)的“老板說了算”這種模式。服務(wù)的客戶中不乏著名的創(chuàng)業(yè)公司，如Figma、Notion、OpenAI等。

我們企業(yè)工程團(tuán)隊(duì)主要服務(wù)企業(yè)級(jí)用戶，宗旨是讓所有在Statsig簽約的用戶，跑更多更好的實(shí)驗(yàn)。我們的工作內(nèi)容橫跨售前和售后，比如幫助銷售介紹公司產(chǎn)品和實(shí)驗(yàn)文化，也會(huì)參加用戶的實(shí)驗(yàn)設(shè)計(jì)和結(jié)果評(píng)審等。

二、Statsig公司創(chuàng)始故事

Statsig在2021年2月創(chuàng)立于美國西雅圖，整個(gè)團(tuán)隊(duì)都是前Facebook西雅圖的員工，包含6名工程師和1名數(shù)據(jù)科學(xué)家。創(chuàng)立時(shí)正處于新冠高峰期，但還是要求全員去公司上班，因?yàn)樵缙诿刻於家龊芏嘈碌臎Q定，只有這樣才能有更強(qiáng)的執(zhí)行力。

我們的CEO，是前Facebook的副總裁，也是西雅圖分部的負(fù)責(zé)人。他在 Facebook 任職的10年內(nèi)，西雅圖分部從剛開始十幾個(gè)員工，一直做到 8000 個(gè)員工。他在公司內(nèi)部也是一個(gè)比較有名的連續(xù)創(chuàng)業(yè)者，曾經(jīng)帶領(lǐng)過很多成功的項(xiàng)目，這些項(xiàng)目現(xiàn)在給公司貢獻(xiàn)了上百億美金的收入。

從第一天上班，到第一版產(chǎn)品上線，我們花了大概3-4周時(shí)間。之后我們又等了3周的時(shí)間，才有了第一個(gè)新加坡的注冊(cè)用戶。同年10月份，我們收到了第一筆用戶付款，雖然只有幾美金，但確是一個(gè)非常重要的里程碑。

三、什么是民主化的A/B實(shí)驗(yàn)

1、一個(gè)親身經(jīng)歷的小故事

我們?cè)?jīng)在Facebook做一款小游戲，一個(gè)項(xiàng)目經(jīng)理提出要花時(shí)間去優(yōu)化游戲的加載速度，從而提高玩家的轉(zhuǎn)化率。這聽起來理所當(dāng)然，沒有任何問題，當(dāng)天就開會(huì)討論具體要做什么。討論出來的方案幾乎都是大工程，估計(jì)需要好幾個(gè)月才能完成。

其中有個(gè)成員就提出了一個(gè)大膽的想法，減少加載時(shí)間很困難，但人工增加游戲加載時(shí)間很簡單，我們可以先測(cè)一下增加游戲加載時(shí)間對(duì)用戶帶來的影響，然后用這個(gè)結(jié)果來評(píng)估要不要投入幾個(gè)月時(shí)間去減少。最后的結(jié)論是這個(gè)優(yōu)化帶來的增益，遠(yuǎn)遠(yuǎn)不值得投入這么大的精力，然后我們就用這個(gè)時(shí)間去做更有效的事情了。

花了幾個(gè)小時(shí)工作量，省下了團(tuán)隊(duì)幾個(gè)月的時(shí)間，這件事情讓我深刻地認(rèn)識(shí)到，每個(gè)公司都應(yīng)該有這樣的實(shí)驗(yàn)平臺(tái)和文化，這也是我們后來創(chuàng)業(yè)的初衷。

2、民主化實(shí)驗(yàn)的四個(gè)特點(diǎn)

• 實(shí)驗(yàn)的門檻和開銷要低。這是所有人都能夠去測(cè)試他們各種想法的必要條件，非常重要。
• 實(shí)驗(yàn)數(shù)據(jù)要容易獲取且透明。數(shù)據(jù)容易獲取，可以降低實(shí)驗(yàn)的門檻；數(shù)據(jù)透明，實(shí)驗(yàn)結(jié)果才可以讓大家信服。
• 決策結(jié)構(gòu)去中心化。在民主的實(shí)驗(yàn)文化下，任何意見都會(huì)被考慮，用實(shí)驗(yàn)一一去測(cè)試可行性，然后再用數(shù)據(jù)結(jié)果來做決定。
• 能夠自我學(xué)習(xí)和優(yōu)化的團(tuán)隊(duì)。當(dāng)結(jié)果和預(yù)期不一致時(shí)，這種看似失敗的實(shí)驗(yàn)，往往能帶來更多的思考價(jià)值。

3、民主化實(shí)驗(yàn)對(duì)不同的崗位帶來的好處

• 工程師

他們能夠放心地去發(fā)布新的功能，不需要很多的反復(fù)測(cè)試流程。如果你有自助化的數(shù)據(jù)，就可以觀察新功能是否達(dá)到預(yù)期，APP閃退頻率以及用戶延時(shí)的變化情況。各種內(nèi)部SDK的升級(jí)，在我們的實(shí)驗(yàn)平臺(tái)都可以輕易做到。

• 數(shù)據(jù)科學(xué)家

一方面減少了他們寫SQL取數(shù)和驗(yàn)算實(shí)驗(yàn)結(jié)果的時(shí)間，這種事情往往繁瑣枯燥；另一方面由于實(shí)驗(yàn)結(jié)果都是自助化的，也省去了團(tuán)隊(duì)其他成員，因?yàn)椴辉敢庀嘈艑?shí)驗(yàn)結(jié)果所帶來的一些沖突和麻煩。他們可以把這些省下的時(shí)間和精力花在更有意義的事情上，比如通過數(shù)據(jù)去幫助團(tuán)隊(duì)尋找產(chǎn)品發(fā)展的方向，或者是推薦更有用的實(shí)驗(yàn)?zāi)繕?biāo)之類的事情。

• 項(xiàng)目經(jīng)理

用數(shù)據(jù)結(jié)果說話，可以減少一些非常主觀的辯論。當(dāng)大家對(duì)于一個(gè)新的想法意見不統(tǒng)一時(shí)，就跑一個(gè)實(shí)驗(yàn)，讓結(jié)果說話。這樣還可以鼓勵(lì)團(tuán)隊(duì)去嘗試更多未知冒險(xiǎn)的想法，這些想法往往可以帶來出其不意的回報(bào)。

4、A/B實(shí)驗(yàn)的現(xiàn)狀

好的實(shí)驗(yàn)運(yùn)作應(yīng)該像流水線一樣，是每天工作的一部分，可以讓員工的工作效率翻倍。但大部分公司做實(shí)驗(yàn)更像是科學(xué)研究，從實(shí)驗(yàn)設(shè)計(jì)實(shí)現(xiàn)到數(shù)據(jù)采集解讀，端到端做一個(gè)完整實(shí)驗(yàn)是一種奢侈，不可能作為日常工作的一部分。造成這種情況主要有以下三個(gè)原因：

• 大部分實(shí)驗(yàn)平臺(tái)的功能不全。比如只能支持后端的實(shí)驗(yàn)，或者只能支持用戶登錄以后跑的實(shí)驗(yàn)等等，這樣就很大程度限制了實(shí)驗(yàn)普及的可能性。
• 實(shí)驗(yàn)數(shù)據(jù)需要數(shù)據(jù)科學(xué)團(tuán)隊(duì)手動(dòng)計(jì)算。很多公司的實(shí)驗(yàn)瓶頸就出在這里，計(jì)算花費(fèi)大量人力，不是每個(gè)公司都可以有一個(gè)大的數(shù)據(jù)科學(xué)團(tuán)隊(duì)。導(dǎo)致大家對(duì)A/B實(shí)驗(yàn)缺乏主觀的意愿，一般做實(shí)驗(yàn)都是因?yàn)轭I(lǐng)導(dǎo)要求。
• 實(shí)驗(yàn)平臺(tái)不提供端到端的完整性。導(dǎo)致一個(gè)團(tuán)隊(duì)里面只有全都不出錯(cuò)，才能夠得到正確的實(shí)驗(yàn)結(jié)果。這樣會(huì)導(dǎo)致成員之間互相指責(zé)，不利于團(tuán)隊(duì)和睦，尤其是新人很容易遭到打擊。

5、市面上的其他產(chǎn)品

• 市面上的產(chǎn)品沒有真正為產(chǎn)品團(tuán)隊(duì)打造，具體如下：
• 大多數(shù)時(shí)候都是為營銷或者市場(chǎng)團(tuán)隊(duì)打造功能，偏向于無代碼實(shí)驗(yàn)，主要是因?yàn)檫@些部門比較愿意花錢。
• 實(shí)驗(yàn)結(jié)果經(jīng)常是在黑匣子里面，導(dǎo)致用戶很難自己算出同樣的結(jié)果，實(shí)驗(yàn)平臺(tái)也不愿意給出具體計(jì)算邏輯。
• 在跑實(shí)驗(yàn)之前就要求把測(cè)試的2-3個(gè)指標(biāo)確定好，然后實(shí)驗(yàn)開始跑以后就不讓加了，這也是非常有局限性的一面。
• 很多公司提供的客服團(tuán)隊(duì)沒有實(shí)戰(zhàn)經(jīng)驗(yàn)，并不能指導(dǎo)用戶進(jìn)行最佳實(shí)踐，所以也很難讓用戶去建立起一個(gè)好的實(shí)驗(yàn)文化。
• 還有一些非常低級(jí)的錯(cuò)誤，比如分組不穩(wěn)定等等。

三、Statsig如何推進(jìn)A/B實(shí)驗(yàn)民主化

現(xiàn)在企業(yè)對(duì)數(shù)據(jù)分析方面的需求，可以用下圖中的需求金字塔來描述， Statsig的重點(diǎn)在上面兩層：

• 第一層是無所不在的實(shí)驗(yàn)。簡單來說就是每個(gè)新功能都可以當(dāng)做實(shí)驗(yàn)來做，用實(shí)驗(yàn)的結(jié)果來決定下一步干什么，很少有公司能做到這一點(diǎn)，目前只有比較大的一些科技公司才行，而我們的目標(biāo)是普及到所有的公司。
• 第二層就是大家普遍理解的 A/B 實(shí)驗(yàn)，我們產(chǎn)品提供給用戶最基本的這個(gè)功能，就是能夠讓用戶全方面的了解這次產(chǎn)品改動(dòng)所帶來的影響，以及包括長期指標(biāo)在內(nèi)的一個(gè)整體畫面。
• 下面兩層是市面上其他產(chǎn)品提供的一些解決方案，我們也在這些方面有一些功能，比較常見，在這里就不展開細(xì)講了。

推動(dòng)A/B實(shí)驗(yàn)民主化，最重要的就是實(shí)驗(yàn)的極簡化，Statsig在這方面下了非常大的功夫。從UI到SDK的設(shè)計(jì)，都盡量做到極簡，下圖展示的就是我們產(chǎn)品里面的一個(gè)功能開關(guān)。你做任何的新功能，只要一個(gè)功能開關(guān)，把功能放到這個(gè)開關(guān)里面，然后寫基本的一個(gè)如果從句，就可以把它變成一個(gè)實(shí)驗(yàn)。

這個(gè)功能開關(guān)只要設(shè)置到0-100之間的百分比，我們就會(huì)自動(dòng)把這個(gè)做成A/B 實(shí)驗(yàn)，給你分析這個(gè)功能的存在與否，對(duì)用戶行為上面產(chǎn)生的一些影響。只要把功能放到這個(gè)開關(guān)，就可以看到你所關(guān)心的所有指標(biāo)。不需要數(shù)據(jù)科學(xué)家做任何額外的工作，就可以一目了然，看到這個(gè)產(chǎn)品或功能產(chǎn)生的效果。

對(duì)于稍微復(fù)雜一點(diǎn)的場(chǎng)景，也可以把實(shí)驗(yàn)的變量做成參數(shù)。我們的SDK可以讓你在一個(gè)參數(shù)上跑不同的實(shí)驗(yàn)，可以同時(shí)也可以不同時(shí)，這樣顯而易見的好處就是，測(cè)一個(gè)參數(shù)的不同數(shù)值，不需要再改動(dòng)代碼，不需要移動(dòng)端開發(fā)的等待時(shí)間，直接在UI界面上改就生效了，就可以直接開始新的實(shí)驗(yàn)。

至于實(shí)驗(yàn)的數(shù)據(jù)收集，不管是從我們的 SDK 直接發(fā)過來，還是通過數(shù)據(jù)采集器或者數(shù)據(jù)倉庫，我們的宗旨就是數(shù)據(jù)存在哪里都可以兼容。而且無論是記錄原始事件，還是預(yù)先設(shè)計(jì)好的計(jì)算指標(biāo)，我們也都可以用。換而言之，數(shù)據(jù)在哪，實(shí)驗(yàn)結(jié)果就可以在哪。

逐步揭示數(shù)據(jù)的復(fù)雜性（Progressive Disclosure of Complexity），就是希望讓我們的平臺(tái)能夠適用于不同崗位、不同背景的用戶，而不僅僅是數(shù)據(jù)科學(xué)家。我們的實(shí)驗(yàn)結(jié)果面板，基本上都可以看懂。紅色的就是顯著的不好，綠色就是顯著的提升，灰色就是沒有顯著性。這里面數(shù)據(jù)指標(biāo)含義，也都是顧名思義、一目了然。所以普通的工程師和項(xiàng)目經(jīng)理也可以通過數(shù)據(jù)面板來讀懂實(shí)驗(yàn)結(jié)果。

我們的平臺(tái)還支持更多深層次的需求，比如指標(biāo)的具體計(jì)算邏輯，在實(shí)驗(yàn)中某個(gè)指標(biāo)每天的變化等等。還可以從平臺(tái)里面導(dǎo)出計(jì)算結(jié)果的原始數(shù)據(jù)，不少用戶都會(huì)這樣來驗(yàn)算顯示數(shù)據(jù)的正確性，或者拿到他們自己的數(shù)據(jù)倉庫里面去做更多的分析。

很多用戶煩惱的問題就是不知道怎么證明一個(gè)團(tuán)隊(duì)跑很多實(shí)驗(yàn)，是不是值得的，給公司帶來了怎么樣的業(yè)績?？梢栽囈幌挛覀兤脚_(tái)內(nèi)置的這個(gè)實(shí)驗(yàn)保留功能，可以隨機(jī)選擇一小部分用戶，讓他們不參與任何的一個(gè)產(chǎn)品實(shí)驗(yàn)。然后會(huì)自動(dòng)計(jì)算這一段時(shí)間以來你們產(chǎn)品里面所有的實(shí)驗(yàn)，所有的功能產(chǎn)生的總體影響。很多用戶用這個(gè)來當(dāng)作他們整個(gè)團(tuán)隊(duì)一段時(shí)間的業(yè)績面板。

再來著重介紹下我們企業(yè)工程團(tuán)隊(duì)，我們與其他平臺(tái)最大的不同可以總結(jié)為四點(diǎn)，這也是我們能夠推動(dòng)A/B 實(shí)驗(yàn)民主化一個(gè)非常重要的因素：

• 我們團(tuán)隊(duì)有非常豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)，會(huì)對(duì)所有的用戶進(jìn)行實(shí)驗(yàn)基礎(chǔ)、最佳實(shí)踐的培訓(xùn)和答疑。
• 我們甚至?xí)⑴c到實(shí)驗(yàn)的設(shè)計(jì)評(píng)審當(dāng)中，幫客戶去建立一個(gè)比較好的實(shí)驗(yàn)體系。
• 我們會(huì)跟客戶一起計(jì)劃實(shí)驗(yàn)文化上面想要達(dá)到一些目標(biāo)，并且把這個(gè)當(dāng)成我們自己的目標(biāo)來評(píng)測(cè)是否成功。
• 我們也會(huì)負(fù)責(zé)公司的一些定制化實(shí)驗(yàn)需求，然后進(jìn)行考量，評(píng)估是否可以迭代到我們的標(biāo)準(zhǔn)產(chǎn)品中。

最后介紹兩個(gè)民主化實(shí)驗(yàn)推行的成功案例：

• Rec Room，這是一個(gè) VR 游戲公司。他們現(xiàn)在就是把每個(gè)新功能都做在一個(gè)功能開關(guān)后面，然后把它跑成一個(gè)實(shí)驗(yàn)。有一次升級(jí)了UX，原本以為會(huì)大大增加用戶粘性，結(jié)果發(fā)現(xiàn)這個(gè)用戶發(fā)消息的指標(biāo)卻下降了。然后他們仔細(xì)看了下界面設(shè)計(jì)，發(fā)現(xiàn)在新版上面發(fā)消息這個(gè)按鈕確實(shí)是有點(diǎn)被隱藏起來了，以前是比較明顯的一個(gè)按鈕。于是他們把這個(gè)按鈕放到了上面，可以看到這個(gè)發(fā)消息指標(biāo)有了顯著的提升。如果他們沒有每一個(gè)功能都來做實(shí)驗(yàn)這個(gè)習(xí)慣的話，是不會(huì)發(fā)現(xiàn)這樣一個(gè)問題的。

• ancestry，這是一個(gè)做 DNA 檢測(cè)的公司。他們現(xiàn)在也把所有的功能都放在一個(gè)功能開關(guān)之后，用Statsig把它跑成一個(gè)實(shí)驗(yàn)。下面這個(gè)圖說明了在用了 Statsig 以后，實(shí)驗(yàn)數(shù)量的變化。現(xiàn)在跑實(shí)驗(yàn)的頻率大概是一個(gè)月 50 個(gè)，但他們之前用內(nèi)部的實(shí)驗(yàn)平臺(tái)，頻率基本上是一年 50 個(gè)。這也證明了我們公司平臺(tái)和其他產(chǎn)品的對(duì)比優(yōu)勢(shì)。