1.數(shù)據(jù)采集的常見方式

為什么要去研究數(shù)據(jù)采集呢?

大家可以回想一下自己在工作中是否會經(jīng)常遇到以下問題：

? 真實數(shù)據(jù)與后臺獲取到的數(shù)據(jù)差距很大。

? 同一數(shù)據(jù)在不同的指標(biāo)內(nèi)有兩個完全不同的結(jié)果。

? 需要統(tǒng)計的數(shù)據(jù)與采集獲取的數(shù)據(jù)不是同一類。

其實，這些問題的本質(zhì)都是因數(shù)據(jù)采集環(huán)節(jié)定義不清晰造成的，可見，我們必須要重視數(shù)據(jù)采集的方法與定義，而不僅僅是將需求扔給開發(fā)部門完成。

下面先來學(xué)習(xí)一下日常工作中用到的數(shù)據(jù)采集方式，具體可以分為如下兩類。

非透明采集：指看不到原始數(shù)據(jù)，只能通過統(tǒng)計上報采集，常見的方法如埋點。

透明采集：直接提取業(yè)務(wù)線中現(xiàn)有的系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)，如日志服務(wù)器數(shù)據(jù)的整理抽取，在POS機的交易數(shù)據(jù)庫中抽取訂單數(shù)據(jù)等。

(定義1：數(shù)據(jù)采集方式)

在日常工作中，這兩種采集方式通常是結(jié)合使用的，可以此來豐富數(shù)據(jù)采集維度。但必須要強調(diào)的是，大家在設(shè)計數(shù)據(jù)采集方案時，一定要把握設(shè)計的度，否則很多新入行的產(chǎn)品經(jīng)理可能會走向如下兩個錯誤極端。

1)采集數(shù)據(jù)顆粒度過細，導(dǎo)致應(yīng)用緩慢。

很多產(chǎn)品經(jīng)理在定義數(shù)據(jù)指標(biāo)時，由于不能清楚地定位數(shù)據(jù)平臺的監(jiān)控范圍，害怕遺漏，便將產(chǎn)品中的所有元素都埋上點，導(dǎo)致一個圖文資訊類產(chǎn)品在用戶打開后流量消耗和看視頻一樣巨大，嚴重拖累產(chǎn)品體驗。

2)數(shù)據(jù)統(tǒng)計點過少(顆粒度過大)，導(dǎo)致發(fā)現(xiàn)問題時無法定位具體原因。

當(dāng)然，除了以上問題，也出現(xiàn)過另外一種過激的場景：為了避免應(yīng)用過于臃腫，而只采集了日活、月活、留存等通用的用戶數(shù)據(jù)，當(dāng)用戶量抖動變化時，根本無法定位究竟是什么原因?qū)е碌模瑪?shù)據(jù)使用者看到了這樣的結(jié)果卻又無法追溯問題，內(nèi)心其實比不知道用戶流失還難受。

讓我們繼續(xù)回到L公司的案例中，了解具體實戰(zhàn)中要怎么正確進行數(shù)據(jù)采集設(shè)計。

2.數(shù)據(jù)核心采集方式：埋點

到底什么是埋點呢?埋點的完整定義如下：

所謂埋點，又稱事件追蹤(Event Tracking)，是指針對特定標(biāo)識用戶的行為或事件進行捕獲、處理與傳輸?shù)炔僮鞯娜^程。(定義2：埋點)

通俗點來說，就是在用戶使用的客戶端中加入一個記錄者，忠實地記錄用戶的每一步操作，幫助我們洞察用戶的真正行為。例如，用戶到底喜歡什么，厭惡什么，從而讓我們獲取到正確的一手用戶數(shù)據(jù)。

通常情況下，一個埋點主要由三部分組成：目的、所服務(wù)的指標(biāo)和埋點細節(jié)說明。

對于埋點的設(shè)計，在工作中有如下三個一般性的設(shè)計原則。

• 反應(yīng)事件：必須能準確地獲取要監(jiān)測的事件。
• 描述完整：必須能清晰地反饋用戶的完整行為。
• 用戶追蹤：必須能判斷出哪類用戶有問題。

滿足這三個一般性設(shè)計原則才稱得上是一個比較完整的數(shù)據(jù)埋點方案。

原則1：反應(yīng)事件

在工作中我們需要統(tǒng)計的用戶行為是多種多樣的，因此在設(shè)計埋點時也應(yīng)該按照不同的類型進行劃分，埋點的監(jiān)測行為可以分為如下三類事件。

• 點擊事件：用戶點擊按鈕觸發(fā)的事件。
• 展現(xiàn)事件：用戶的操作界面中出現(xiàn)了多少次該事件。
• 停留事件：用戶停留在該頁面的時長。

原則2：描述完整

劃分不同的用戶事件只是完成了需要監(jiān)測的事件，為了能清晰地反饋用戶行為，我們還需要將用戶的行為再做一個細分，用戶的行為可以劃分為如下兩類。

• 有效行為：指觸發(fā)了帶有業(yè)務(wù)含義的操作，通常用來分析活動/產(chǎn)品的有效性。比如，Banner廣告位點擊、推薦商品點擊等，據(jù)此來得到轉(zhuǎn)化事件的觸發(fā)率，并評估運營活動/推薦算法的有效性。
• 點擊行為：指用戶在產(chǎn)品內(nèi)的一般性點擊，通常用來幫助推進產(chǎn)品迭代。比如，用戶經(jīng)常誤觸某些元素，我們就要分析是什么設(shè)計誤導(dǎo)用戶認為那里是可以點擊的，從而進行產(chǎn)品迭代，將用戶的操作引導(dǎo)到有效行為上。

原則3：用戶追蹤

要想實現(xiàn)用戶追蹤，我們就需要使用多種埋點方式來獲取全面的用戶數(shù)據(jù)。在埋點技術(shù)的發(fā)展過程中，埋點一共被劃分為四類，如下表所示。

下面從兩個維度來對這幾種埋點方式進行排序。

1)從準確性上來說，代碼埋點 = 服務(wù)器埋點<可視化埋點<全埋點。

2)從個人推薦上來說，代碼埋點 = 服務(wù)器埋點 >可視化埋點 > 全埋點。

關(guān)于作者：劉天，曾為國家科研項目帶頭人，TMT領(lǐng)域投研顧問/MBA特約講師/互聯(lián)網(wǎng)峰會特邀演講嘉賓，先后就職于萬達、叮咚買菜等公司，負責(zé)過多個集團級中臺與電商平臺業(yè)務(wù)的產(chǎn)品整體規(guī)劃。

本文摘編于《高階產(chǎn)品經(jīng)理必修課：企業(yè)戰(zhàn)略驅(qū)動下的數(shù)據(jù)體系搭建》，經(jīng)出版方授權(quán)發(fā)布。(ISBN：9787111694502)轉(zhuǎn)載請保留文章出處。