我們一起看看如何提升指標敏感度?
你好,這里是巡山貓編輯部,我是巡山貓。
最近在梳理過去的項目中的指標,看看不同的場景下,使用哪些指標更合適。隨著整理,發(fā)現(xiàn)很多時候,我們對指標的應(yīng)用僅思考是否能夠度量一個業(yè)務(wù)場景,并沒有思考是不是有更好的口徑,或者指標。
下面我們就以一個具體的例子來講講不同指標的不同口徑,有什么差異。
指標如何選擇
我們來看一個場景:當我們打開京東時,我們要計算頁面中「精選」模塊的點擊情況,我們該怎么計算?
相信你能想到 CTR ,也就是 點擊次數(shù) / PV,算出來是 平均一次PV,有多少次點擊
但是這么算真的合理嗎?思考30秒,再往下看。
就分子來說,點擊次數(shù)沒有異議,點擊了多少次就是多少次。但是PV呢?PV其實有三種計算方式:
1、頁面展現(xiàn)次數(shù)展現(xiàn)就算,不論是首次,還是各種操作后,回到當前頁面,都記錄
2、頁面加載次數(shù)首次加載才算,除非頁面再次加載,才重新記錄,否則就只記錄首次進入頁面
3、模塊曝光次數(shù)用戶實際看到模塊的次數(shù),看到1次后就記錄,再次看到則不記錄
這3種方法,你認為是哪種方式更合理呢?
想要回答這個問題,我們首先要明確,CTR度量的是什么?
1、是每一次首頁展現(xiàn),精選模塊被點擊的次數(shù),且需要與其他模塊做對比?
2、還是一次首頁加載,無論是否從其他頁面回退(不再重新加載),精選模塊總共被點擊了多少次?
3、還是度量這個模塊被看到了多少次,有了多少次有效點擊?
如果是第1種,那么我們公式中的分母是 頁面展現(xiàn)次數(shù)。即每次頁面被打開,我們都算1次,無論是 首次打開頁面,還是一頓操作后,又從別的頁面回到首頁。這種計算口徑,能很好的與其他模塊對齊量化口徑。但是我們不能保證每次用戶都能看到 精選模塊。
如果是第2種,與第1種的差異僅僅是,我們無論這個頁面展現(xiàn)了多少次,都只算第1次,只要沒有重新加載頁面,我們就不記錄。相比第1種,我們算出來的CTR值更大,指標也會更加敏感。
為什么第2種口徑下的CTR的度量會更敏感呢?設(shè)想一下,用戶在精選模塊不斷的點擊,找不同的想要的商品,找了10次才找到;以及用戶一上來就找到了想要的商品,只找了1次。這兩種情況,我們肯定希望是后者。
如果用第1種口徑來計算,由于我們每次頁面展現(xiàn)和點擊,都會記錄,那么CTR就一直是1(點擊1次/展現(xiàn)1次),無論是找了10次,還是找了1次,CTR都是1。
但是如果用第2種口徑來計算,找了10次的CTR是10,找了1次的CTR是1。因為無論你點擊了多少次,我們都只記錄1次。
可以發(fā)現(xiàn),第二種口徑,我們能夠用CTR來度量相同業(yè)務(wù)場景下的不同用戶操作,從而更好的度量產(chǎn)品的效果。所以第2種口徑會更加的敏感。
我們來說下第3種口徑。第三種口徑較前2種的差異就是,多少用戶真實的看到了這個模塊,這個模塊的點擊效果到底是如何的。但是同樣也帶來了問題,如果我們要將這個模塊與頁面中的其他模塊拉齊,我們就不太容易做到。因為有的模塊曝光了,有的沒有曝光,我們在計算時,就需要做一定的處理,從而不能做到數(shù)據(jù)上的易用性。
當然,用這幾種口徑中的哪種,都需要強結(jié)合業(yè)務(wù),因為隨著業(yè)務(wù)的不同,我們可能需要關(guān)注的越來越細致,就需要曝光口徑下的CTR,但前期來說,加載口徑的CTR就能滿足業(yè)務(wù)的使用了。
指標如何優(yōu)化
上面我以CTR為例,說明了一個指標本身就會有多種口徑,以及各個口徑的差異那么問題來了,是不是每個指標,都會有這樣的口徑差異呢?
這個問題肯定是仁者見仁,智者見智。結(jié)合著不同的業(yè)務(wù)場景,我們可以有不同的指標,不同的指標我們也可以做相應(yīng)的拆分。
就指標來說,我們可以將指標拆分為 底層公式 + 業(yè)務(wù)變量。
底層公式很簡單,比如CTR,就是 點擊次數(shù) / 展現(xiàn)次數(shù),這個是一個最基礎(chǔ)的計算邏輯。
但是業(yè)務(wù)變量我們就需要強結(jié)合業(yè)務(wù)了。如同上文所說,這個展現(xiàn)可能是服務(wù)端記錄了展現(xiàn),也有客戶端記錄的展現(xiàn),但是這兩種都不是用戶實際是否看到模塊。所以我們在實際建立指標時,還需要考慮業(yè)務(wù)變量。
隨著業(yè)務(wù)的迭代與發(fā)展,我們常常需要更細致的度量業(yè)務(wù),所以指標也需要隨著業(yè)務(wù)不斷調(diào)整,更加精確的度量業(yè)務(wù)。
以上,就是本期分享。