一、引言

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，從IT時代到DT時代，再到AI時代，埋點(diǎn)技術(shù)也在不斷升級和改進(jìn)。從Hadoop技術(shù)體系到如今的AI技術(shù)體系，埋點(diǎn)的應(yīng)用場景和價(jià)值不斷擴(kuò)大和提升。在AI時代，埋點(diǎn)的重要性更加突顯，因?yàn)锳I技術(shù)的發(fā)展離不開大量的數(shù)據(jù)支持，而埋點(diǎn)正是收集和存儲數(shù)據(jù)的關(guān)鍵。埋點(diǎn)的價(jià)值在于能夠收集數(shù)據(jù)、存儲數(shù)據(jù)和分析數(shù)據(jù)，為數(shù)據(jù)分析和決策提供有力支持。

在技術(shù)升級的同時，埋點(diǎn)的應(yīng)用也越來越廣泛。從營銷分析、產(chǎn)品優(yōu)化、運(yùn)營管理到用戶畫像等多個領(lǐng)域，埋點(diǎn)都有著重要的應(yīng)用。而在這些應(yīng)用中，埋點(diǎn)的作用也逐漸從簡單的數(shù)據(jù)收集轉(zhuǎn)變?yōu)楦又悄芑蛡€性化的服務(wù)。通過埋點(diǎn)收集的數(shù)據(jù)，企業(yè)可以更好地了解用戶需求、行為和偏好，進(jìn)而提供更加優(yōu)質(zhì)的產(chǎn)品和服務(wù)。

總之，埋點(diǎn)是大數(shù)據(jù)時代不可或缺的核心數(shù)據(jù)來源，其價(jià)值和作用在不斷擴(kuò)大和提升。在未來的數(shù)據(jù)時代，埋點(diǎn)將繼續(xù)扮演著重要的角色，為數(shù)據(jù)分析和決策提供有力支持。

二、埋點(diǎn)工具概覽

在埋點(diǎn)研發(fā)過程中，埋點(diǎn)工具起到了非常重要的作用。一些常見的埋點(diǎn)工具包括SDK和web請求抓包等輔助工具，可以幫助業(yè)務(wù)進(jìn)行埋點(diǎn)以及驗(yàn)證，有利的工具可以提高埋點(diǎn)的效率，并確保埋點(diǎn)數(shù)據(jù)的準(zhǔn)確性和有效性。

埋點(diǎn)工具集主要包括埋點(diǎn)需求管理工具、埋點(diǎn)驗(yàn)證工具、埋點(diǎn)數(shù)據(jù)采集工具和埋點(diǎn)數(shù)據(jù)查詢四部分。

• 埋點(diǎn)需求管理工具是一個重要的工具，它可以幫助數(shù)據(jù)產(chǎn)品人員更好地管理埋點(diǎn)需求，對埋點(diǎn)數(shù)據(jù)進(jìn)行分析和瀏覽，為后續(xù)埋點(diǎn)工作提供支持。
• 埋點(diǎn)驗(yàn)證工具則是對埋點(diǎn)數(shù)據(jù)質(zhì)量進(jìn)行驗(yàn)證的工具，主要包括數(shù)據(jù)抓包和驗(yàn)證，確保全鏈路數(shù)據(jù)埋點(diǎn)的數(shù)據(jù)質(zhì)量。
• 埋點(diǎn)數(shù)據(jù)采集工具主要負(fù)責(zé)將埋點(diǎn)數(shù)據(jù)進(jìn)行采集，確保線上數(shù)據(jù)的正常有效采集。
• 埋點(diǎn)數(shù)據(jù)查詢則是將采集到的數(shù)據(jù)進(jìn)行查詢和分析，幫助企業(yè)更好地了解用戶行為和需求，為業(yè)務(wù)決策提供數(shù)據(jù)支持。

三、埋點(diǎn)需求管理

知乎埋點(diǎn)需求管理平臺的演進(jìn)，以簡化埋點(diǎn)設(shè)計(jì)流程為主線，同時也注重降低設(shè)計(jì)成本，提高效率和易用性，使其能更好地滿足軟件開發(fā)人員和項(xiàng)目管理人員的需求，增強(qiáng)其生產(chǎn)力。

從1.0版本升級到2.0版本，知乎埋點(diǎn)需求管理平臺主要改進(jìn)在兩方面。一方面，降本增效成為該平臺升級的核心思路。這不僅能幫助開發(fā)人員和項(xiàng)目管理人員專注于軟件開發(fā)和項(xiàng)目管理本身，減少因繁瑣的埋點(diǎn)設(shè)計(jì)流程占用時間和精力的困擾，同時，增效功能可以更快地完成埋點(diǎn)設(shè)計(jì)，提高團(tuán)隊(duì)整體工作效率。另一方面，簡化整個埋點(diǎn)設(shè)計(jì)流程也是該平臺升級的重要改進(jìn)之一。1.0版本中，埋點(diǎn)設(shè)計(jì)流程較為復(fù)雜，需要進(jìn)行多個步驟的配置，給用戶帶來了較高的操作難度和學(xué)習(xí)成本。2.0版本中，知乎埋點(diǎn)需求管理平臺將多個步驟整合成一個流程，大大簡化了用戶的操作流程，提升了使用體驗(yàn)。

為了更快捷、高效地完成需求復(fù)制，并對不同場景下的埋點(diǎn)差異進(jìn)行比較，我們提出了一項(xiàng)智能化的功能。該功能可以根據(jù)需求，快速生成埋點(diǎn)代碼，并通過流程化的方式，將各個流程中涉及到的埋點(diǎn)需求、內(nèi)容及時傳遞給相關(guān)負(fù)責(zé)人，以確保整個流程的清晰明了。

四、埋點(diǎn)驗(yàn)證

經(jīng)過前期埋點(diǎn)需求設(shè)計(jì)與開發(fā)的緊密合作，現(xiàn)已順利完成該項(xiàng)目的關(guān)鍵節(jié)點(diǎn)——埋點(diǎn)驗(yàn)證功能的設(shè)計(jì)與開發(fā)。相較于之前單點(diǎn)抓包自行驗(yàn)證的方式，此次的升級采用了平臺化的驗(yàn)證方案，這一改進(jìn)顯著提升了測試效率，為數(shù)據(jù)質(zhì)量的保障奠定了堅(jiān)實(shí)的基礎(chǔ)。

作為知乎埋點(diǎn)功能的1.0版本，本次升級至2.0版本，主要體現(xiàn)在單點(diǎn)抓包自行驗(yàn)證的方式已經(jīng)成為過去式，取而代之的是平臺化的驗(yàn)證方案。這一變革不僅為埋點(diǎn)功能的應(yīng)用提供了更高效的驗(yàn)證方式，同時也提升了整個埋點(diǎn)驗(yàn)證過程的質(zhì)量，為后續(xù)埋點(diǎn)功能的運(yùn)用奠定了良好的基礎(chǔ)。

數(shù)據(jù)驗(yàn)證功能1.0升級到2.0版本主要有以下幾點(diǎn)的改善:

• 技術(shù)上從單點(diǎn)架構(gòu)升級到云原生高可用的保障方案,引入消息隊(duì)列中間件，支持無狀態(tài)多節(jié)點(diǎn)部署，避免單點(diǎn)故障，保障業(yè)務(wù)系統(tǒng)的高可用。
• 埋點(diǎn)測試可以快速綁定埋點(diǎn)需求，進(jìn)行埋點(diǎn)測試，并生成相關(guān)測試報(bào)告。

五、埋點(diǎn)數(shù)據(jù)采集

1.0版本的采集服務(wù)系統(tǒng)整個流程為，由客戶端上報(bào)后，埋點(diǎn)數(shù)據(jù)會先經(jīng)過服務(wù)本地緩沖隊(duì)列，再進(jìn)行線程轉(zhuǎn)發(fā)給消息隊(duì)列Kafka。1.0版本經(jīng)歷了5年的時間，采用python代碼開發(fā)，代碼臃腫，數(shù)據(jù)處理機(jī)制延遲較高，隨著時間的推移后續(xù)迭代變更風(fēng)險(xiǎn)呈指數(shù)級增長，1.0版本的缺點(diǎn)由于本身的架構(gòu)限制而日益凸顯。

2.0版本采用平臺級別的數(shù)據(jù)采集方案，仍然以消息中間件作為與數(shù)倉溝通的橋梁，但臃腫的數(shù)據(jù)處理機(jī)制全部重構(gòu)，內(nèi)部數(shù)據(jù)兜底策略使用多路消息中間件作為backup，可讓數(shù)據(jù)輸出直面消息MQ提示整體的處理能力，整個數(shù)據(jù)鏈路計(jì)算耗時縮短為之前的1/15（延時基本保證在30ms以內(nèi)）。除此之外為了保證迭代的安全性，根據(jù)不同的埋點(diǎn)數(shù)據(jù)處理流程提供單獨(dú)的處理器實(shí)例，可實(shí)現(xiàn)快速的橫向擴(kuò)展，這樣引入新的數(shù)據(jù)處理機(jī)制時可減少變更風(fēng)險(xiǎn)。

六、埋點(diǎn)數(shù)據(jù)查詢

埋點(diǎn)數(shù)據(jù)查詢工具，主要面向人群為運(yùn)營、分析師、產(chǎn)品角色的同學(xué)，供其進(jìn)行數(shù)據(jù)查詢分析使用。整體架構(gòu)是建立在數(shù)據(jù)服務(wù)上的，以Web-API的方式查詢數(shù)據(jù)服務(wù)，數(shù)據(jù)查詢功能和底層數(shù)據(jù)模型和存儲進(jìn)行架構(gòu)分離，使用上通過配置可以快速生成API，使得效率大幅提升。

為了提升業(yè)務(wù)的高頻訪問速度和用戶體驗(yàn)，我們針對不同的需求定制了精簡化的維度設(shè)置，例如在product、國家、地區(qū)等方面，我們選用了具有強(qiáng)大處理能力的Doris底層架構(gòu)，以便更加高效地處理海量數(shù)據(jù)。另外，為了滿足埋點(diǎn)數(shù)據(jù)產(chǎn)品平臺的高性能查詢需求，我們選擇了基于Hive的Presto引擎作為底層數(shù)據(jù)查詢引擎，能夠輕松支持大規(guī)模的數(shù)據(jù)離線以及實(shí)時查詢?nèi)蝿?wù)，提供更快捷、精準(zhǔn)的查詢結(jié)果。

七、埋點(diǎn)服務(wù)

埋點(diǎn)數(shù)據(jù)查詢基于基礎(chǔ)數(shù)據(jù)服務(wù)，其主要包括三點(diǎn)核心設(shè)計(jì)：數(shù)據(jù)集成、邏輯模型以及云原生。

數(shù)據(jù)服務(wù)主要解決如下問題：

• 數(shù)據(jù)集成，降低異構(gòu)數(shù)據(jù)接入成本；針對不同的數(shù)據(jù)結(jié)構(gòu)和使用特點(diǎn)，會通過數(shù)據(jù)產(chǎn)出任務(wù)導(dǎo)入不同的中間存儲，對外無感知。
• 通過邏輯模型解決接口和物理模型無法復(fù)用的問題；可有效避免煙囪式的開發(fā)模式；邏輯模型是虛擬的能夠解決掉面對同一物理模型而需要關(guān)注不同的列的需求，避免數(shù)據(jù)重復(fù)加工，而且其本身并不產(chǎn)生落盤數(shù)據(jù)，而是在查詢時動態(tài)獲取數(shù)據(jù)，這樣也使數(shù)據(jù)通過api對外共享成為了可能。
• 全鏈路關(guān)系的打通；有了數(shù)據(jù)服務(wù)后，對外界暴露的數(shù)據(jù)就可以通過api來實(shí)現(xiàn)了，應(yīng)用發(fā)布api以后，我們可以通過物理模型本身的數(shù)據(jù)血緣所對應(yīng)的邏輯模型中去打標(biāo)簽，標(biāo)簽是根據(jù)上層的數(shù)據(jù)應(yīng)用涉及的具體頁面接入是生成的，這樣就可以和原本物理模型的數(shù)據(jù)血緣可以組成全鏈路的數(shù)據(jù)血緣關(guān)系；當(dāng)上層數(shù)據(jù)應(yīng)用接入或者下線時，我們就可以條件或者清除掉對應(yīng)的標(biāo)記；這樣不但能解決掉數(shù)據(jù)加工任務(wù)異常時無法根據(jù)應(yīng)用的重要性排列恢復(fù)優(yōu)先級的問題，而且還能解決掉數(shù)據(jù)下線時不知道哪些業(yè)務(wù)引用了的難題。 
• 防止基礎(chǔ)表字段變更對上層應(yīng)用造成影響；底層物理模型變更其實(shí)是比較頻繁的事情；因?yàn)閰R總層的模型也一直在隨著業(yè)務(wù)需求去做完善和優(yōu)化，所以基礎(chǔ)的字段增刪以及修改會經(jīng)常發(fā)生，如果沒有數(shù)據(jù)服務(wù)通過接口的方式提供查詢，就會出現(xiàn)字段變更之后需要強(qiáng)推業(yè)務(wù)修改代碼重新上線，這是非常不合理的，數(shù)據(jù)服務(wù)邏輯模型可以避免掉這個問題，可以通過物理字段和邏輯字段的映射關(guān)系達(dá)到對用戶訪問透明的效果，這樣就消除了數(shù)據(jù)訪問字段強(qiáng)依賴的問題。

八、提問環(huán)節(jié)

Q1: 埋點(diǎn)需求流程中參數(shù)設(shè)計(jì)及上線由哪個角色負(fù)責(zé)比較合理？

A1: 知乎埋點(diǎn)流程是由整體的數(shù)據(jù)產(chǎn)品把控的，業(yè)務(wù)產(chǎn)品進(jìn)行需求規(guī)劃和建立，數(shù)據(jù)產(chǎn)品根據(jù)業(yè)務(wù)需求進(jìn)行埋點(diǎn)設(shè)計(jì)，后續(xù)埋點(diǎn)開發(fā)、驗(yàn)證到上線驗(yàn)收也是由數(shù)據(jù)產(chǎn)品進(jìn)行整體閉環(huán)掌握。

Q2: 用戶端的行為session，客戶端上報(bào)還是服務(wù)端上報(bào)比較合理？

A2: 在用戶體驗(yàn)和數(shù)據(jù)分析方面，用戶Session的設(shè)計(jì)和實(shí)現(xiàn)是至關(guān)重要的。通過對Session的不同類型進(jìn)行深入了解，可以更好地把握用戶在不同頁面和應(yīng)用場景下的行為特征。同時，SDK方案的優(yōu)化也可以幫助提高代碼質(zhì)量，更好地保障行為質(zhì)量。這些都需要通過精細(xì)的端上控制來實(shí)現(xiàn)。在具體實(shí)現(xiàn)方面，端上對Session的管理是非常關(guān)鍵的。在不同的場景下，用戶的行為會呈現(xiàn)出不同的特點(diǎn)，例如在網(wǎng)頁中，用戶的行為通常是點(diǎn)擊、滑動、搜索等操作；而在移動應(yīng)用中，用戶的行為可能會涉及到應(yīng)用的啟動、加載、操作等多個環(huán)節(jié)。因此，我們需要通過深入分析用戶的行為特征，從而對不同類型的Session進(jìn)行細(xì)致的劃分和設(shè)計(jì)。另外，SDK方案的優(yōu)化也是提高行為質(zhì)量的關(guān)鍵之一。SDK方案可以通過優(yōu)化代碼邏輯、提高性能、降低延遲等方式，來幫助我們更好地捕捉用戶行為數(shù)據(jù)。在這個過程中，我們需要對用戶行為進(jìn)行分析和預(yù)測，以便更好地優(yōu)化SDK方案，從而提高用戶的滿意度和體驗(yàn)?？傊瑢τ谟脩鬝ession的設(shè)計(jì)和實(shí)現(xiàn)，我們需要充分了解不同場景下用戶的行為特征，通過精細(xì)的端上控制和優(yōu)化SDK方案，來保障用戶行為的質(zhì)量和數(shù)據(jù)的準(zhǔn)確性。這需要我們不斷探索和創(chuàng)新，以更好地滿足用戶的需求和期望。

Q3: 什么樣的埋點(diǎn)體系才是很好的埋點(diǎn)體系？

A3: 根據(jù)公司業(yè)務(wù)業(yè)務(wù)需求特性落地，核心包括(1)流程規(guī)范性保障，從埋點(diǎn)需求到埋點(diǎn)設(shè)計(jì)、再到埋點(diǎn)開發(fā)和測試和驗(yàn)收整個流程上保障一致性。(2)全鏈路數(shù)據(jù)質(zhì)量保障，通過埋點(diǎn)工具保障埋點(diǎn)設(shè)計(jì)和埋點(diǎn)生產(chǎn)數(shù)據(jù)保障一致。

Q4: 業(yè)務(wù)產(chǎn)品版本，埋點(diǎn)版本和前端功能版本之間的關(guān)系是怎么樣的？

A4: 針對埋點(diǎn)版本是有對應(yīng)的落庫記錄，可以通過不同版本的差異，快速尋找對應(yīng)的埋點(diǎn)差異。

Q5: 埋點(diǎn)成本如何優(yōu)化 ？

A5: 埋點(diǎn)版本生命周期管理,針對不同版本，無效埋點(diǎn)進(jìn)行下線，降低數(shù)據(jù)產(chǎn)出級別成本;數(shù)倉表生命周期管理:按照數(shù)倉分層，不同分層對數(shù)據(jù)使用的周期，進(jìn)行數(shù)據(jù)生命周期管理。