作者 | Lior Gavish

譯者 | 翟珂

策劃 | 武穆

開發(fā)內(nèi)部數(shù)據(jù)產(chǎn)品，無論是功能強(qiáng)大的執(zhí)行儀表板，還是由機(jī)器學(xué)習(xí)驅(qū)動的營銷預(yù)測買家模型，或者是BI團(tuán)隊的新客戶模型，都是數(shù)據(jù)團(tuán)隊為公司增加價值的最有效方式之一。

但是，開發(fā)一個外部數(shù)據(jù)產(chǎn)品卻有些不同：雖然更容易增加價值，但也更困難。這是一個不同的動作，需要你的團(tuán)隊構(gòu)建新的習(xí)慣。

同時，開發(fā)一個外部數(shù)據(jù)產(chǎn)品也是一種新的思維方式，需要更高水平的協(xié)調(diào)性、紀(jì)律性和嚴(yán)謹(jǐn)性。

這并不是說它不能由同一個團(tuán)隊完成，也不是說你的內(nèi)部數(shù)據(jù)使用者不能得到與你的外部客戶相同的服務(wù)水平。

餐廳銷售點提供商Toast公司的數(shù)據(jù)工程經(jīng)理Noah Abramson最近談到了他們在這方面的經(jīng)驗：“我們的一大價值是為我們的客戶提供商業(yè)洞察力。餐館，隨著時間的推移，他們的表現(xiàn)如何？他們昨天的銷售額是多少？誰是他們的主要客戶？與我們的餐廳客戶互動是數(shù)據(jù)平臺團(tuán)隊的工作……我們說我們的客戶都是Toast員工。我們試圖讓他們所有人都能獲得盡可能多的數(shù)據(jù)。我們的團(tuán)隊為所有的內(nèi)部數(shù)據(jù)訪問提供服務(wù)，從產(chǎn)品到市場到客戶支持到硬件運營。”我也很幸運，在過去的工作中，我有機(jī)會在Monte Carlo的數(shù)據(jù)可觀測平臺中構(gòu)建內(nèi)部數(shù)據(jù)產(chǎn)品以及外部數(shù)據(jù)產(chǎn)品。

在這篇文章中，我們將總結(jié)這些經(jīng)驗，并介紹數(shù)據(jù)團(tuán)隊如何通過了解與構(gòu)建內(nèi)部產(chǎn)品不同的5個關(guān)鍵維度來成功推出外部數(shù)據(jù)產(chǎn)品，其中包括：

• 架構(gòu)
• 用戶期望
• 投資回報率
• 自助服務(wù)
• 迭代

但首先，重要的是要了解到底什么是外部數(shù)據(jù)產(chǎn)品或數(shù)據(jù)應(yīng)用，以及開發(fā)出來的應(yīng)用類型將如何指導(dǎo)做出決策。

什么是外部數(shù)據(jù)產(chǎn)品？有哪些數(shù)據(jù)應(yīng)用實例？它們?nèi)绾斡绊懩愕臎Q策？

外部數(shù)據(jù)產(chǎn)品是面向或影響客戶的任何數(shù)據(jù)資產(chǎn)。范圍可以從用于客戶計費流程的數(shù)據(jù)集到完全獨立的數(shù)據(jù)密集型應(yīng)用，并有自己的用戶界面提供給客戶操作。

目前數(shù)據(jù)領(lǐng)域最熱門的趨勢之一是，公司在其SaaS產(chǎn)品中創(chuàng)建數(shù)據(jù)應(yīng)用程序或添加額外層，以幫助客戶分析數(shù)據(jù) ，就像前面提到的Toast公司一樣。

Snowflake有一個有用的列表，列出了五種常見類型的數(shù)據(jù)應(yīng)用類型（完整的參考架構(gòu)）：

• 客戶360：營銷或銷售自動化，需要對客戶關(guān)系有一個完整的看法。
• 物聯(lián)網(wǎng)：對來自物聯(lián)網(wǎng)設(shè)備和傳感器的大量時間序列數(shù)據(jù)進(jìn)行近乎實時的分析。
• 應(yīng)用健康和安全分析：通過分析大量的日志數(shù)據(jù)，識別潛在的安全威脅和監(jiān)測應(yīng)用程序的運行狀況。
• 機(jī)器學(xué)習(xí)（ML）和數(shù)據(jù)科學(xué)：訓(xùn)練和部署機(jī)器學(xué)習(xí)模型，以構(gòu)建預(yù)測性應(yīng)用，如推薦引擎。
• 嵌入式分析：在應(yīng)用程序中提供的品牌分析和可視化。

然而，外部數(shù)據(jù)產(chǎn)品不需要是完全內(nèi)置的應(yīng)用程序，也不需要集成在主要的SaaS產(chǎn)品中。例如，Monte Carlo公司的做法就不是這樣。

我們是一個數(shù)據(jù)密集型的SaaS應(yīng)用，可以在用戶界面中進(jìn)行監(jiān)控、報警和提供線索。還可以在用戶界面中向客戶提供洞察力報告，并為他們提供選擇，使用Snowflake數(shù)據(jù)共享集成在他們自己的Snowflake環(huán)境中。

在后一種情況下，我們只是為客戶提供構(gòu)件，使其能夠進(jìn)一步定制他們想要的可視化方式或與其他數(shù)據(jù)相結(jié)合。

對什么是數(shù)據(jù)應(yīng)用或外部數(shù)據(jù)產(chǎn)品有一個全面的認(rèn)識是很重要的，因為這能促使團(tuán)隊確保給予更高的嚴(yán)謹(jǐn)性，最好是在工程之外出錯。

下面這些問題很重要：

• 我們有哪些外部數(shù)據(jù)產(chǎn)品，它們有哪些類型？
• 他們在為誰服務(wù)？有哪些使用案例？
• 他們是否滿足這些期望？我們?nèi)绾魏饬磕兀?/span>
• 我們是否擁有合適的工具和流程？

從后續(xù)五個維度評估外部數(shù)據(jù)產(chǎn)品也很重要。

架構(gòu)

與內(nèi)部產(chǎn)品一樣，外部數(shù)據(jù)產(chǎn)品可以利用各種數(shù)據(jù)云服務(wù)作為其平臺的基礎(chǔ)，包括數(shù)據(jù)湖或數(shù)據(jù)倉庫。

然而，許多人會利用像 Snowflake這樣的解決方案，因為它能優(yōu)化大規(guī)模存儲和查詢關(guān)系型數(shù)據(jù)的方式。這可能是你的團(tuán)隊第一次討論多租戶架構(gòu)。在為外部客戶服務(wù)時，這是一個很大的變化和決策點。

當(dāng)利用數(shù)據(jù)倉庫作為產(chǎn)品的基礎(chǔ)時，Snowflake描述了三種多租戶設(shè)計選項：

• 多租戶表：將租戶集中在單個共享對象中，使租戶能夠有效地共享計算和其他資源。
• 每個租戶的對象：將租戶隔離到同一賬戶中的單獨表、模式、數(shù)據(jù)庫和倉庫中。
• 每個租戶的賬戶：將租戶隔離到單獨的Snowflake賬戶中。

每個選項都有優(yōu)點和缺點，但總的來說，選擇取決于什么需要更有效地伸縮—共享計算/存儲還是基于角色的數(shù)據(jù)訪問 。

大多數(shù)內(nèi)部產(chǎn)品都是在同一公司交付的，要遵守同樣的公司內(nèi)部政策和法規(guī)。例如，如果營銷團(tuán)隊的數(shù)據(jù)資產(chǎn)與法律團(tuán)隊的數(shù)據(jù)資產(chǎn)在同一個倉庫中，他們不會感到不安。但外部客戶可能會更關(guān)心。

當(dāng)然，你可以在你的堆棧中做出其他的架構(gòu)選擇來減輕這些權(quán)衡。例如，Monte Carlo利用Snowflake的MTT多租戶架構(gòu)，使用行業(yè)的最佳實踐，如標(biāo)記化，從邏輯上分離客戶數(shù)據(jù)。此外，我們使用一個混合架構(gòu)，將數(shù)據(jù)收集器嵌入客戶的環(huán)境中（但通常不總是作為自己的虛擬私有云）。

這意味著數(shù)據(jù)永遠(yuǎn)不會離開其環(huán)境。PII和敏感數(shù)據(jù)被抽象化，我們提取的是非敏感日志和評估其數(shù)據(jù)系統(tǒng)健康狀況所需的指標(biāo)聚合。

架構(gòu)決策過程的另一部分，類似于內(nèi)部數(shù)據(jù)產(chǎn)品，是了解用例和工作負(fù)載。頻率、規(guī)模和所需的時間表是多少？客戶會在設(shè)定的時間接收數(shù)據(jù)、能夠按需查詢數(shù)據(jù)、實時訪問數(shù)據(jù)，還是三者兼而有之？正如我們之前提到的，了解工作負(fù)載對于做出具有成本效益的架構(gòu)選擇非常有幫助。然而，與外部產(chǎn)品不同的是，可能有更多種類的用例需要支持。

在構(gòu)建Monte Carlo時，我們不僅要考慮我們的關(guān)鍵任務(wù)生產(chǎn)的工作負(fù)載，還要考慮我們的內(nèi)部團(tuán)隊如何訪問這些面向外部的數(shù)據(jù)。在這種情況下，進(jìn)行內(nèi)部分析和數(shù)據(jù)科學(xué)研究，作為開發(fā)我們的機(jī)器學(xué)習(xí)驅(qū)動的異常監(jiān)視器的一部分。

用戶期望

假設(shè)你有一個數(shù)據(jù)產(chǎn)品，你的用戶通常可以信任它來幫助回答他們的一些問題。數(shù)據(jù)每天都會刷新，儀表板有一些可點擊的元素，他們可以在其中深入了解詳細(xì)信息。

這對一些內(nèi)部用戶來說可能已經(jīng)足夠了。他們可以完成他們的工作，表現(xiàn)要比沒有儀表板時更好。另一方面，你的外部用戶卻很生氣。他們想信任你的產(chǎn)品，想讓它實時地回答他們所有的問題。

他們憑什么不該生氣呢？畢竟，他們是為你的產(chǎn)品買單的，他們本可以選擇競爭對手的產(chǎn)品。

當(dāng)數(shù)據(jù)是產(chǎn)品時，數(shù)據(jù)質(zhì)量就是產(chǎn)品質(zhì)量。這個簡單的事實就是為什么一些最熱衷于采用我們的數(shù)據(jù)觀察型平臺的人正在利用它來支持他們的數(shù)據(jù)應(yīng)用。例如，多渠道數(shù)字廣告供應(yīng)商Choozle，在推出大規(guī)模平臺升級到一流的數(shù)據(jù)可靠性時，采用了數(shù)據(jù)觀察能力。

Choozle公司首席技術(shù)官亞當(dāng)-伍茲說：“如果沒有這樣的工具，我們可能會對最終結(jié)果的表格進(jìn)行監(jiān)控，但這可能會隱藏很多問題?！?/strong>你可能看不到與表格中成千上萬的廣告活動中的一小部分相關(guān)的內(nèi)容，但運行該活動的廣告商將會看到它。有了[數(shù)據(jù)可觀察性]，我們就無需妥協(xié)。我們可以對所有的3500個表進(jìn)行監(jiān)測。

當(dāng)數(shù)據(jù)面向客戶或為面向客戶的應(yīng)用程序提供動力時，質(zhì)量差甚至?xí)p壞產(chǎn)品。例如，創(chuàng)建具有相同主鍵的重復(fù)對象的數(shù)據(jù)問題實際上導(dǎo)致了Netflix的中斷。

在規(guī)模和速度方面，外部客戶從不想等待數(shù)據(jù)，他們想要更多的數(shù)據(jù)維度，以便他們可以切分和拼接到他們心中的內(nèi)容。例如，我們的一位金融服務(wù)客戶不僅關(guān)注數(shù)據(jù)新鮮度，還關(guān)注數(shù)據(jù)延遲，換句話說，即在支持查詢的同時近乎實時地加載和更新數(shù)據(jù)的能力。

Snowflake數(shù)據(jù)共享和Snowpipe可以幫助減少數(shù)據(jù)延遲。Blackboard通過使用Snowpipe連續(xù)加載數(shù)據(jù)并從S3批量加載，解決了他們的延遲挑戰(zhàn)，并使ETL工作負(fù)載的運行速度比以前快400倍。

縮放數(shù)據(jù)維度也有助于區(qū)分。再次以Choozle為例，根據(jù)Adam的升級平臺：Snowflake使我們能夠?qū)⑺行畔⑻峁┙o我們的用戶。例如，我們可以顯示前20個郵政編碼的廣告活動效果，現(xiàn)在廣告商可以根據(jù)需要訪問美國所有 30,000個郵政編碼的數(shù)據(jù)。

最后，在數(shù)據(jù)安全和隱私方面，你的外部數(shù)據(jù)產(chǎn)品可能不僅需要在理論上考慮 PII，還需要通過SOC II等行業(yè)標(biāo)準(zhǔn)來實際證明有效的安全控制。

投資回報率

絕大多數(shù)的數(shù)據(jù)團(tuán)隊都沒有根據(jù)硬性的投資回報率進(jìn)行評估。事實上，具有諷刺意味的是，在談到業(yè)績時，往往缺乏指標(biāo)，據(jù)數(shù)據(jù)平臺產(chǎn)品管理總監(jiān)布蘭登-貝德爾（Brandon Beidel）說，最初在Red Ventures就是這種情況。

下一層是衡量性能。系統(tǒng)性能如何？如果有很多問題，那么也許我們沒有以有效的方式構(gòu)建我們的系統(tǒng)?；蛘撸梢愿嬖V我們在哪里優(yōu)化我們的時間和資源......擁有記錄也能使數(shù)據(jù)團(tuán)隊的評估從“我覺得團(tuán)隊做得好/做得不好”的感覺演變?yōu)楦跀?shù)據(jù)的內(nèi)容。

內(nèi)部數(shù)據(jù)產(chǎn)品也是如此。通常情況下，成績是臨時獲得的，“由于我們的新客戶數(shù)據(jù)平臺，我們的廣告支出回報率增加了3倍”，而不是根據(jù)生產(chǎn)成本或每位用戶的成本進(jìn)行衡量。當(dāng)你構(gòu)建一個外部數(shù)據(jù)產(chǎn)品時，這種好運就消失了。產(chǎn)品經(jīng)理需要了解如何定價，而且它必須是盈利的（在某些時候）。他們需要知道構(gòu)建產(chǎn)品的啟動成本，以及每個組件在提供服務(wù)時的成本（商品成本）。

這對那些沒有為其數(shù)據(jù)產(chǎn)品構(gòu)建內(nèi)部收費模式的數(shù)據(jù)團(tuán)隊來說是具有挑戰(zhàn)性的，這些模式可以根據(jù)使用規(guī)模對客戶進(jìn)行區(qū)分、跟蹤和收費。

自助服務(wù)

“啊哈!”你說，“我們的團(tuán)隊已經(jīng)允許內(nèi)部用戶使用自助服務(wù)，這不是什么新鮮事?！边@可能是對的，但自助服務(wù)和可用性的門檻也提高了。

你的外部客戶不能隨時問你關(guān)于數(shù)據(jù)的問題，也不知道你是如何得出這個客戶的流失可能性是：“5張皺眉臉中的3.5張”。數(shù)據(jù)產(chǎn)品不能是一個黑盒子，你需要展示你的工作。

UI必須是直觀的，相關(guān)性必須是直接的，背景必須是明顯的。

迭代

當(dāng)你構(gòu)建你的內(nèi)部數(shù)據(jù)產(chǎn)品時，在收集需求、構(gòu)建和與業(yè)務(wù)涉眾迭代時，最初通常進(jìn)展緩慢 。

在這之后，團(tuán)隊往往會開始運行，進(jìn)入下一個項目。會有一些補(bǔ)丁和修復(fù)，以應(yīng)對數(shù)據(jù)停機(jī)，或者也許是為了滿足內(nèi)部SLA，但總的來說，你不是每季度都在重構(gòu)這些儀表盤。

如前所述，付費客戶有更高的期望，他們也有更多的反饋。但是，你需要知道它即將到來并為其構(gòu)建。例如，Toast非常注重其流程的效率：Toast數(shù)據(jù)工程師Angie Delatorre說：“我們不僅傾聽業(yè)務(wù)需求，并大力支持它們，而且我們還在內(nèi)部尋找并解決可擴(kuò)展性問題?！比绻豁椆ぷ鬟^去需要一個小時，而現(xiàn)在需要三個小時，我們總是需要回去看看這些實例，所以這也影響了我們的OKR。

在擴(kuò)展運營方面，Snowflake產(chǎn)品管理總監(jiān)Chris Child建議：首先，以最高的保真度把你的所有數(shù)據(jù)放在一個地方。只要把原始數(shù)據(jù)放在那里。第二，想出可重復(fù)的管道，將數(shù)據(jù)提供給數(shù)據(jù)分析人員。你不希望每次你想做什么的時候都要回到原始數(shù)據(jù)。

前Uber數(shù)據(jù)產(chǎn)品經(jīng)理Atul Gupte討論了迭代數(shù)據(jù)產(chǎn)品時了解它的重要性：如何劃分產(chǎn)品路線圖的優(yōu)先級，以及需要為誰(通常是工程師)構(gòu)建和設(shè)計(日常平臺用戶，包括分析師)。

出師

雖然這個博客讀起來像是一個你不應(yīng)該構(gòu)建外部數(shù)據(jù)產(chǎn)品的理由清單，但我希望它有助于揭開與這項艱巨但值得的努力相關(guān)的挑戰(zhàn)的神秘面紗。

你不會在第一個沖刺就構(gòu)建起完美的外部數(shù)據(jù)應(yīng)用程序（沒有人會這樣做），但我鼓勵你構(gòu)建、運送、迭代、沖洗和重復(fù)。

原文鏈接：https://dzone.com/articles/why-building-an-external-data-product-is-so-hard

譯者介紹

翟珂，51CTO社區(qū)編輯，目前在杭州從事軟件研發(fā)工作，做過電商、征信等方面的系統(tǒng)，享受分享知識的過程，充實自己的生活。