1.自我介紹

• 數(shù)據(jù)的抽取（從不同的數(shù)據(jù)庫、ftp）獲取數(shù)據(jù)
• 轉(zhuǎn)換（數(shù)據(jù)合并、統(tǒng)計）
• 生成寬表（用于支撐 BI 部門的數(shù)據(jù)展示）

這份工作跟數(shù)據(jù)打交道比較多，當(dāng)時也是大數(shù)據(jù)潮流來襲的時候，正好也遇到了疫情，在家辦公期間學(xué)習(xí)了基于 Hadoop 的大數(shù)據(jù)相關(guān)的組件：

• 大數(shù)據(jù)基座 Hadoop
• 數(shù)據(jù)抽取工具 sqoop、flume
• 數(shù)據(jù)存儲和分析 Hive、HBase
• 調(diào)度工具 Azkaban（個人也集合 kettle 實現(xiàn)了 ktr 和 kjb 的調(diào)用）

隨著大數(shù)據(jù)知識的加深，我開始做大數(shù)據(jù)相關(guān)的系統(tǒng)，當(dāng)時使用的大數(shù)據(jù)平臺主要是基于分布式數(shù)據(jù)庫 Greenplum 的，并非 Hadoop，但是實現(xiàn)思路是相似的，就是使用多個節(jié)點將數(shù)據(jù)和算力分?jǐn)傞_來，最終再聚合到一起。數(shù)據(jù)中臺也是很重要的一環(huán)，這些年數(shù)據(jù)資產(chǎn)的使用率也備受關(guān)注，“數(shù)據(jù)飛輪”的概念也越來越被推崇，我簡單分享一下自己在這方面的應(yīng)用。

2.沉睡的數(shù)據(jù)

數(shù)據(jù)的存儲和管理本身并不直接創(chuàng)造價值，真正重要的是如何將這些數(shù)據(jù)轉(zhuǎn)化為可操作的洞見和決策支持，從而促進企業(yè)的數(shù)字化轉(zhuǎn)型和業(yè)務(wù)增長。

而且設(shè)備的數(shù)據(jù)是海量的，如果不進行合理的分析利用，日積月累的數(shù)據(jù)僅僅是量的增加，數(shù)據(jù)沉睡的原因：

• 數(shù)據(jù)冗余（沒有發(fā)掘當(dāng)前業(yè)務(wù)之外似乎無關(guān)的字段價值）
• 分析維度少（沒有聚合分析數(shù)據(jù)，導(dǎo)致數(shù)據(jù)的分析價值較低）
• 數(shù)據(jù)未進行結(jié)構(gòu)化處理（一些文檔、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)未進行分類）

3.數(shù)據(jù)飛輪讓數(shù)據(jù)再次產(chǎn)生價值

“數(shù)據(jù)飛輪”對我來說是比較新的概念，所謂數(shù)據(jù)飛輪，指的是數(shù)據(jù)資產(chǎn)與業(yè)務(wù)之間形成的正向循環(huán)，即數(shù)據(jù)被應(yīng)用于業(yè)務(wù)，進而產(chǎn)生新的數(shù)據(jù)再反饋回系統(tǒng)，進一步豐富和優(yōu)化數(shù)據(jù)資產(chǎn)，從而形成一個持續(xù)增強的循環(huán)。從運行機制來看，它強調(diào)的是一種動態(tài)的數(shù)據(jù)應(yīng)用過程。整體概念并不繁復(fù)，但或許可以為企業(yè)轉(zhuǎn)型過程中如何優(yōu)化數(shù)據(jù)驅(qū)動提供新的思路。

讓“數(shù)據(jù)飛輪”的概念喚醒數(shù)據(jù)中臺的數(shù)據(jù)，這通常指的是將存儲在數(shù)據(jù)中臺中的靜態(tài)數(shù)據(jù)轉(zhuǎn)化為可分析、可應(yīng)用的動態(tài)信息。這個過程涉及到數(shù)據(jù)的整合、清洗、轉(zhuǎn)換和加載（etl），以及數(shù)據(jù)分析和可視化等多個步驟。以下是一些基本步驟來“喚醒”數(shù)據(jù)中臺的數(shù)據(jù)：

• 數(shù)據(jù)集成：需要將分散在不同來源的數(shù)據(jù)集中到數(shù)據(jù)中臺。這可能包括數(shù)據(jù)庫、數(shù)據(jù)倉庫、云存儲服務(wù)等不同形式的數(shù)據(jù)源。
• 數(shù)據(jù)清洗：對收集到的數(shù)據(jù)進行預(yù)處理，包括去除重復(fù)記錄、處理缺失值、糾正錯誤或格式不統(tǒng)一的數(shù)據(jù)等。
• 數(shù)據(jù)轉(zhuǎn)換：將數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式，以便能夠被分析工具正確理解和處理。這可能包括數(shù)據(jù)類型的轉(zhuǎn)換、單位的統(tǒng)一、編碼的標(biāo)準(zhǔn)化等。
• 數(shù)據(jù)加載：將清洗和轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)中臺的數(shù)據(jù)庫或數(shù)據(jù)倉庫中，為后續(xù)的分析工作提供基礎(chǔ)。
• 數(shù)據(jù)建模：根據(jù)業(yè)務(wù)需求建立數(shù)據(jù)模型，通過數(shù)據(jù)挖掘和統(tǒng)計分析方法，發(fā)現(xiàn)數(shù)據(jù)中的模式、趨勢和關(guān)聯(lián)性。
• 數(shù)據(jù)分析：使用各種分析工具和技術(shù)，如sql查詢、機器學(xué)習(xí)算法、報表生成工具等，對數(shù)據(jù)進行深入分析，提取有價值的信息。
• 數(shù)據(jù)可視化：通過圖表、儀表板等形式將分析結(jié)果呈現(xiàn)出來，幫助用戶更直觀地理解數(shù)據(jù)和洞察。
• 數(shù)據(jù)共享和應(yīng)用：將分析后的數(shù)據(jù)和洞察分享給決策者和相關(guān)團隊，用于支持決策制定、業(yè)務(wù)流程優(yōu)化、產(chǎn)品開發(fā)等。
• 持續(xù)迭代：隨著業(yè)務(wù)的發(fā)展和市場的變化，數(shù)據(jù)中臺的數(shù)據(jù)也需要不斷更新和維護，以確保數(shù)據(jù)的準(zhǔn)確性和時效性。

4.實例分析

我開發(fā)的項目中有一個這個樣的數(shù)據(jù)值（場強），這個值一直都是存儲在數(shù)據(jù)庫里，一直沒有使用，由于“數(shù)據(jù)飛輪”的啟發(fā)，發(fā)現(xiàn)：

• 可以通過場強判斷設(shè)備的類型（物聯(lián)網(wǎng)設(shè)備、廣告牌、路燈）
• 可以通過場強判斷距離（移動設(shè)備采集兩個設(shè)備的場強值，可以推算出速度和距離） 這個值，催生出了兩個應(yīng)用，一個是設(shè)備類似判斷、一個是設(shè)備移動速度，這在應(yīng)用層面增加了分析場景和應(yīng)用方向。

5.簡單總結(jié)

大數(shù)據(jù)時代，借助“數(shù)據(jù)飛輪”的概念將數(shù)據(jù)中臺里的數(shù)據(jù)從靜態(tài)數(shù)據(jù)轉(zhuǎn)化為可分析、可應(yīng)用的動態(tài)信息，在最初的業(yè)務(wù)場景下不斷發(fā)揮著數(shù)據(jù)價值，可是隨著數(shù)據(jù)量的增加，量變并沒有催生質(zhì)變，需要我們自己去挖掘數(shù)據(jù)維度和數(shù)據(jù)的關(guān)聯(lián)關(guān)系，讓數(shù)據(jù)的價值隨著數(shù)據(jù)量的增加而增加，喚醒數(shù)據(jù)中臺中的數(shù)據(jù)是一個長期的任重道遠的工程，需要業(yè)務(wù)人員和開發(fā)人員的持續(xù)努力，“飛輪”是一個正循環(huán)，喚醒數(shù)據(jù)價值再反哺數(shù)據(jù)量，讓數(shù)據(jù)的價值持續(xù)增加。