[[380261]]

本文轉(zhuǎn)載自微信公眾號「五分鐘學(xué)大數(shù)據(jù)」，作者園陌。轉(zhuǎn)載本文請聯(lián)系五分鐘學(xué)大數(shù)據(jù)公眾號。

風(fēng)起云涌的大數(shù)據(jù)戰(zhàn)場上，早已迎百花齊放繁榮盛景，各大企業(yè)加速跑向“大數(shù)據(jù)時代”。而我們作為大數(shù)據(jù)的踐行者，在這個“多智時代”如何才能跟上大數(shù)據(jù)的潮流，把握住大數(shù)據(jù)的發(fā)展方向。

前言

大數(shù)據(jù)起源于2000年左右，也就是互聯(lián)網(wǎng)高速發(fā)展階段。經(jīng)過幾年的發(fā)展，到2008年 Hadoop 成為 Apache 頂級項目，迎來了大數(shù)據(jù)體系化的快速發(fā)展期，到如今 Hadoop 已不單單指一個軟件，而成為了大數(shù)據(jù)生態(tài)體系的代名詞。

自2014年以來，國內(nèi)大數(shù)據(jù)企業(yè)層出不窮，可以用“亂花漸欲迷人眼”形容現(xiàn)狀，也是在這一年，我國《政府工作報告》首次提出“大數(shù)據(jù)”，大數(shù)據(jù)作為一種新興產(chǎn)業(yè)正式登陸中國舞臺。之后，又上升至國家戰(zhàn)略。自此“大數(shù)據(jù)”這三個字頻繁出現(xiàn)在各大媒體上。

在大數(shù)據(jù)的發(fā)展歷程中，互聯(lián)網(wǎng)企業(yè)是布局較早且融合較深的行業(yè)之一。因其互聯(lián)網(wǎng)屬性的優(yōu)勢在大數(shù)據(jù)領(lǐng)域布局較早。

而提到國內(nèi)互聯(lián)網(wǎng)大數(shù)據(jù)企業(yè)，就不得不提國內(nèi)互聯(lián)網(wǎng)三巨頭(百度、阿里、騰訊)，三巨頭的大數(shù)據(jù)業(yè)務(wù)圍繞其自身業(yè)務(wù)發(fā)展而成：百度重算法、阿里重電商、騰訊重社交，出于自身戰(zhàn)略，三巨頭在大數(shù)據(jù)領(lǐng)域的布局方面各有重心，反映出其企業(yè)發(fā)展方向的戰(zhàn)略和思路。

BAT的大數(shù)據(jù)產(chǎn)業(yè)

BAT 是我國互聯(lián)網(wǎng)企業(yè)中大數(shù)據(jù)布局較早也是較具有競爭優(yōu)勢的公司。其中，阿里布局大數(shù)據(jù)產(chǎn)業(yè)最早，騰訊次之，百度則最晚。

阿里

阿里大數(shù)據(jù)發(fā)展戰(zhàn)略在 2008 年提出，隨后圍繞電商業(yè)務(wù)，阿里在數(shù)據(jù)集群、數(shù)據(jù)倉庫等方面做出了部署。

如今，提到阿里大數(shù)據(jù)，可以從兩方面來作觀察：一是以阿里電商業(yè)務(wù)基礎(chǔ)建立起來的阿里數(shù)據(jù);二是阿里云。

阿里數(shù)據(jù)以淘寶、天貓、阿里媽媽等平臺為業(yè)務(wù)線，通過數(shù)據(jù)采集、數(shù)據(jù)計算、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等環(huán)節(jié)，形成從數(shù)據(jù)采集到數(shù)據(jù)應(yīng)用的閉環(huán)系統(tǒng)

阿里云則主要以在線公共服務(wù)的方式，為用戶提供云服務(wù)器、云數(shù)據(jù)庫、云安全等云計算服以及大數(shù)據(jù)、人工智能服務(wù)、精準(zhǔn)定制等基于場景的行業(yè)解決方案。創(chuàng)立于 2009年，如今，阿里云已成為全球前三大公共云服務(wù)提供商。

另一方面阿里也是十分有遠(yuǎn)見的，早在15、16年開始做Flink，深耕布局、落地雙11、孵化Blink，據(jù)稱搞了上百人的團(tuán)隊，在國內(nèi)外的技術(shù)會議上不斷宣傳推廣，在2019年開年，阿里以9000萬歐元收購了Apache Flink母公司Data Artisans，將Flink收入囊中，目前，F(xiàn)link 可以稱之為 Apache 基金會中最為活躍的項目之一，在 GitHub 上其訪問量在 Apache 項目中位居前三。同時，在全球范圍內(nèi)，優(yōu)步、網(wǎng)飛、微軟和亞馬遜等國際互聯(lián)網(wǎng)公司也逐漸開始使用 Apache Flink。

騰訊

2009 年 1 月，騰訊搭建第一個 Hadoop 集群，標(biāo)志著騰訊大數(shù)據(jù)之路正式開啟。

與阿里不同，騰訊大數(shù)據(jù)主要圍繞其社交、游戲業(yè)務(wù)展開。坐擁著海量的用戶數(shù)據(jù)。

基于微信、QQ 等社交工具，通過對移動用戶的數(shù)據(jù)分析，建立用戶個人畫像(如用戶的社會關(guān)系、性格稟賦、興趣愛好等)提供相應(yīng)的營銷服務(wù)。

工具，工具主要有騰訊移動推送信息“信鴿”，同樣也是圍繞騰訊的社交用戶數(shù)據(jù)開發(fā)而成，提供向用戶推送消息的服務(wù)。

騰訊云，起步比阿里云晚幾年，目前暫時落后于阿里云，但是云計算市場是一個馬拉松賽，起步早是一方面，但最終還是要看誰能堅持到最后。

之前看過一篇資訊，中國IT領(lǐng)袖峰會在深圳舉行，在一個對話環(huán)節(jié)。

李彥宏說：“云計算這個東西不客氣一點講它是新瓶裝舊酒，沒有新東西。”

馬化騰說："云計算讓計算能力、處理能力甚至邏輯組件都能夠像水和電一樣使用，的確是有想象空間的，但可能你過幾百年、一千年后才可能實現(xiàn)，現(xiàn)在還是確實過早了。"

馬云大概意思：“云計算這個東西應(yīng)該好好做，今天就應(yīng)該做，如果阿里巴巴不做云計算，騰訊、百度會把阿里巴巴趕出電子商務(wù)門口。“

從對話中能看出馬云的眼光很好。李彥宏和馬化騰雖都是技術(shù)出身，但沒有一個教師出身的馬云眼光長遠(yuǎn)。

另一點，騰訊相比其他巨頭在技術(shù)方面要低調(diào)不少。技術(shù)大牛很少出來做報告，更不會向百度、阿里那樣主動包裝宣傳技術(shù)大牛。其技術(shù)雖然低調(diào)，但執(zhí)行力很強。據(jù)騰訊的程序員朋友說封閉開發(fā)、集體加班是常有的事情。但配套的重金激勵也能跟上。重金之下必有勇夫!

百度

BAT 中，百度大數(shù)據(jù)戰(zhàn)略提出時間最晚，但舉措頻頻。

2013 年，百度成立深度學(xué)習(xí)實驗室(IDL)，發(fā)力人工智能。

2014 年，百度對外宣布開放“大數(shù)據(jù)引擎”，以開放云、數(shù)據(jù)工廠和百度大腦三個為核心組件，

通過平臺化和接口化的方式，對外開放其大數(shù)據(jù)存儲、分析和智能化處理等核心能力。作為全球首個開放大數(shù)據(jù)引擎，百度“大數(shù)據(jù)引擎”已與政府、非政府組織、制造、醫(yī)療、金融、零售和教育等傳統(tǒng)領(lǐng)域展開合作。

同年 8 月，百度與聯(lián)合國宣布啟動戰(zhàn)略合作，共建大數(shù)據(jù)聯(lián)合實驗室 (bdl)，探索利用大數(shù)據(jù)解決全球

性問題的創(chuàng)新模式。

2017 年 3 月 2 日，百度揭牌深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實驗室，“國字號”AI實驗室落戶百度。

可以看出，百度不同于阿里和騰訊基本以自身業(yè)務(wù)布局大數(shù)據(jù)，其大數(shù)據(jù)布局側(cè)重于新方向，在人工智能上尤其突出。不過，梳理百度大數(shù)據(jù)的數(shù)據(jù)產(chǎn)品可以發(fā)現(xiàn)，其大數(shù)據(jù)產(chǎn)品涉及數(shù)據(jù)分析、數(shù)據(jù)風(fēng)控、數(shù)據(jù)營銷等，布局較廣。

大數(shù)據(jù)領(lǐng)域分析

大數(shù)據(jù)技術(shù)發(fā)展到如今，已經(jīng)形成了完備的體系結(jié)構(gòu)及應(yīng)用方向，技術(shù)迭代速度非?？?，新框架層出不窮，大數(shù)據(jù)應(yīng)用方向不斷細(xì)化，從業(yè)人員越來越多。

大數(shù)據(jù)時代，數(shù)據(jù)量大，數(shù)據(jù)源異構(gòu)多樣，數(shù)據(jù)時效性等特征催生了大量的新技術(shù)需求。在這樣的需求下，誕生了規(guī)?；⑿刑幚?MPP) 的分布式計算框架;面向海量的非結(jié)構(gòu)化數(shù)據(jù)，出現(xiàn)了 Hadoop、Spark等生態(tài)體系的分布式批處理框架;面對時效性及實時處理的需求，出現(xiàn)了Flink、Spark Streaming等分布式流處理框架。

下圖為 Apache 生態(tài)下的大數(shù)據(jù)框架：

未來在 Apache 中孵化成功的大數(shù)據(jù)框架會越來越多，大數(shù)據(jù)生態(tài)體系會越來越完善，也意味著大數(shù)據(jù)的門檻會越來越低，入行的人越來越多。所以為了我們不被時代所淘汰，需要不斷學(xué)習(xí)，前期學(xué)習(xí)廣度，后期專注深度。潛心一技，練到極致!

應(yīng)用層面：

大數(shù)據(jù)在應(yīng)用層面劃分了以下幾個大類：金融大數(shù)據(jù)、營銷大數(shù)據(jù)、交通物流大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、教育大數(shù)據(jù)、文娛大數(shù)據(jù)等。

我們接下來以大數(shù)據(jù)科研及大數(shù)據(jù)企業(yè)兩方面進(jìn)行分析：

1. 大數(shù)據(jù)科研

自 2012 年大數(shù)據(jù)廣泛實際應(yīng)用以來，產(chǎn)業(yè)界和學(xué)術(shù)界在大數(shù)據(jù)技術(shù)與應(yīng)用方面的研究創(chuàng)新不斷取得突破，大數(shù)據(jù)領(lǐng)域的論文發(fā)表數(shù)量快速增長。

以下為 2012-2020年全球大數(shù)據(jù)論文發(fā)表數(shù)量及各國占比：

數(shù)據(jù)來源：Web of Science，2020年10月

從上圖可以看出，論文發(fā)表數(shù)量在2018年達(dá)到頂峰，是2012年的5.4倍，年增長率為 32.5%，隨后2019年論文數(shù)量開始下降，2020年全年數(shù)量預(yù)計較去年還會近一步下滑，這也說明隨著科學(xué)研究的不斷進(jìn)展，大數(shù)據(jù)的相關(guān)理論體系逐漸成熟，未來學(xué)術(shù)論文發(fā)表增長速度或?qū)⒎啪彙?/p>

從國家來看，中國和美國仍然是大數(shù)據(jù)學(xué)術(shù)研究的核心地帶。發(fā)表的論文數(shù)量遙遙領(lǐng)先于其他國家。未來在大數(shù)據(jù)領(lǐng)域，應(yīng)該還是以中國和美國為首，帶領(lǐng)大數(shù)據(jù)技術(shù)走向更高的水平。

再來看國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展?fàn)顩r，根據(jù)工業(yè)和信息化部發(fā)布的數(shù)據(jù)顯示，2019年我國以云計算、大數(shù)據(jù)技術(shù)為基礎(chǔ)的平臺類技術(shù)服務(wù)收入2.2萬億元，其中，典型云服務(wù)和大數(shù)據(jù)服務(wù)收入達(dá)3284億元，提供服務(wù)的企業(yè)達(dá)2977家，由此可見，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展日益壯大。

2. 大數(shù)據(jù)企業(yè)

大數(shù)據(jù)企業(yè)數(shù)量增長統(tǒng)計

數(shù)據(jù)來源：中國信息通信研究院，2020年10月

從上圖可以看出國內(nèi)大數(shù)據(jù)企業(yè)在 2014 年、2015 年呈現(xiàn)爆發(fā)式增長，而在 2016 年

后又有回落，這與大數(shù)據(jù)在我國的發(fā)展?fàn)顩r相對應(yīng)。2014 年被稱為大數(shù)據(jù)元年，隨后在國家政策的支持下，各大數(shù)據(jù)企業(yè)應(yīng)運而生，之后隨著創(chuàng)業(yè)者的冷靜，大數(shù)據(jù)企業(yè)也趨于減少。

是否有國資背景

數(shù)據(jù)來源：數(shù)據(jù)觀

大數(shù)據(jù)行業(yè)雖然有國家政策的支持，但大部分還是以私企為主，具有國資背景的企業(yè)較少，只占總體的 13%。

大數(shù)據(jù)企業(yè)地域分布

數(shù)據(jù)來源：中國信息通信研究院，2020年10月

由表中數(shù)據(jù)可以得出，北京是大數(shù)據(jù)企業(yè)的“高發(fā)區(qū)”，占比為35%，其次是廣東(18%)，之后是上海(16%)，然后是浙江(8%)，所以我國大數(shù)據(jù)企業(yè)主要分布在北京、廣東、上海、浙江等經(jīng)濟(jì)發(fā)達(dá)省份。

大數(shù)據(jù)行業(yè)應(yīng)用企業(yè)類型分布

數(shù)據(jù)來源：中國信息通信研究院，2020年10月

從圖中可以看出大數(shù)據(jù)涉及的行業(yè)是非常廣泛的，其中以金融、醫(yī)療健康、政務(wù)為大數(shù)據(jù)行業(yè)應(yīng)用的主要類型。除此之外依次是互聯(lián)網(wǎng)，教育，交通運輸，電子商務(wù)等。

大數(shù)據(jù)獲投輪次分布

數(shù)據(jù)來源：中國信息通信研究院，2020年10月

從上圖看出獲 天使輪、A 輪 融資企業(yè)較多，說明我國大數(shù)據(jù)企業(yè)數(shù)量雖然眾多，但大部分處于初級階段，技術(shù)能力、技術(shù)落地能力有待提高。另一方面也說明投資機構(gòu)對大數(shù)據(jù)市場依然充滿信息，對未來估值抱有很大期望。

大數(shù)據(jù)未來發(fā)展趨勢

以下觀點來源：中國信息通信研究院

1. 以控制成本為主要理念

大數(shù)據(jù)自誕生以來始終沿襲著基于Hadoop或者M(jìn)PP的分布式框架，形成了具備存儲、計算、處理、分析等能力的完整平臺，大數(shù)據(jù)分布式框架采用存儲與計算耦合，使數(shù)據(jù)在自身存儲的節(jié)點上完成計算，以降低交互。

但是實際業(yè)務(wù)中數(shù)據(jù)存儲與計算能力要求不同且各自獨立的。在存儲與計算耦合的情況下，當(dāng)二者之一出現(xiàn)瓶頸時，資源的橫向擴(kuò)展必然導(dǎo)致存儲或計算能力的冗余，造成難以避免的額外成本。

存儲與計算分離有效控制成本。存儲與計算在數(shù)據(jù)的生命周期中剝離開，形成兩個獨立的資源集合。兩個資源集合之間互不干涉又通力協(xié)作，使得單位資源的成本盡量減少，同時兼具充分的彈性以供橫向擴(kuò)展。這種模式應(yīng)是未來的發(fā)展方向。

目前國內(nèi)外眾多廠商已深入進(jìn)行了存算分離的實踐。國內(nèi)像阿里云使用自身 EMR+OSS產(chǎn)品代替原生 Hadoop 存儲架構(gòu)，整體費用預(yù)估下降 50% 。華為使用自身 FusionInsight+EC，存儲利用率從 33% 提升至 91.6%。

國外像 Snowflake 公司提出的數(shù)據(jù)倉庫服務(wù)化(DaaS)，將分析能力以云服務(wù)的形式在AWS等云平臺上提供按次計費的服務(wù)。

2. 自動化智能化需求緊迫

目前大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)管理依賴人工操作，成本巨大。在基于機器學(xué)習(xí)的人工智能不斷進(jìn)步的情況下，更加自動化智能化的數(shù)據(jù)管理平臺將會助力數(shù)據(jù)管理工作高效進(jìn)行。

其中以 數(shù)據(jù)建模、數(shù)據(jù)標(biāo)簽、主數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用成為主要的應(yīng)用方向。

3. 圖分析需求旺盛

以社交網(wǎng)絡(luò)、用戶行為、網(wǎng)頁鏈接關(guān)系等為代表的數(shù)據(jù)，往往需要通過“圖”的形態(tài)以最原始、最直觀的方式展現(xiàn)其關(guān)聯(lián)性。

所以專注于圖結(jié)構(gòu)數(shù)據(jù)的圖分析技術(shù)成為數(shù)據(jù)分析技術(shù)的新方向。與圖分析相關(guān)的技術(shù)成為熱點的產(chǎn)品方向，其中以圖數(shù)據(jù)庫、圖計算引擎、知識圖譜三項技術(shù)為主。

根據(jù) DB-Engines 排名分析，圖數(shù)據(jù)庫關(guān)注熱度在2013-2020年間增長了10倍，關(guān)注度增長排名第一。國內(nèi)阿里云、華為、騰訊、百度等廠商及部分初創(chuàng)公司已布局這一領(lǐng)域。

4. 隱私計算技術(shù)熱度上升

在數(shù)據(jù)合規(guī)流通需求旺盛的環(huán)境下，隱私計算技術(shù)發(fā)展火熱，隱私計算為實現(xiàn)安全合規(guī)的數(shù)據(jù)流通帶來了可能。

目前隱私計算主要分為多方安全計算和可信硬件兩大流派。其中多方安全計算基于密碼學(xué)理論;可信硬件依賴對安全硬件的信賴。

此外，還有聯(lián)邦學(xué)習(xí)、共享學(xué)習(xí)等通過多種技術(shù)手段平衡安全性和性能的隱私保護(hù)，也為跨企業(yè)機器學(xué)習(xí)和數(shù)據(jù)挖掘提供新的解決思路。