談一談數(shù)據(jù)中臺(tái)的原罪
現(xiàn)在關(guān)于數(shù)據(jù)中臺(tái)價(jià)值的探討已經(jīng)很多了,但凡事有利必有弊,今天就反其道而行之,談?wù)剶?shù)據(jù)中臺(tái)的原罪,知道了這些“罪”,有利于你權(quán)衡利弊,做出正確的選擇,這對(duì)于數(shù)據(jù)中臺(tái)的發(fā)展很重要。
?1. 數(shù)據(jù)中臺(tái)有“名不正言不順”之嫌
中國(guó)儒家講仁,但如果讓你對(duì)仁下個(gè)清晰的定義,估計(jì)沒人講得清楚,這體現(xiàn)了中國(guó)哲學(xué)跟西方哲學(xué)一個(gè)區(qū)別。
康德說:“我追求一切概念都有清晰的定義,一切推理都不允許有大膽的跳躍、而力求用合規(guī)律的原則、嚴(yán)格的證明,勾畫出研究領(lǐng)域的整個(gè)范圍、部門劃分和全部五遺漏的內(nèi)容,并對(duì)未知部分立下清晰的界標(biāo)。”
概念的模糊性很容易造成類似中國(guó)哲學(xué)的問題,比如《論語》里孔子提出的:“君君、臣臣、父父、子子”,本來孔子的意思是每個(gè)崗位的人做好自己該做的事情,校長(zhǎng)要像校長(zhǎng),教授要像教授諸如此類。
但漢朝的董仲舒為了政治需要,提出了三綱五常,把孔子這段話曲解成了“君為臣綱,父為子綱,夫?yàn)槠蘧V?!?新文化運(yùn)動(dòng)的時(shí)候,孔老夫子就被批得很厲害,實(shí)在是很冤枉。
老外沒有中臺(tái)的說法,中臺(tái)這個(gè)詞就有那么點(diǎn)中國(guó)哲學(xué)的味道。
阿里2015年去歐洲的一家公司SuperSell參觀后提出了中臺(tái)戰(zhàn)略,數(shù)據(jù)中臺(tái)、業(yè)務(wù)中臺(tái),技術(shù)中臺(tái)等這些詞也被順勢(shì)創(chuàng)造出來,我相信這些概念的提出,是各專業(yè)領(lǐng)域推進(jìn)自身工作的需要,沒人會(huì)在概念的嚴(yán)謹(jǐn)性上去下功夫,差不多就得了。
但既然這些詞已經(jīng)被炒起來了,就有了利益,有了利益就有了江湖,所有各方都會(huì)由于這個(gè)利益來詮釋自己對(duì)于中臺(tái)的理解,這就形成了概念亂象,一千個(gè)讀者眼中有了一千個(gè)哈姆雷特,你可以說中臺(tái)這個(gè)詞給了業(yè)界無限的想象空間,但模糊性也帶來了很多問題。
比如我們說中臺(tái)的本質(zhì)是共享復(fù)用,但這僅僅是一種理念,不能當(dāng)飯吃,一般還需要化作具體的行動(dòng)吧,但沒人說得清楚落地共性復(fù)用理念的標(biāo)準(zhǔn)動(dòng)作是什么,比如就數(shù)據(jù)中臺(tái)來講,數(shù)據(jù)領(lǐng)域哪些東西可以共享復(fù)用呢?
往大了講,平臺(tái)本來就有這個(gè)性質(zhì),工具也有這個(gè)性質(zhì),數(shù)據(jù)也可以有這個(gè)性質(zhì),數(shù)據(jù)倉庫本身似乎也是為共享復(fù)用構(gòu)建的,那么對(duì)于已經(jīng)建完成數(shù)據(jù)倉庫的企業(yè),干嘛還要建數(shù)據(jù)中臺(tái)呢?數(shù)據(jù)中臺(tái)到底帶來什么具體的增量?jī)r(jià)值?
很多業(yè)務(wù)和技術(shù)發(fā)展到一定階段都會(huì)有白皮書,至少還是有中立的組織想標(biāo)準(zhǔn)化一下的,但中臺(tái)沒有,更別提數(shù)據(jù)中臺(tái)了,偶偶有幾本數(shù)據(jù)中臺(tái)的書想嘗試一下,但難說對(duì)全行業(yè)有什么指導(dǎo)意義。
我能想到的破解的方法只有一個(gè),回歸業(yè)務(wù)本身,看看做哪些優(yōu)化能提升數(shù)據(jù)賦能的效率,如果能力沉淀的價(jià)值未來可期,那就去做,比如API,這就是數(shù)據(jù)中臺(tái);如果能力沉淀的價(jià)值還不大,就沒必要強(qiáng)求。
2. 數(shù)據(jù)中臺(tái)違背奧卡姆剃刀原理
數(shù)據(jù)倉庫是OLTP發(fā)展到一定階段自然演化出來的,但數(shù)據(jù)中臺(tái)不是,很多企業(yè)的數(shù)據(jù)倉庫被動(dòng)要求升級(jí)成數(shù)據(jù)中臺(tái),然后強(qiáng)制推進(jìn)復(fù)用共享,或者用新概念來裝點(diǎn)門面,顯然這樣的數(shù)據(jù)中臺(tái)是無法創(chuàng)造出超越數(shù)據(jù)倉庫的新價(jià)值的。
數(shù)據(jù)中臺(tái)在原始數(shù)據(jù)和應(yīng)用數(shù)據(jù)中間增加了一層數(shù)據(jù)實(shí)體,流程增加了,信息衰減了,連接變?nèi)趿?,這就需要施加更多的外力來進(jìn)行補(bǔ)償。
因此,如果這些新增的實(shí)體無法創(chuàng)造出增量?jī)r(jià)值來彌補(bǔ)由于引入了新的實(shí)體后帶來的成本增加,這就違背了奧卡姆剃刀原則,即“如無必要,勿增實(shí)體”,直白的解釋就是“切勿浪費(fèi)較多東西去做,用較少的東西,同樣可以做好的事情”。
數(shù)據(jù)中臺(tái)如果沒有實(shí)際超越數(shù)據(jù)倉庫,那么就無法躲開奧卡姆剃刀的魔咒,為了進(jìn)行對(duì)抗,我們得干點(diǎn)數(shù)據(jù)中臺(tái)該干的事情,比如API,這是每個(gè)數(shù)據(jù)中臺(tái)運(yùn)營(yíng)者要想清楚的事情,你得有些使命感,做出一些不一樣的有價(jià)值的東西。
3. 數(shù)據(jù)中臺(tái)需要巨大的成本投入
數(shù)據(jù)中臺(tái)希望用共享復(fù)用的理念來沉淀能力,然后基于能力來更快的支撐應(yīng)用創(chuàng)新,但快速支撐應(yīng)用創(chuàng)新的前提是要有足夠多的已經(jīng)沉淀出來的能力。
可惜數(shù)據(jù)中臺(tái)伊始,根本就沒有什么拿得出手的能力,大家喜歡用數(shù)據(jù)中臺(tái)的結(jié)局來表達(dá)其價(jià)值,但少有人能真正理解數(shù)據(jù)中臺(tái)構(gòu)筑能力過程的艱辛,不知道前期要付出多大的代價(jià)。
就好比以前說去IOE,說要自主掌控,老板以為可以降低IT投入了,但其實(shí)完全錯(cuò)了。
最近業(yè)務(wù)方需要我們開放一批原始表,我說:“你能不能告訴原始業(yè)務(wù)需求,數(shù)據(jù)中臺(tái)用融合模型來支撐?” 業(yè)務(wù)方說:“這個(gè)你不用管,我等不了你修改融合模型,到時(shí)改來改去溝通成本也高,模型我們可以自己建?!?/p>
為了兼顧能力沉淀和響應(yīng)速度,我就說:“那能不能這樣,我安排多一倍的資源來支撐你們的需求?” 業(yè)務(wù)方后來妥協(xié)了,但這個(gè)多出的資源需要公司買單。
無論從哪個(gè)方面看,運(yùn)營(yíng)數(shù)據(jù)中臺(tái)都要付出巨大的代價(jià),包括建章立制、組織構(gòu)建、能力打造、迭代優(yōu)化等等。
4. 數(shù)據(jù)中臺(tái)的投資風(fēng)險(xiǎn)還是很高
數(shù)據(jù)中臺(tái)概念屹立不倒,是因?yàn)槲覀儓?jiān)信數(shù)據(jù)中臺(tái)沉淀的能力在未來一定有機(jī)會(huì)創(chuàng)造更多的價(jià)值,這足以彌補(bǔ)前期的投入,但從潛力市場(chǎng)、回報(bào)周期、價(jià)值產(chǎn)出等要素看,企業(yè)投資數(shù)據(jù)中臺(tái)的確是門高風(fēng)險(xiǎn)的生意。
第一、狹義的數(shù)據(jù)中臺(tái)僅限于數(shù)據(jù)模型和服務(wù),這些數(shù)據(jù)模型和服務(wù)打上了企業(yè)和業(yè)務(wù)的烙印,因此很難復(fù)制到其他領(lǐng)域,這實(shí)際限制了數(shù)據(jù)中臺(tái)的投資回報(bào)率。
現(xiàn)在兜售數(shù)據(jù)中臺(tái)的企業(yè)賣得并不是數(shù)據(jù)模型和服務(wù),而是工具平臺(tái),這并不屬于數(shù)據(jù)中臺(tái)的核心內(nèi)容范疇。
第二、參考大廠,數(shù)據(jù)中臺(tái)三年才能小成,這還是在人才充足的前提下,因此,一般企業(yè)并不一定有足夠的耐心。
正如凱恩斯經(jīng)濟(jì)學(xué)派在批駁市場(chǎng)學(xué)派所謂的自由市場(chǎng)最終會(huì)實(shí)現(xiàn)資源的最優(yōu)配置這種觀點(diǎn)所說的那樣:“長(zhǎng)遠(yuǎn)是對(duì)當(dāng)前事務(wù)錯(cuò)誤的指導(dǎo)。從長(zhǎng)遠(yuǎn)看,我們都已經(jīng)死了?!?/p>
第三、數(shù)據(jù)中臺(tái)概念不清,對(duì)于企業(yè)的文化、組織、機(jī)制、流程、數(shù)據(jù)、平臺(tái)又有很高的要求,輸入和產(chǎn)出的關(guān)系也不是很明顯,這也是投資比較忌諱的。
當(dāng)然企業(yè)對(duì)于自己的投資不一定要那么斤斤計(jì)較,畢竟不是簡(jiǎn)單的買賣,但心里還是要有所權(quán)衡。
5. 數(shù)據(jù)中臺(tái)的能力標(biāo)準(zhǔn)化有點(diǎn)難
15年前的數(shù)據(jù)倉庫時(shí)代,業(yè)界曾經(jīng)提出過一個(gè)非常超前的概念:數(shù)據(jù)封裝,就是把數(shù)據(jù)封裝成API供業(yè)務(wù)調(diào)用,類似于編程語言中的函數(shù)。
比如把某種即席查詢封裝成一個(gè)API,而不是跟應(yīng)用強(qiáng)捆綁,我想這是最早的數(shù)據(jù)中臺(tái)的原型吧,但我后來對(duì)數(shù)據(jù)封裝的可復(fù)用性提出了質(zhì)疑。
數(shù)據(jù)跟功能不同,數(shù)據(jù)的指標(biāo)和維度可以成千上萬,組合之后更是不勝枚舉,也許日常的函數(shù)1000個(gè)就可以滿足基本的編程需要的,但數(shù)據(jù)封裝呢,我不知道要多少數(shù)據(jù)封裝才能滿足一個(gè)數(shù)據(jù)分析應(yīng)用的需要,大多還是靠定制化取數(shù)滿足吧。
函數(shù)的貢獻(xiàn)來自于所有編程者,這個(gè)超越了行業(yè),因此它能夠快速更新迭代,但數(shù)據(jù)封裝很難超越行業(yè),能貢獻(xiàn)經(jīng)驗(yàn)的也僅限于企業(yè)的某些人,我一直覺得數(shù)據(jù)封裝出來的功能可能等不到規(guī)?;玫臅r(shí)候,就已經(jīng)被新的業(yè)務(wù)淘汰了,或者企業(yè)根本沒有那么多標(biāo)準(zhǔn)化能力復(fù)用的場(chǎng)景。
正是這個(gè)原因,也許只有巨型的企業(yè)才可能在數(shù)據(jù)中臺(tái)的能力標(biāo)準(zhǔn)化方面獲益。
6. 數(shù)據(jù)中臺(tái)導(dǎo)致了系統(tǒng)的脆弱性
現(xiàn)在云原生如火如荼,微服務(wù),容器化,DevOps在保證業(yè)務(wù)中臺(tái)敏捷的同時(shí),也確保其連續(xù)性。
數(shù)據(jù)中臺(tái)并沒有吃到什么連續(xù)性的紅利,對(duì)于大多數(shù)公司,數(shù)據(jù)中臺(tái)一般是沒有容災(zāi)的,也許連應(yīng)急也沒有,因?yàn)閷?duì)數(shù)據(jù)的容災(zāi)就意味著成倍的投資增加,這在一般的公司無法實(shí)現(xiàn)。hadoop雖然有數(shù)據(jù)三備份的策略,但其對(duì)于人為操作失誤、數(shù)據(jù)邏輯錯(cuò)誤也是無能為力。
數(shù)據(jù)中臺(tái)的目標(biāo)是把分散的數(shù)據(jù)能力集中化、共享化,實(shí)現(xiàn)其能力“一點(diǎn)發(fā)布,全部共享”的理想,但在數(shù)據(jù)中臺(tái)連續(xù)性問題無法徹底解決之前,集中化的數(shù)據(jù)中臺(tái)也帶來了集中化的風(fēng)險(xiǎn),比如一旦集中化的數(shù)據(jù)被刪除,那么對(duì)于企業(yè)應(yīng)用的影響是全方位的。
數(shù)據(jù)中臺(tái)做的越好,共享能力越高,風(fēng)險(xiǎn)就越高,這就是懸在數(shù)據(jù)中臺(tái)連續(xù)性上的“達(dá)摩克里斯之劍”,也就是“一點(diǎn)故障,全面影響”。
自己就曾經(jīng)歷過這么一個(gè)hadoop事故,換做現(xiàn)在,估計(jì)就是災(zāi)難了。
我們有兩個(gè)GIS應(yīng)用,一個(gè)GIS應(yīng)用由于歷史原因自己采集了很多數(shù)據(jù),另一個(gè)GIS應(yīng)用則是基于數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)構(gòu)建的,某天運(yùn)維人員誤刪了數(shù)據(jù)中臺(tái)的所有GIS相關(guān)數(shù)據(jù),hadoop無法恢復(fù),幸虧另一個(gè)應(yīng)用有重復(fù)數(shù)據(jù)的存在,才避免了核心數(shù)據(jù)的丟失。
所謂禍兮福之所倚,福兮禍之所伏。
數(shù)據(jù)中臺(tái)的確有很大的價(jià)值,但也隱含著不少風(fēng)險(xiǎn),我們以前談其優(yōu)點(diǎn)多了,缺點(diǎn)談少了,這不是實(shí)事求是的作風(fēng),更可怕的是,也許我們自己并不知道這些風(fēng)險(xiǎn)的存在。