【51CTO原創(chuàng)稿件】“實(shí)時(shí)計(jì)算的今天，業(yè)界都沒有一個(gè)準(zhǔn)確的定義，什么叫實(shí)時(shí)計(jì)算？什么不是？這個(gè)概念沒必要去糾結(jié)。”阿里巴巴資深專家強(qiáng)琦（花名：和仲）對51CTO記者如是說。我們更應(yīng)該關(guān)心的是實(shí)時(shí)計(jì)算的應(yīng)用場景和未來發(fā)展?fàn)顩r。本文中，和仲從實(shí)時(shí)計(jì)算的背景、部署及應(yīng)用及等方面做了詳盡的介紹，關(guān)注實(shí)時(shí)計(jì)算的朋友們有福啦！一起來看看本文的采訪實(shí)錄吧。

[[82212]] 

以下為采訪實(shí)錄：

51CTO：和仲您好！首先請您做一下自我介紹。

和仲：我是零八年加入阿里巴巴的，之前一直在網(wǎng)易，也是做搜索引擎和分布式系統(tǒng)。到了阿里以后，主要從事搜索，廣告，分布式系統(tǒng)方面工作。目前致力于數(shù)據(jù)交換平臺建設(shè)，專注實(shí)時(shí)計(jì)算，流計(jì)算服務(wù)化平臺。

51CTO：您是一年前從廣告搜索轉(zhuǎn)崗了，現(xiàn)在主要是流計(jì)算服務(wù)平臺的。你們這個(gè)平臺每個(gè)人的職責(zé)都分的比較細(xì)嗎？

和仲：是，肯定是要分的很細(xì)。但是太細(xì)就會帶來組織的效率問題（這是另一個(gè)話題），搜索本質(zhì)上是業(yè)務(wù)性，而目前的部門是平臺性，當(dāng)然仍然會關(guān)注廣告搜索，但目前全集團(tuán)的業(yè)務(wù)我們都需要支持，它是一個(gè)橫向支持的部門。比如阿里金融現(xiàn)在業(yè)務(wù)做的很好，這些業(yè)務(wù)的數(shù)據(jù)部分其實(shí)都是跑在我們這個(gè)事業(yè)部，比如計(jì)算信用度等等。它使用數(shù)據(jù)的深度和廣度是一般人想象不到的，它怎么去評估？就在我們的平臺上。業(yè)務(wù)用數(shù)據(jù)的程度決定了我們提供數(shù)據(jù)服務(wù)的廣度和深度。用戶的需求，業(yè)務(wù)的需求，需要我們把技術(shù)場景不斷的細(xì)分，通過細(xì)分來獲取細(xì)分場景的技術(shù)指標(biāo)的不斷加強(qiáng)。我們的系統(tǒng)，平臺需要精細(xì)化，所以人的分工也需要精細(xì)化，但是我們每個(gè)人也需要橫向去了解其它系統(tǒng)和平臺。

51CTO：你們那邊都有實(shí)時(shí)的數(shù)據(jù)出來？

和仲：實(shí)時(shí)的有，但現(xiàn)在不多。其實(shí)要看業(yè)務(wù)的本質(zhì)要求，比如信用是個(gè)長期的累積，很難因?yàn)橐粋€(gè)瞬時(shí)的事件來劇烈影響信用。本身這個(gè)業(yè)務(wù)是不是個(gè)實(shí)時(shí)，那是要業(yè)務(wù)來看，不是我們來看。我們是一個(gè)被別人用的平臺，我們?nèi)シ?wù)業(yè)務(wù)的。不是說業(yè)務(wù)都上實(shí)時(shí)吧，沒法做那件事情。你的業(yè)務(wù)本身就是長期穩(wěn)定的業(yè)務(wù)，穩(wěn)定的態(tài)勢，就不需要實(shí)時(shí)數(shù)據(jù)的特性。如果業(yè)務(wù)上對數(shù)據(jù)的實(shí)時(shí)性有要求，那我們就會服務(wù)，就會支撐。當(dāng)然，實(shí)時(shí)分為計(jì)算的實(shí)時(shí)和數(shù)據(jù)的實(shí)時(shí)。

 51CTO：提到實(shí)時(shí)計(jì)算，它產(chǎn)生的背景是什么？

和仲：業(yè)務(wù)、市場、用戶對互聯(lián)網(wǎng)產(chǎn)品需求越來越廣泛，需要你越來越個(gè)性化，越來越實(shí)時(shí)化。比如說廣告，現(xiàn)在我們廣告客戶想要看剛剛前一分鐘的投放效果，如果效果沒有達(dá)到預(yù)期，我們就可以根據(jù)實(shí)時(shí)計(jì)算，對后面的營銷策略做出及時(shí)地調(diào)整。比如說“雙十一”的促銷活動，它就一天。如果當(dāng)天的營銷策略錯了，那么前期所有的準(zhǔn)備就白費(fèi)了，一年就玩進(jìn)去了。

對于這種要看到分鐘級的營銷策略，比如說我看到用戶，今天喜歡買紫色的，趕緊把我的寶貝調(diào)整，紫色的圖做的更突出。所以它的營銷一定是個(gè)閉環(huán)，營銷分析做出決策。之前的決策鏈條是慢的，當(dāng)然他希望快了好，現(xiàn)在需要它去做出更實(shí)時(shí)的數(shù)據(jù)來，做出更快的市場反應(yīng)。而業(yè)務(wù)也是一樣的，比如說你是我的好友，你剛剛在淘寶上買了一個(gè)東西，我登錄后推薦給我這個(gè)東西，可能我的點(diǎn)擊率就高了。這些東西都是因?yàn)闃I(yè)務(wù)，而業(yè)務(wù)又因?yàn)橛脩?，其?shí)為了滿足客戶?？蛻羧绻羞@種業(yè)務(wù)上的實(shí)時(shí)需求，數(shù)據(jù)更新鮮的話，必然會刺激到，最終我們的技術(shù)會延伸出這樣細(xì)分的場景來。這些都是因?yàn)橛脩粲羞@樣的需求。

但從另一個(gè)側(cè)面看，技術(shù)驅(qū)動。比如說手機(jī)，原來攝像頭，其他的功能都是附屬產(chǎn)品，而現(xiàn)在這些app已經(jīng)是手機(jī)的必要功能了。其實(shí)還是這樣子，還是由用戶、業(yè)務(wù)、產(chǎn)品、系統(tǒng)、技術(shù)體系，一層一層下來，只不過是因?yàn)橛谢ヂ?lián)網(wǎng)的誕生，導(dǎo)致整個(gè)傳導(dǎo)過程會比較快。你想不到的，真的想不到。我們十年前上大學(xué)的時(shí)候，誰知道互聯(lián)網(wǎng)會如此，原來想要網(wǎng)上購物不可能的事情，就像馬云說的，淘寶的偉大在于，你把你的錢交到一個(gè)不認(rèn)識的人手上，并且他也會承諾發(fā)貨給一個(gè)不認(rèn)識的人，他通過一個(gè)不認(rèn)識的人，送到你家里。這在以前是不可能的，不可想象的一件事情。但就這幾年的工夫，相信未來這種技術(shù)變革，周期會越來越快。

因?yàn)殒湕l變化的非?？?，影響受眾也特別多。以前的蒸汽機(jī)時(shí)代，從最開始有火車，到普通人能坐上火車，需要花好幾年的功夫?；ヂ?lián)網(wǎng)的受眾，今天有個(gè)什么東西，可能明天大家，普通的屌絲都用到。一個(gè)是鏈條快了，第二個(gè)受眾接受成本低了，受眾傳播的廣，所以力量才比較龐大。必然導(dǎo)致技術(shù)的變革也非?？?，包括這些年的迭代計(jì)算，實(shí)時(shí)計(jì)算，這些全都出來。相信未來業(yè)務(wù)變革，產(chǎn)品變革的速度加快，技術(shù)的迭代，細(xì)分也會不斷加快。

51CTO：您目前比較專注于實(shí)時(shí)計(jì)算這個(gè)領(lǐng)域，實(shí)時(shí)計(jì)算和離線計(jì)算區(qū)別是什么呢？

和仲：他們有不同的維度。離線計(jì)算偏數(shù)據(jù)的準(zhǔn)備過程，為了在線服務(wù)而準(zhǔn)備數(shù)據(jù)的，不是adhoc的。它更側(cè)重的是成本，吞吐量。離線加工好的數(shù)據(jù)是需要加載到在線系統(tǒng)里面去服務(wù)用戶的，今天你去淘寶訪問，你接觸到的系統(tǒng)是在線系統(tǒng)，但是在線系統(tǒng)的數(shù)據(jù)是由離線加工來的。

51CTO：離線數(shù)據(jù)里的存儲？

和仲：對，是離線來加工的，大概是這么去分的。離線系統(tǒng)又分為批量計(jì)算、增量計(jì)算和流計(jì)算。如果一次就把所有的數(shù)據(jù)全計(jì)算完，那么它就是一個(gè)全量計(jì)算，批量計(jì)算指的是增量計(jì)算，流計(jì)算就是我今天專門講的，它對數(shù)據(jù)計(jì)算粒度更小，是一批數(shù)據(jù)，可能是幾條，有可能是幾百條，也有可能幾千條。它其實(shí)也是在離線計(jì)算的不同維度、不同技術(shù)的切入點(diǎn)去做這個(gè)東西。因?yàn)槟銊倓傉f到的，離線計(jì)算，如果你都用全量計(jì)算的話，或批量計(jì)算的話，它會有些問題。但是它好處是因?yàn)橥掏赂?，所以成本比較低。但問題就是說，你現(xiàn)在看到的數(shù)據(jù)是老數(shù)據(jù)。很簡單，我給你舉一個(gè)例子，當(dāng)然不一定是那么準(zhǔn)確的，但是你可以去理解這件事情。如果今天賣家在淘寶上上了新的寶貝，你不能立刻看到，而是它上架一天以后你才能看到。這個(gè)對公司來說，影響就很大了，對于賣家來說影響到他的銷售，對于用戶來說體驗(yàn)不好。所以你就需要更及時(shí)加工的手段，它秒級就能加工好。

實(shí)時(shí)計(jì)算的今天，業(yè)界都沒有一個(gè)準(zhǔn)確的定義，什么叫實(shí)時(shí)計(jì)算？什么不是？這個(gè)概念沒必要去糾結(jié)。對用戶的響應(yīng)是比較快的，可以這么籠統(tǒng)地去認(rèn)為。其實(shí)大家自己心里都清楚，概念沒有分仔細(xì)，也沒有太大必要在概念上做文章。實(shí)時(shí)計(jì)算在離線和數(shù)據(jù)準(zhǔn)備的角度來看，這個(gè)叫流計(jì)算，但是它在偏在線那部分。我們就叫它即時(shí)計(jì)算或者實(shí)時(shí)計(jì)算。

其實(shí)你光看概念，會覺得很亂，其實(shí)如果你知道它本身的技術(shù)，就會明白它其實(shí)是很清楚的一件事情。只是說計(jì)算是相對，數(shù)據(jù)的新鮮度是比較高的、比較快速的。在線的和離線的，那其實(shí)是不同維度。

51CTO：實(shí)時(shí)計(jì)算主要特點(diǎn)就是比較及時(shí)、比較快？

和仲：對，這也是它***的特點(diǎn)，舉個(gè)例子來說，全量計(jì)算更像是一個(gè)大食堂，一個(gè)鍋里炒一萬個(gè)人的菜，吞吐很高。但對于一個(gè)個(gè)體來說可能你一小時(shí)才吃到這口飯，肯定很不爽，所以實(shí)時(shí)計(jì)算更側(cè)重用戶體驗(yàn)，對于個(gè)體來說很快可以拿到結(jié)果。那么很簡單，你就不要去吃大鍋了，去開小灶。針對不同的業(yè)務(wù)場景以及不同的客戶是有不同的解決方案，有時(shí)候這兩個(gè)方案能合起來。大鍋側(cè)重吞吐，小鍋側(cè)重延遲，沒有誰替換誰，而是不同場景對應(yīng)不同技術(shù)，就跟產(chǎn)品業(yè)務(wù)一樣，這個(gè)市場在不斷地細(xì)分，技術(shù)產(chǎn)品在不斷地細(xì)分，隨著用戶的需求，業(yè)務(wù)的需求越來越多，技術(shù)肯定會演進(jìn)，也會慢慢細(xì)分場景，慢慢細(xì)分出不同的技術(shù)體系。

51CTO：你們部署實(shí)時(shí)計(jì)算的主要步驟是什么？

和仲：其實(shí)部署是這樣的，***依賴環(huán)境的部署，你可能依賴了內(nèi)部的系統(tǒng)，就是你依賴的系統(tǒng)，你首先部署好，第二個(gè)依賴的包要提前準(zhǔn)備好。你要考慮集群，有哪些機(jī)器要去部署，可能一個(gè)系統(tǒng)里非常復(fù)雜，有五六個(gè)角色。你要清晰哪些應(yīng)該部署的，哪些結(jié)點(diǎn)需要部署，包括角色的起動順序可能是不一樣的，有的應(yīng)該是先啟動，有的后啟動。但一個(gè)可運(yùn)維，易于運(yùn)維的系統(tǒng)，應(yīng)該與順序無關(guān)化。

我們要去判斷整個(gè)結(jié)點(diǎn)，系統(tǒng)是否處于一個(gè)可用的狀態(tài)，我們有相應(yīng)的監(jiān)控系統(tǒng)。但實(shí)際上，現(xiàn)在這么復(fù)雜的分布式系統(tǒng)如果還需要人肉運(yùn)維，那基本上就悲劇了?，F(xiàn)在的體系，包括運(yùn)維，這種東西本身也是自動化的，也是個(gè)分布式系統(tǒng)。它就是幫你解決分布式系統(tǒng)本身的部署問題，這些也是專門的系統(tǒng)。但就會問了，那這個(gè)分布式部署系統(tǒng)由誰來部署？一定會有一個(gè)最根的地方，它是按照原來的方式去部署。

51CTO：部署的過程中，特別需要注意的，容易出問題的有哪些？

和仲：特別注意就是版本和依賴。

51CTO：是兼容問題嗎？

和仲：對，所有這些問題都可以通過運(yùn)維系統(tǒng)來解決，避免人為出錯的概率，是人就有錯，就是這樣子。

好的，本次采訪就到這里，非常感謝和仲的分享！如果您想了解更多實(shí)時(shí)計(jì)算相關(guān)問題，歡迎您留言討論。