阿里云開源Blink，大數(shù)據(jù)實時計算進入快車道

大數(shù)據(jù)應(yīng)用中，Hadoop占據(jù)非常重要的地位，運行在其上的大數(shù)據(jù)應(yīng)用也很多。

但是Hadoop在批處理方面的強大無法掩蓋其在實時處理以及流處理方面的缺憾。

同時Hadhoop核心組件——MapReduce、Hive和HDFS與邊緣組件的邊界正在變得越來越清晰，Spark、Flink正在逐漸成長，生態(tài)漸漸龐大，可供選擇的組件越來越多，引領(lǐng)著實時計算的發(fā)展。

其實，實時計算正處于上升期，Google、Intel、IBM等國際巨頭都在積極布局。阿里從2015年開始對Flink開源大數(shù)據(jù)流處理引擎進行改造，并將Flink的計算能力擴大數(shù)倍，推出內(nèi)部版Blink。阿里在Flink上的重磅押注將成為其未來的核心競爭力之一。

果然，根據(jù)中國軟件網(wǎng)1月28日報道，阿里云正式對外宣布，已開源實時計算平臺Blink( Blink開源項目地址：https://github.com/apache/flink/tree/blink)。Blink能將計算延遲降低到人類無法感知的毫秒級，瀏覽網(wǎng)頁的時候，你只是眨了一下眼睛，處理的信息已經(jīng)刷新了17億次。

從Spark到Flink：天地如此廣闊 

后來者的Spark和Flink正在彌補Hadoop在實時處理方面的劣勢，在大數(shù)據(jù)市場分得了一方天下。

Spark在內(nèi)存中運行速度比Hadoop快100倍，在磁盤上運行速度快10倍。Spark在機器學(xué)習(xí)應(yīng)用中的速度同樣更快。

那么 Flink 和現(xiàn)在流行的Spark 到底有什么異同呢?

Flink 是一個面向分布式數(shù)據(jù)流處理和批量數(shù)據(jù)處理的開源計算平臺。與Spark類似，兩者都希望提供一個統(tǒng)一功能的計算平臺，都在嘗試建立一個統(tǒng)一的平臺以運行批量、流式、交互式、圖處理、機器學(xué)習(xí)等應(yīng)用。

雖然目標非常類似，但是 Flink在實現(xiàn)上和Spark卻有很大的不同，F(xiàn)link 從另一個視角看待流處理和批處理，將二者統(tǒng)一起來：Flink完全支持流處理，作為流處理看待時輸入數(shù)據(jù)流是無界的;批處理被作為一種特殊的流處理，只是輸入數(shù)據(jù)流被定義為有界的。

專家從框架、SQL支持、性能等幾方面來對比兩者的區(qū)別：

框架：Flink和Spark都是基于內(nèi)存計算、支持實時/批處理等多種計算模式的統(tǒng)一框架，但Flink 的設(shè)計理念是 Stream as Platform，而Spark的設(shè)計理念是Batch as Platform。

流計算：Spark基于小批量處理，把 Streaming看成是更快的批處理，支持秒級計算，在流計算方面延時較大。而 Flink基于每個事件處理，是真正的流式計算，跟Storm的性能差不多，支持毫秒級計算。

SQL支持：Spark提供SparkSQL，F(xiàn)link通過Table API提供SQL交互支持。兩者相比，Spark對SQL支持更好，而且Spark支持對SQL的優(yōu)化和擴展等，相關(guān)社區(qū)非?；钴S。而Flink 在SQL支持方面還有很大提升空間。

性能：在計算性能方面，兩者都有較好的表現(xiàn)，但Flink支持增量迭代等特性，因此 Flink 具有更好的性能表現(xiàn)。

社區(qū)活躍度：Spark社區(qū)非常活躍，生態(tài)系統(tǒng)越來越完善。而Flink社區(qū)活躍度相對較低，但相信隨著Flink應(yīng)用越來越廣泛，這一現(xiàn)象會得到改變。

所以，Spark、Flink與Hadoop不是取代，是合作。如果未來用戶在部署大數(shù)據(jù)平臺時，選擇放棄Spark或者Flink，那就是瞎子下象棋，不識相了!

從Flink到Blink：阿里云如此多嬌

而目前市面上，各大公司采取的主流數(shù)據(jù)解決方案主要為Spark和Flink兩種，它們很好地平衡了用戶對于批處理和流處理的需求。Spark的技術(shù)理念是基于批來模擬流的計算，也就是更擅長有延遲的離線計算，而Flink則完全相反，它采用的是基于流計算來模擬批計，更擅長實時計算。

從目前來看，Spark技術(shù)在對海量數(shù)據(jù)實時性要求高的場景確實顯得有些“雞肋”——食之無味，棄之可惜。與之相比，F(xiàn)link在實時計算方面顯得游刃有余。作為最早布局Flink的公司之一，阿里在2015年就已經(jīng)開始基于開源版本進行改造和創(chuàng)新，推出內(nèi)部版本Blink。

據(jù)介紹，截止到目前，Blink在批SQL的性能方面已是Flink社區(qū)版本性能的10倍以上，在TPCDS場景下Blink的性能也能達到3倍Spark以上。

Blink在阿里內(nèi)部應(yīng)用的最多的場景是流計算，但是也有不少業(yè)務(wù)上線使用了批計算場景。

另外，本次開源Blink代碼在 Flink1.5.1 版本之上，加入了大量的新功能，以及在性能和穩(wěn)定性上的各種優(yōu)化。

主要貢獻包括：阿里巴巴在流計算上積累的一些新功能和性能的優(yōu)化，一套完整的(能夠跑通全部TPC-H/TPC-DS，能夠讀取 Hive meta和data)高性能Batch SQL，以及一些以提升易用性為主的功能(包括支持更高效的 interactive programming，與zeppelin更緊密的結(jié)合，以及體驗和性能更佳的Flink web)等。

媒體報道，未來阿里云還將繼續(xù)貢獻Flink在AI、IoT 以及其他新領(lǐng)域的功能和優(yōu)化。

從內(nèi)部使用到開源：Blink大數(shù)據(jù)應(yīng)用如此絢爛多采

基于 Blink的計算平臺于2016年正式上線。截至目前，阿里絕大多數(shù)的技術(shù)部門都在使用Blink。Blink一直在阿里內(nèi)部錯綜復(fù)雜的業(yè)務(wù)場景中鍛煉成長。對于內(nèi)部用戶反饋的各種性能、資源使用率、易用性等諸多方面的問題，Blink 都做了針對性的改進。開源之前，Blink在阿里內(nèi)部應(yīng)用中得到成功應(yīng)用。

在2018年雙11期間Blink實現(xiàn)了每秒處理17億次事件的能力，相當于你眨眼一次的0.3秒里，機器已經(jīng)刷新了5億次庫存。

當然除了技術(shù)大考的雙11之外，阿里云的ET城市大腦更是實時計算著杭州1300個信號燈路口、4500路視頻，保障著交通動脈的通暢。其中，依靠計算，一輛救護車到達醫(yī)院的速度，平均可以縮短50%，排長隊的擁堵以及鳴笛、闖紅燈式的開道都將被完美解決。

據(jù)阿里云介紹，Blink 永遠不會成為一個獨立的開源項目，它一定是Flink的一部分。開源后阿里云期望能找到辦法，以最快的方式將 Blink merge 到 Flink 中去。Blink 開源只有一個目的，就是希望 Flink 做得更好。

無論是功能還是生態(tài)，阿里云都會在 Flink 社區(qū)加大投入，也將投入力量做Flink社區(qū)的運營，讓Flink真正在中國、乃至全世界大規(guī)模地使用起來。

因此，從開源的角度而言，對大數(shù)據(jù)應(yīng)用和用戶而言確實是一個好消息。

作者：劉學(xué)習(xí)前15年，專注于服務(wù)器、存儲以及云計算 后5年，愛上基礎(chǔ)軟件、管理軟件，以及國產(chǎn)化系統(tǒng)