戴爾企業(yè)首屆Pravega創(chuàng)客大賽探索開源編程更多可能性
文學(xué)作品往往是未來科技的序曲，講述人類與月亮人交往的《夢(mèng)游》，超前為17世紀(jì)的人們展示了零重力狀態(tài)、宇宙服。上世紀(jì)90年代出版的《雪崩》則以宏大的敘事筆觸，描繪了一個(gè)與現(xiàn)實(shí)世界平行的虛擬世界，設(shè)定現(xiàn)實(shí)人類通過VR設(shè)備與虛擬人共同生活。
正是這部充滿賽博朋克風(fēng)格的科幻小說，提出了超越于現(xiàn)實(shí)宇宙的——元宇宙（Metaverse）概念。今年3月，元宇宙第一概念股Roblox上市，緊接著，7月扎克伯格宣布未來5年要把Facebook轉(zhuǎn)型成為一家元宇宙公司。一時(shí)間，國(guó)內(nèi)外科技巨頭紛紛布局元宇宙。
風(fēng)從虎、云從龍，主打沉浸感、低延遲、實(shí)時(shí)交互的元宇宙要想由概念轉(zhuǎn)為現(xiàn)實(shí)，離不開VR、5G、AI、云計(jì)算等技術(shù)的支持。與此同時(shí)，如何對(duì)AR/VR、可穿戴設(shè)備、傳感器等產(chǎn)生的龐大實(shí)時(shí)流數(shù)據(jù)進(jìn)行存儲(chǔ)、處理，也是元宇宙真正落地面臨的挑戰(zhàn)。
近年來，實(shí)時(shí)應(yīng)用場(chǎng)景逐漸增多，企業(yè)和組織需要及時(shí)處理節(jié)假日出行訂單、外賣訂單、路況事故信息等實(shí)時(shí)數(shù)據(jù)，這就要求強(qiáng)大的流分析和存儲(chǔ)能力。
因此，戴爾科技集團(tuán)從零開始構(gòu)建了一套實(shí)時(shí)流式數(shù)據(jù)分析與存儲(chǔ)解決方案——戴爾易安信流數(shù)據(jù)處理平臺(tái)（Streaming Data Platform,SDP），旨在為編寫可靠的流式應(yīng)用程序提供基礎(chǔ)。
該平臺(tái)在K8s上構(gòu)建，采用微服務(wù)架構(gòu)，通過統(tǒng)一的K8s Operator方式部署Pravega與Flink，集合了存儲(chǔ)和計(jì)算平臺(tái)，并且實(shí)現(xiàn)安全、多租戶等諸多特性，為企業(yè)用戶提供了一體化的數(shù)據(jù)存儲(chǔ)和分析平臺(tái)。
SDP最基礎(chǔ)的組件是它的流式數(shù)據(jù)存儲(chǔ)引擎，即Pravega。作為平臺(tái)內(nèi)的自研開源組件，Pravega承擔(dān)著為所有其它組件提供流式數(shù)據(jù)存取服務(wù)的重任，用以簡(jiǎn)化實(shí)時(shí)數(shù)據(jù)處理和存儲(chǔ)需求。
Pravega采用了分層存儲(chǔ)架構(gòu)。事件可以存儲(chǔ)在低延遲/高IOPS的存儲(chǔ)（第一層存儲(chǔ)）和更高吞吐量的存儲(chǔ)（第二層存儲(chǔ)）中。通過這種方式，冷熱數(shù)據(jù)分離有效降低了數(shù)據(jù)存儲(chǔ)成本。上層使用Apache ZooKeeper作為分布式協(xié)調(diào)器，并提供統(tǒng)一的Stream抽象。
Pravega專注于流式數(shù)據(jù)存儲(chǔ)的可靠性和實(shí)時(shí)性，同時(shí)提供批流一體的Stream API。它解決了大數(shù)據(jù)處理系統(tǒng)面臨的“計(jì)算是原生的流計(jì)算，而存儲(chǔ)卻不是原生的流存儲(chǔ)”難題。經(jīng)過Pravega抽象后的流式數(shù)據(jù)具有持久性、伸縮性、只追加等一系列特性。
目前，Pravega在游樂園設(shè)施的預(yù)防性維護(hù)、工業(yè)物聯(lián)網(wǎng)中的異常檢測(cè)、建筑業(yè)中施工的準(zhǔn)確性和資源跟蹤等方面，均發(fā)揮了作用。
基于應(yīng)用場(chǎng)景豐富，Pravega受到了IT開發(fā)者的認(rèn)可和歡迎。因此，由戴爾中國(guó)研發(fā)中心主辦的首屆Pravega創(chuàng)客大賽，于今夏發(fā)出“英雄帖”時(shí)，獲得了社會(huì)各界的廣泛關(guān)注。相關(guān)報(bào)道的瀏覽量累計(jì)突破71.9萬次，互動(dòng)量更是達(dá)到了1.7萬余次。
本次大賽吸引到23個(gè)團(tuán)隊(duì)同場(chǎng)競(jìng)技，探索開源編程領(lǐng)域的更多可能性。從網(wǎng)約車危險(xiǎn)駕駛行為實(shí)時(shí)監(jiān)控與預(yù)警、工業(yè)物聯(lián)網(wǎng)操作系統(tǒng)，到流計(jì)算在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用，這些滬上“長(zhǎng)寧區(qū)大神”、“數(shù)據(jù)高手”使用數(shù)據(jù)流和Pravega創(chuàng)建代碼，向外界展示創(chuàng)新帶來的價(jià)值。
經(jīng)過嚴(yán)格的初選之后，共有十支參賽團(tuán)隊(duì)脫穎而出，躋身決賽。這些佼佼者進(jìn)一步向評(píng)委們闡釋了各自的項(xiàng)目，充分展現(xiàn)出團(tuán)隊(duì)對(duì)于創(chuàng)新和開源平臺(tái)的堅(jiān)持和信念。
最終，來自戴爾中國(guó)研發(fā)中心E-LAB和OCTO團(tuán)隊(duì)、云原生計(jì)算基金會(huì)（CNCF）Pravega社區(qū)團(tuán)隊(duì)、Apache Flink 社區(qū)團(tuán)隊(duì)、T-Footprint團(tuán)隊(duì)以及初創(chuàng)公司MatrixOrigin團(tuán)隊(duì)，憑借各自的優(yōu)秀項(xiàng)目贏得了評(píng)委們的青睞！
本屆優(yōu)秀技術(shù)演講獎(jiǎng)由李三平、陳悠獲得，下面為大家揭曉各支團(tuán)隊(duì)摘得的獎(jiǎng)項(xiàng)及精彩議題。
一等獎(jiǎng)
芯片軟件CI/CD大數(shù)據(jù)
分析與狀態(tài)監(jiān)測(cè)
—— Terry YU、David YUAN、Charles GUO，來自T-Footprint（NXP/AMD的設(shè)計(jì)公司）
來自T-Footprint的團(tuán)隊(duì)在芯片研發(fā)過程中洞察到在日常CI/CD的過程中涉及到大量的測(cè)試設(shè)備，海量的測(cè)試結(jié)果數(shù)據(jù)在后續(xù)的定位中往往需要投入大量的人工資源去進(jìn)行諸如錯(cuò)誤分類、測(cè)試狀態(tài)統(tǒng)計(jì)等工作，最終導(dǎo)致效率低且成本高。
通過基于Pravega對(duì)數(shù)據(jù)的實(shí)時(shí)采集和以及存儲(chǔ)，利用Apache Flink為計(jì)算引擎以及可視化組件構(gòu)建出一套完整的解決方案，目前的該項(xiàng)目已經(jīng)被落地到生成測(cè)試環(huán)境。
二等獎(jiǎng)
Flink 武魂殿
—— 蔣曉峰、蘇軒楠、任慶盛，來自Apache Flink社區(qū)
該項(xiàng)目基于當(dāng)前火熱的以Snowflake和Databricks主導(dǎo)Lakehouse架構(gòu)進(jìn)行了思考，結(jié)合目前主流Lakehouse技術(shù)棧之一的Apache Hudi，通過從開放性、工作負(fù)載包容性等方面進(jìn)行的分析，將CNCF Pravega作為整個(gè)架構(gòu)中的數(shù)據(jù)持久化層，落地應(yīng)用到Lakehouse的場(chǎng)景中。
二等獎(jiǎng)
網(wǎng)約車危險(xiǎn)駕駛行為
實(shí)時(shí)監(jiān)控與預(yù)警
——羅玉皓、王芳、陳燕飛、何毅，來自戴爾E-LAB團(tuán)隊(duì)
駕駛員者最危險(xiǎn)的一面是駕駛員本身的干擾造成的不規(guī)范駕駛行為。借助視頻采集設(shè)備和傳感器， 實(shí)時(shí)采集司機(jī)駕駛行為AI視頻智能檢測(cè)，識(shí)別駕駛員不規(guī)范駕駛行為，督促司機(jī)提升安全意識(shí)并優(yōu)化駕駛行為，為乘客提供全方位的安全保障。
Pravega利用低延時(shí)、高并發(fā)和高吞吐要求，以及對(duì)實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的統(tǒng)一處理能力能夠完成對(duì)多路視頻的實(shí)時(shí)分析和歷史視頻的回溯。在此次車聯(lián)網(wǎng)方案中的應(yīng)用，展示了其性能的優(yōu)異性，能幫助降低開發(fā)，運(yùn)維和存儲(chǔ)成本，縮短開發(fā)周期。
三等獎(jiǎng)
Hutosys工業(yè)物聯(lián)網(wǎng)操作系統(tǒng)
—— 黃策、 張翔，來自CNCF Pravega社區(qū)
三等獎(jiǎng)
Streaming OLAP
—— 魏子然、李慧靜、秦姝琦、張瀟，來自MatrixOrigin公司
三等獎(jiǎng)
基于Pravega的數(shù)據(jù)蒸餾方案
—— 李三平、陳強(qiáng)、倪嘉呈、王子嘉，來自戴爾OCTO團(tuán)隊(duì)
三等獎(jiǎng)
基于Pravega的風(fēng)控解決方案
—— 陳悠、張康、湯慶凱，來自CNCF Pravega社區(qū)
三等獎(jiǎng)
流計(jì)算在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用
—— 耿飆、周云峰、藺廣琛，來自Apache Flink社區(qū)
再次恭喜本屆大賽的獲勝團(tuán)隊(duì)！在后續(xù)的推文中，我們將詳細(xì)解讀此次大賽中的優(yōu)勝項(xiàng)目，請(qǐng)大家拭目以待。愿Pravega這只“青鳥”未來幫助更多開發(fā)者，探索分布式流式系統(tǒng)背后的秘密！
