大數(shù)據(jù)與云計(jì)算之間有著千絲萬縷、相互推動(dòng)的關(guān)系。當(dāng)前大數(shù)據(jù)時(shí)代已經(jīng)來臨，海量數(shù)據(jù)應(yīng)用的背后是云計(jì)算在做支撐，二者之間實(shí)現(xiàn)高效銜接能夠?yàn)楹Ａ繑?shù)據(jù)的價(jià)值釋放奠定良好基礎(chǔ)，賦能業(yè)務(wù)創(chuàng)新。

“云原生大數(shù)據(jù)”便是以上形式的技術(shù)投影。云原生首次由 Pivotal 公司的 Matt Stine 在2013年提出。云原生(CloudNative)是一個(gè)組合詞，Cloud+Native。Cloud 表示應(yīng)用程序位于云中，而不是傳統(tǒng)的數(shù)據(jù)中心;Native 表示應(yīng)用程序從設(shè)計(jì)之初即考慮到云的環(huán)境，原生為云而設(shè)計(jì)，充分利用和發(fā)揮云平臺(tái)的彈性+分布式優(yōu)勢(shì)。云原生大數(shù)據(jù)即是大數(shù)據(jù)在設(shè)計(jì)之初，就充分考慮如何利用云的優(yōu)勢(shì)，最大限度釋放數(shù)據(jù)價(jià)值。

品高股份早在 2008 年開始自主研發(fā)，2010 年 2 月就獲得了私有云操作系統(tǒng)商用版本著作權(quán)，是一家具有深厚云基因的公司。2015 年，品高股份在面臨某省級(jí)公安多警種、省市區(qū)多層級(jí)的復(fù)雜數(shù)據(jù)生態(tài)問題時(shí)，對(duì)大數(shù)據(jù)平臺(tái)的研發(fā)有了一定的思考。結(jié)合多年的云計(jì)算自主研發(fā)經(jīng)驗(yàn)、實(shí)踐經(jīng)驗(yàn)和敏銳的技術(shù)趨勢(shì)研判，品高股份認(rèn)為，大數(shù)據(jù)要有效釋放價(jià)值，需要解決跨層級(jí)跨行業(yè)跨領(lǐng)域的數(shù)據(jù)互聯(lián)互通問題，構(gòu)筑成熟的數(shù)據(jù)管理能力，同時(shí)結(jié)合云計(jì)算的優(yōu)勢(shì)，為數(shù)據(jù)管理和運(yùn)用提供支撐。2016 年，品高云數(shù)據(jù)湖從云中應(yīng)運(yùn)而生。

品高云數(shù)據(jù)湖管理平臺(tái)的云原生主要體現(xiàn)在以下幾個(gè)方面：采用存算分離架構(gòu)，通過云原生的存儲(chǔ)加速數(shù)據(jù)訪問，通過云原生的計(jì)算智能調(diào)度資源，通過云原生的網(wǎng)絡(luò)保障數(shù)據(jù)安全。

品高云數(shù)據(jù)湖管理平臺(tái)(BingoInsight)是國(guó)內(nèi)首批企業(yè)級(jí)的私有云數(shù)據(jù)湖之一，是新一代的數(shù)據(jù)匯聚、共享、交換、開放平臺(tái)。

云原生大數(shù)據(jù)，加速釋放數(shù)據(jù)價(jià)值

從share Nothing到share Storage

品高云數(shù)據(jù)湖采用存算分離架構(gòu)，使用基于 S3 標(biāo)準(zhǔn)協(xié)議的云原生對(duì)象存儲(chǔ)承載大規(guī)模數(shù)據(jù)存儲(chǔ)，計(jì)算層無狀態(tài)。相較基于 Hadoop 架構(gòu)的數(shù)據(jù)湖，品高云數(shù)據(jù)湖存儲(chǔ)計(jì)算分別可按需擴(kuò)展，具有無縫對(duì)接 Hadoop/Spark/MPP 等異構(gòu)計(jì)算引擎、計(jì)算資源可回收、彈性計(jì)算、更低成本等優(yōu)勢(shì)。

借助云技術(shù)加速數(shù)據(jù)存儲(chǔ)訪問

-數(shù)據(jù)路由加速

基于 SDN 軟件定義網(wǎng)絡(luò)技術(shù)在網(wǎng)絡(luò)層解決數(shù)據(jù)智能路由，數(shù)據(jù)訪問時(shí)可就近落盤訪問，縮短 I/O 路徑，減少上行的數(shù)據(jù)復(fù)制包，解決了存算分離架構(gòu)下的 I/O 延時(shí)及性能損耗等問題。

-分布式內(nèi)存加速

通過分布式內(nèi)存技術(shù)，自動(dòng)緩存訪問熱點(diǎn)數(shù)據(jù)，大幅提高訪問速度。

-高性能并發(fā)加速

基于底層云平臺(tái) DPDK + SDN 架構(gòu)，將計(jì)算節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)發(fā)層進(jìn)行多核并行的架構(gòu)改造，提升整體云數(shù)據(jù)湖大數(shù)據(jù)計(jì)算集群網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能，同時(shí)提供兼容 POSIX 標(biāo)準(zhǔn)封裝 Socket 網(wǎng)絡(luò)開發(fā)組件，對(duì)負(fù)載均衡、數(shù)據(jù)緩存等服務(wù)進(jìn)行優(yōu)化改造，實(shí)現(xiàn)關(guān)鍵網(wǎng)絡(luò)服務(wù)的性能提升，在云中提供的純軟件負(fù)載均衡服務(wù)每秒請(qǐng)求數(shù)可達(dá) 150 萬，最大并發(fā)連接數(shù)可達(dá) 500 萬。

云技術(shù)助力開放性、輕量級(jí)數(shù)據(jù)計(jì)算

-多范式開放性計(jì)算

品高云數(shù)據(jù)湖存儲(chǔ)使用標(biāo)準(zhǔn) S3 協(xié)議，可無縫對(duì)接離線計(jì)算、實(shí)時(shí)流計(jì)算、交互式分析、AI 計(jì)算等多范式計(jì)算引擎，支持外部表直連訪問，外部表支持映射不同的分區(qū)文件，靈活滿足不同數(shù)據(jù)處理需求，提升數(shù)據(jù)共享的使用效率，構(gòu)建“一份數(shù)據(jù)，多種計(jì)算”，跨部門、跨層級(jí)復(fù)雜生態(tài)的異構(gòu)計(jì)算引擎可快速對(duì)接，同時(shí)在新計(jì)算技術(shù)引進(jìn)或者更替時(shí)無需遷移數(shù)據(jù)。

-輕量級(jí)函數(shù)計(jì)算

品高云數(shù)據(jù)湖基于輕量級(jí)、多編程語言上下文環(huán)境保證的容器沙盒，實(shí)現(xiàn)兼容 AWS 標(biāo)準(zhǔn)的多租戶 Lambda 云函數(shù)，以數(shù)據(jù)湖多維感知的全鏈路事件驅(qū)動(dòng)，構(gòu)建云數(shù)據(jù)湖的內(nèi)生數(shù)據(jù)計(jì)算處理引擎。支持?jǐn)?shù)據(jù)定義 DDL 、數(shù)據(jù)管理 DML 等事件，如數(shù)據(jù)寫入事件、數(shù)據(jù)更新事件、數(shù)據(jù)刪除事件等，用戶可根據(jù)業(yè)務(wù)場(chǎng)景訂閱并設(shè)置規(guī)則觸發(fā)云函數(shù)，數(shù)據(jù)湖內(nèi)置常見圖像識(shí)別、OCR 識(shí)別、實(shí)體提取等函數(shù)，同時(shí)支持用戶上傳自定義函數(shù)，支持 java、c/c++、python 等編程語言，實(shí)現(xiàn)敏捷化、輕量級(jí)數(shù)據(jù)處理。
云原生混合調(diào)度，屏蔽底層資源差異，合理化分配資源

-異構(gòu)資源統(tǒng)一管理調(diào)度，以最佳資源配置提供服務(wù)

針對(duì)大數(shù)據(jù)異構(gòu)計(jì)算資源調(diào)度高效能交付場(chǎng)景，根據(jù)大數(shù)據(jù)異構(gòu)計(jì)算引擎的資源需求差異化特性，品高云研究異構(gòu)資源的統(tǒng)一管控與調(diào)度技術(shù)，根據(jù)物理區(qū)域、業(yè)務(wù)區(qū)域、安全區(qū)域劃分?jǐn)?shù)據(jù)計(jì)算可用區(qū)，在同一可用區(qū)內(nèi)，服務(wù)支持運(yùn)行在虛擬機(jī)、容器、裸金屬等不同資源形態(tài)，支持 GPU、NPU、FPGA 等加速設(shè)備資源化交付。在預(yù)設(shè)的異構(gòu)大數(shù)據(jù)計(jì)算引擎場(chǎng)景中，可優(yōu)先提供最佳的資源配置。

-多芯協(xié)同調(diào)度

國(guó)內(nèi)各芯片廠商發(fā)展百花齊放，各芯片所擅長(zhǎng)領(lǐng)域亦各有千秋。在此背景下，各集團(tuán)型企業(yè)和單位可能存在多種芯片同時(shí)提供服務(wù)，甚至可能存在集團(tuán)企業(yè)和其下屬子公司所使用的芯片不同的情況。品高云數(shù)據(jù)湖通過屏蔽底層異構(gòu)計(jì)算引擎差異，根據(jù)客戶使用場(chǎng)景調(diào)度合適的芯片提供計(jì)算服務(wù)，不同廠商芯片協(xié)同向上支撐應(yīng)用，避免了技術(shù)鎖定和產(chǎn)能不足等潛在業(yè)務(wù)風(fēng)險(xiǎn)。

-彈性伸縮以高效利用資源

借助存算分離架構(gòu)，計(jì)算實(shí)現(xiàn)無狀態(tài)，數(shù)據(jù)計(jì)算可根據(jù)用戶自定義業(yè)務(wù)規(guī)則自動(dòng)伸縮，支持多租戶計(jì)算資源隔離和動(dòng)態(tài)調(diào)度。

通過SDN保障數(shù)據(jù)安全

品高云數(shù)據(jù)湖引入數(shù)據(jù)沙箱機(jī)制，將代碼與代碼運(yùn)行所需要的數(shù)據(jù)和環(huán)境變量解耦，根據(jù)代碼的運(yùn)行環(huán)境，自動(dòng)關(guān)聯(lián)所需要的數(shù)據(jù)和環(huán)境變量。并通過 SDN 隔離敏感數(shù)據(jù)，在云網(wǎng)絡(luò)層面判斷訪問的客戶端 IP、訪問協(xié)議、訪問端口是否有可訪問權(quán)限;對(duì)于高敏感度數(shù)據(jù)，可用子網(wǎng)絡(luò)再次進(jìn)行隔離，多方面多層級(jí)保障數(shù)據(jù)安全。

新技術(shù)協(xié)同共融共生

通過云計(jì)算與大數(shù)據(jù)的融合，可以發(fā)揮出指數(shù)增長(zhǎng)的價(jià)值優(yōu)勢(shì)。未來，各技術(shù)交叉融合必然是大勢(shì)所趨，我們將始終保持開放中立的態(tài)度，以推動(dòng)產(chǎn)業(yè)發(fā)展為目標(biāo)，積極探索創(chuàng)新融合，為行業(yè)客戶發(fā)展賦能。