像用“數(shù)據(jù)庫(kù)”一樣使用“大數(shù)據(jù)”!華為宣布河圖引擎開(kāi)源
11 月 19 日,華為在深圳舉辦了 2019 全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇。華為 Cloud & AI 產(chǎn)品與服務(wù)總裁侯金龍宣布,面向鯤鵬計(jì)算產(chǎn)業(yè),全面啟動(dòng)數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略,并開(kāi)源數(shù)據(jù)虛擬化引擎 HetuEngine(河圖引擎),希望讓伙伴像使用“數(shù)據(jù)庫(kù)”一樣使用“大數(shù)據(jù)”,讓數(shù)據(jù)治理、使用更簡(jiǎn)單。
今年 9 月,華為在全聯(lián)接大會(huì)上發(fā)布了“一云兩翼雙引擎”的鯤鵬計(jì)算產(chǎn)業(yè)布局,基于“鯤鵬+昇騰”雙引擎,全面啟航計(jì)算戰(zhàn)略,為世界提供最強(qiáng)算力。今天華為又從數(shù)據(jù)角度對(duì)計(jì)算戰(zhàn)略再一次進(jìn)行了闡述。
侯金龍表示,華為公司的愿景與使命是:“把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織,構(gòu)建萬(wàn)物互聯(lián)的智能世界”。在智能世界,算力成為新生產(chǎn)力,數(shù)據(jù)成為新生產(chǎn)資料,“5G、AI、云”成為新生產(chǎn)工具,將使能千行百業(yè)邁入智能時(shí)代。
隨著 5G、AI 和云的普及,數(shù)據(jù)量正以驚人的速度增長(zhǎng):從 1080P 到 4K、8K,視頻數(shù)據(jù)量將提升 40 倍,從 4K 到 4K VR 要增加 6 倍以上;未來(lái)每輛自動(dòng)駕駛汽車每天就會(huì)產(chǎn)生高達(dá) 64 TB 數(shù)據(jù);深圳一個(gè)城市有超過(guò) 200 萬(wàn)攝像頭,每天將產(chǎn)生 80 PB 數(shù)據(jù),平均保存 30 天,大家希望保存更長(zhǎng)時(shí)間;大量的數(shù)據(jù)過(guò)去只需存幾天,現(xiàn)在需要保存幾個(gè)月甚至永久保存。
根據(jù)預(yù)測(cè),全球數(shù)據(jù)量將從 2018 年的 33 ZB 快速增長(zhǎng)到 2025 年的 180 ZB。但是,產(chǎn)生的數(shù)據(jù)中僅有不到2% 被保存,而被保存的數(shù)據(jù)中僅有不到 10% 被應(yīng)用。
這些海量數(shù)據(jù)的增長(zhǎng)背后是需要海量存儲(chǔ)和計(jì)算的資源,數(shù)據(jù)增長(zhǎng)是無(wú)限的,而存儲(chǔ)資源卻是有限的。
華為希望,對(duì)數(shù)據(jù)的采、存、算、管、用實(shí)施端到端的整合和優(yōu)化,讓數(shù)據(jù)在全生命周期內(nèi)更好用,數(shù)據(jù)的每比特發(fā)揮價(jià)值最大,數(shù)據(jù)的每比特成本最優(yōu)。
為實(shí)現(xiàn)這個(gè)追求,華為打造融合、智能、開(kāi)放的數(shù)據(jù)基礎(chǔ)設(shè)施,讓數(shù)據(jù)系統(tǒng)從孤立走向融合,從復(fù)雜走向智能,從封閉走向開(kāi)放:
- 通過(guò)“打破數(shù)據(jù)處理與數(shù)據(jù)存儲(chǔ)的邊界”,實(shí)現(xiàn)數(shù)據(jù)高效共享和分析,降本增效。
- 通過(guò)“AI+ 存儲(chǔ)+云”,實(shí)現(xiàn)數(shù)據(jù)全生命周期內(nèi)智能管理和智能運(yùn)營(yíng),讓存儲(chǔ)越用越快,價(jià)值越來(lái)越大。
- 通過(guò)“數(shù)據(jù)虛擬化引擎”,統(tǒng)一 SQL 語(yǔ)法,像使用數(shù)據(jù)庫(kù)一樣使用大數(shù)據(jù)。
通過(guò) 10 余年技術(shù)積累和創(chuàng)新,華為在存儲(chǔ)、數(shù)據(jù)庫(kù)和大數(shù)據(jù)技術(shù)上實(shí)現(xiàn)了一系列突破,通過(guò)打破 4 堵墻,讓數(shù)據(jù)的每比特發(fā)揮價(jià)值最大,數(shù)據(jù)的每比特成本最優(yōu)。
- 打破存儲(chǔ)內(nèi)部系統(tǒng)墻:通過(guò)一套架構(gòu)實(shí)現(xiàn)生產(chǎn)、分析、備份、歸檔的統(tǒng)一管理,一份數(shù)據(jù)在各個(gè)系統(tǒng)中平滑流動(dòng),減少拷貝,TCO 降低 30% 以上。
- 打破數(shù)據(jù)庫(kù)與存儲(chǔ)鏈路墻:通過(guò)算子下推實(shí)現(xiàn)近數(shù)據(jù)計(jì)算,減少存儲(chǔ)層與計(jì)算層之間的數(shù)據(jù)交換,數(shù)據(jù)訪問(wèn)和處理性能提升 2 倍。
- 打破大數(shù)據(jù)與存儲(chǔ)配置墻:通過(guò)存算分離實(shí)現(xiàn)資源靈活配置,計(jì)算不足擴(kuò)計(jì)算,存儲(chǔ)不足擴(kuò)存儲(chǔ) 。并通過(guò)彈性 EC、數(shù)據(jù)縮減技術(shù)減少冗余,整體 TCO 降低 30% 以上。
- 打破數(shù)據(jù)庫(kù)與大數(shù)據(jù)協(xié)同墻:通過(guò)協(xié)同分析實(shí)現(xiàn)數(shù)據(jù)零搬遷,數(shù)據(jù)庫(kù)和大數(shù)據(jù)共享一份數(shù)據(jù),分析效率提升 100%。
此外,針對(duì)目前大量業(yè)務(wù)需要跨平臺(tái)、跨數(shù)據(jù)源協(xié)同分析,找數(shù)難、取數(shù)難、用數(shù)難等痛點(diǎn),為了屏蔽數(shù)據(jù)類型差異、地域差異、語(yǔ)法差異,讓數(shù)據(jù)治理簡(jiǎn)單,使用簡(jiǎn)單,華為推出了“河圖引擎”。
同時(shí),為了更好地發(fā)展數(shù)據(jù)產(chǎn)業(yè),今天侯金龍宣布開(kāi)源河圖引擎,開(kāi)源版本的河圖引擎叫 openHetu,將于 2020 年 6 月上線。
華為將開(kāi)源內(nèi)核,開(kāi)發(fā)者可以基于開(kāi)源代碼進(jìn)行定制,包括數(shù)據(jù)源擴(kuò)展、SQL 執(zhí)行策略等,實(shí)現(xiàn)應(yīng)用快速對(duì)接,提升開(kāi)發(fā)效率。
侯金龍最后表示,華為始終踐行“平臺(tái)+生態(tài)”策略,通過(guò)硬件開(kāi)放,軟件開(kāi)源,使能伙伴,共建開(kāi)放、繁榮的鯤鵬計(jì)算產(chǎn)業(yè)生態(tài),共同邁入智能時(shí)代。