華為云發(fā)布全新容器解決方案 加速云原生技術(shù)商用進(jìn)程
原創(chuàng)【51CTO.com原創(chuàng)稿件】近年來,隨著云計(jì)算的快速發(fā)展,企業(yè)在傳統(tǒng)應(yīng)用方面的投資正在縮減,對(duì)云原生應(yīng)用的投資則在逐步增長,數(shù)字化轉(zhuǎn)型趨勢(shì)下的云原生時(shí)代正在來臨。華為云作為云原生計(jì)算基金會(huì)(Cloud Native Computing Foudation,CNCF)的初創(chuàng)成員,始終致力于深耕云原生技術(shù),圍繞多云、智能、異構(gòu)和邊緣四大發(fā)展趨勢(shì),進(jìn)行持續(xù)創(chuàng)新,輸出云技術(shù)及開源成果,助力更多企業(yè)實(shí)現(xiàn)云原生和數(shù)字化轉(zhuǎn)型。
9月19日,在第四屆HUAWEI CONNECT 2019(華為全聯(lián)接大會(huì))上,華為云正式對(duì)外發(fā)布了容器多云混合云解決方案2.0版本以及全新的高性能批量計(jì)算解決方案,幫助企業(yè)級(jí)用戶構(gòu)建更大規(guī)模的容器混合云平臺(tái),釋放多元算力,助力計(jì)算密集型企業(yè)徹底解決Kubernetes容器中的算力問題。
容器多云混合云2.0 助推企業(yè)容器化發(fā)展進(jìn)入新時(shí)代
傳統(tǒng)企業(yè)出于對(duì)IDC資產(chǎn)的保護(hù)以及降低IT投入和維護(hù)成本的綜合考量,都會(huì)考慮混合云,而像業(yè)務(wù)量龐大的頭部互聯(lián)網(wǎng)企業(yè),從業(yè)務(wù)穩(wěn)定性和連續(xù)性的角度出發(fā),也必然要面臨多云的選擇。如今,多云、混合云已不再是技術(shù)的發(fā)展趨勢(shì),而是真真切切的市場(chǎng)訴求。
據(jù)了解,華為云容器多云混合云解決方案的1.0版本于今年3月發(fā)布,是云原生技術(shù)領(lǐng)域較早實(shí)現(xiàn)商用的多云、混合云管理平臺(tái),比Google發(fā)布的Anthos早了將近一個(gè)月。
從技術(shù)角度來看,多云混合云自下而上分為資源混合、數(shù)據(jù)混合以及應(yīng)用混合三個(gè)層次,非容器的多云混合云解決方案關(guān)注的是網(wǎng)絡(luò)和數(shù)據(jù),尤其是中間件,例如數(shù)據(jù)庫、緩存、消息等。華為云容器多云混合云重點(diǎn)關(guān)注從應(yīng)用視角出發(fā)的全棧解決方案,基于KubeFed(Federation V2)和Istio的核心能力,將不同云之間的Kubernetes集群統(tǒng)一管理起來,并通過Istio的智能路由能力,打通下層的網(wǎng)絡(luò)與數(shù)據(jù),為用戶提供真正的一站式“應(yīng)用跨云”解決方案,實(shí)現(xiàn)業(yè)務(wù)請(qǐng)求的跨云分發(fā),破解了第二類的應(yīng)用層混合管理難題。
據(jù)華為云應(yīng)用管理服務(wù)域總經(jīng)理方璞透露,華為云容器平臺(tái)在安全、易用、可靠、生態(tài)等方面的優(yōu)勢(shì)及特性,獲得了來自上百家大型企業(yè)客戶的普遍認(rèn)可,但對(duì)容器平臺(tái)能否良好地支撐企業(yè)現(xiàn)有的大規(guī)模核心業(yè)務(wù)仍存顧慮,因此對(duì)規(guī)模、性能、快速彈性、容災(zāi)恢復(fù)等一系列關(guān)鍵指標(biāo)提出了更高的要求。
本次發(fā)布的容器多云混合云解決方案2.0版本由CCE、MCP、ASM等若干云服務(wù)產(chǎn)品組成,開箱即用,相比1.0版本支持更大的集群管理規(guī)模、更快的網(wǎng)絡(luò)和存儲(chǔ)、更高效的運(yùn)維與監(jiān)控,可以很好地滿足互聯(lián)網(wǎng)企業(yè)核心業(yè)務(wù)容器化大規(guī)模部署的難題,還可以輕松應(yīng)對(duì)業(yè)務(wù)高峰期的快速擴(kuò)容,確保業(yè)務(wù)的高可用。
首先,單集群支持10000節(jié)點(diǎn)的管理規(guī)模,并將節(jié)點(diǎn)擴(kuò)容能力提升到30秒擴(kuò)容100虛機(jī),遠(yuǎn)遠(yuǎn)領(lǐng)先于同類產(chǎn)品,同時(shí)支持百萬容器的管理和服務(wù)治理、運(yùn)維監(jiān)控。
其次,容器存儲(chǔ)Everest統(tǒng)一了容器卷的管理,將不同類型存儲(chǔ)的創(chuàng)建、刪除、查詢、遷移、備份等操作接口標(biāo)準(zhǔn)化,極大簡化了容器存儲(chǔ)的管理和使用;同時(shí),構(gòu)建了百萬IOPS的高性價(jià)比的容器存儲(chǔ),在圖形渲染、AI計(jì)算、基因數(shù)據(jù)分析、大數(shù)據(jù)等海量數(shù)據(jù)讀寫的場(chǎng)景更具優(yōu)勢(shì)。
再次,新一代容器網(wǎng)絡(luò)Yangtse,在大規(guī)模場(chǎng)景下,容器網(wǎng)絡(luò)發(fā)放與接通的速度均取得了跨越式增長,1萬容器Port發(fā)放只需1分鐘,容器網(wǎng)絡(luò)接通速度小于1秒。
第四,容器監(jiān)控Glacier支持跨云應(yīng)用的全景監(jiān)控,支持社區(qū)的原生Prometheus生態(tài),結(jié)合集群聯(lián)邦與策略引擎,實(shí)現(xiàn)了30秒應(yīng)用跨云的自動(dòng)彈性。
熟悉技術(shù)的人都知道,Kubernetes源自古希臘語,譯為舵手,而Istio的logo則是一個(gè)小帆船,華為云期望彌合云原生落地過程中的鴻溝,將開源領(lǐng)域的小船變成滿足企業(yè)級(jí)生產(chǎn)的Kubernetes大型軍艦(Vessel),駛向大型企業(yè),推動(dòng)開源生態(tài)的快速發(fā)展。華為云將依托更大規(guī)模的集群管理能力、更快的容器網(wǎng)絡(luò)和存儲(chǔ)、更完善的監(jiān)控管理能力,滿足企業(yè)核心業(yè)務(wù)上云的綜合訴求,從試水業(yè)務(wù)容器化創(chuàng)新,進(jìn)入核心業(yè)務(wù)容器化的深水區(qū),助推企業(yè)容器化發(fā)展進(jìn)入了新時(shí)代。
圍繞三大領(lǐng)域破解高性能批量計(jì)算痛點(diǎn)
同期發(fā)布的全新華為云高性能批量計(jì)算解決方案,將去年發(fā)布的基因容器服務(wù)、AI容器服務(wù)以及新的大數(shù)據(jù)容器服務(wù)統(tǒng)一到Volcano高性能容器批量計(jì)算平臺(tái)之上,具備智能和異構(gòu)兩大特性,北向支持多種AI計(jì)算框架,南向支持Ascend+Kunpeng的多元異構(gòu)算力——更快的算力獲取,更高性能的網(wǎng)絡(luò)、存儲(chǔ),能夠?yàn)榇髷?shù)據(jù)、基因及泛互聯(lián)網(wǎng)行業(yè)等海量數(shù)據(jù)分析場(chǎng)景提供高性能的批量計(jì)算能力。
大數(shù)據(jù)容器
基于存算分離的容器化大數(shù)據(jù)解決方案,大數(shù)據(jù)分析效率提升40%,彌補(bǔ)了當(dāng)前主流容器大數(shù)據(jù)平臺(tái)的不足,在調(diào)度、任務(wù)管理、功能等方面,可以匹敵甚至優(yōu)于傳統(tǒng)的Spark on Yarn方案。Yarn是Hadoop生態(tài)系統(tǒng)中的核心調(diào)度引擎,Yarn的文件系統(tǒng)HDFS采用存算一體化架構(gòu),計(jì)算和存儲(chǔ)的比例固定,計(jì)算資源的利用率一般不到50%,顯然不符合實(shí)際的業(yè)務(wù)需求。
伴隨云計(jì)算和大數(shù)據(jù)的快速發(fā)展,越來越多的大數(shù)據(jù)公司開始將其大數(shù)據(jù)業(yè)務(wù)運(yùn)行在Kubernetes上,在這一趨勢(shì)下,如何讓Kubernetes支撐Spark上各種面向大數(shù)據(jù)的交易機(jī)制,正是Volcano解決的問題。大數(shù)據(jù)容器采用存算分離架構(gòu),通過OBS使存儲(chǔ)和計(jì)算資源可以根據(jù)業(yè)務(wù)需要,各自進(jìn)行彈性擴(kuò)展和靈活配置,從而使資源匹配更精準(zhǔn)、合理,大幅提升了大數(shù)據(jù)集群資源的利用率。測(cè)試數(shù)據(jù)表明,大數(shù)據(jù)容器的分析效率可以提升40%,綜合成本可降低50% 。
基因容器
在去年的HC大會(huì)上,華為云發(fā)布了基因容器服務(wù)GCS,提供大規(guī)模的算力資源池,大幅提升了基因數(shù)據(jù)的分析效率,助力華大、希望組等國內(nèi)頭部企業(yè)破解了基因測(cè)序成本高、效率低、門檻高的三大難題。據(jù)悉,目前國內(nèi)基因行業(yè)Top10的企業(yè)中,已有5家采用了華為云的基因容器服務(wù)。
與之前相比,本次發(fā)布的基因容器在功能和性能上均有重大升級(jí), 30X的全基因組測(cè)序(WGS)場(chǎng)景,測(cè)試效率與傳統(tǒng)方案相比提升10倍。基因容器解決方案新增了以容器方式實(shí)現(xiàn)生信領(lǐng)域廣泛使用的SGE集群管理能力,使得傳統(tǒng)線下生信分析環(huán)境可以無縫遷移上云,獲得輕量級(jí)容器技術(shù)帶來的諸多益處。此外,基因容器GCS現(xiàn)已支持世界先進(jìn)生物實(shí)驗(yàn)室發(fā)布的流程引擎Cromwell,開發(fā)者只需提供標(biāo)準(zhǔn)的WDL流程,就可以在遵從GA4GH(全球基因組學(xué)與健康聯(lián)盟)統(tǒng)一標(biāo)準(zhǔn)的前提下,以業(yè)界一致的對(duì)話方式,按需按秒的進(jìn)行WDL基因數(shù)據(jù)分析。
AI容器
AI容器原生支持10種以上業(yè)界主流的深度學(xué)習(xí)框架,除各大社區(qū)中的開源框架外,還包含華為全場(chǎng)景AI計(jì)算框架MindSpore等新型框架,AI模板訓(xùn)練效率提升3至5倍。與去年發(fā)布的AI容器相比,采用Volcano調(diào)度引擎的新版AI容器解決方案,提升了對(duì)“鯤鵬+昇騰+X86+GPU”的混合調(diào)度能力,任務(wù)調(diào)度性能與業(yè)界相比高出10倍。除此之外,華為云AI容器在計(jì)算性能及資源利用率等方面均有大幅提升,性價(jià)比提升30%以上。
據(jù)悉,在斯坦福大學(xué)今年5月發(fā)布的DAWNBench榜單中,華為云ModelArts以2分43秒的成績?cè)趫D像識(shí)別訓(xùn)練中奪魁,其背后就離不開Volcano的算力支撐。
在AI計(jì)算場(chǎng)景,AI容器在圖像識(shí)別、自然語言處理、智能監(jiān)控、自動(dòng)駕駛,以及近期大熱的AI換臉等主流場(chǎng)景均有豐富實(shí)踐。實(shí)際上,不同客戶在不同場(chǎng)景下的核心訴求也各有不同,既有面向大規(guī)模分布式訓(xùn)練的高性能需求,也有簡化開發(fā)調(diào)試工作的需求,還有更優(yōu)性價(jià)比方面的需求。方璞表示,華為云AI容器解決方案將在實(shí)踐中不斷優(yōu)化,逐步提升在性能、性價(jià)比、開放性、使用體驗(yàn)等方面的綜合能力,滿足各類用戶的差異化需求。
展望未來
隨著云計(jì)算技術(shù)的飛速發(fā)展,以云原生應(yīng)用、數(shù)據(jù)和AI為驅(qū)動(dòng)的Cloud2.0時(shí)代悄然來臨,云原生在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用逐漸進(jìn)入深水區(qū),云原生開源技術(shù)已無法滿足企業(yè)級(jí)客戶在生產(chǎn)業(yè)務(wù)上的綜合訴求,這也是促進(jìn)容器解決方案不斷提升集群規(guī)模、監(jiān)控、網(wǎng)絡(luò)、存儲(chǔ)等性能的主要驅(qū)動(dòng)力。
數(shù)字化轉(zhuǎn)型大潮下,金融、汽車、政務(wù)等傳統(tǒng)行業(yè)的大型企業(yè)正在積極擁抱云原生,運(yùn)用人工智能、大數(shù)據(jù)、云計(jì)算等技術(shù)向泛互聯(lián)網(wǎng)的方向轉(zhuǎn)型,隨著5G的到來,邊云協(xié)同的趨勢(shì)下,云原生技術(shù)必將在泛互聯(lián)網(wǎng)領(lǐng)域以及傳統(tǒng)行業(yè)加速落地。
接下來,華為云將結(jié)合不同行業(yè)用戶的訴求,在實(shí)際項(xiàng)目交付的過程中,通過持續(xù)迭代推出具有高價(jià)值的產(chǎn)品,讓容器解決方案能夠更貼合實(shí)際場(chǎng)景,幫助用戶破解行業(yè)中的業(yè)務(wù)難題。另一方面,華為云將繼續(xù)加強(qiáng)與CNCF社區(qū)間的合作,進(jìn)一步探索云原生的新趨勢(shì),通過在業(yè)務(wù)領(lǐng)域進(jìn)行創(chuàng)新嘗試,繼續(xù)為云原生在下一階段的發(fā)展指引方向。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】