解讀華為云不容錯過的深度學習“黑科技”
近日,由華為云舉辦的Deep Learning Meetup活動在華為杭州研究所舉行。來自愛羅智能公司、杭州電子科技大學、華為云EI產(chǎn)品部等相關業(yè)界專家與現(xiàn)場聽眾,圍繞深度學習技術的發(fā)展方向和領域應用等話題一起展開了深入交流與討論。其中華為云EI專家給現(xiàn)場觀眾帶來了《華為云深度學習服務介紹及實踐》的主題演講,讓大家感覺干貨滿滿,黑科技不斷。那么,華為云深度學習平臺究竟有哪些黑科技呢?下面就給大家一一盤點。
華為云EI專家現(xiàn)場講解華為云EI黑科技
多年積累 助力用戶降低深度學習訓練門檻
隨著深度學習應用的不斷推廣,各行各業(yè)的用戶都希望能夠利用深度學習技術來解決實際場景問題。但是,深度學習模型訓練需要具備一定的深度學習技術和編程能力,使得很多用戶雖有滿腔模型訓練之志,卻不得不敗在深度學習的技術門檻上。
因此,如何讓不會深度學習編程的用戶,同樣能夠完成深度學習模型訓練和模型應用,就是深度學習應用推廣所面臨的一個重大挑戰(zhàn)。華為云的深度學習服務,使用遷移學習技術,將華為針對多個典型客戶場景,所訓練出的高性能的深度學習模型,預置在華為云深度學習服務中。行業(yè)用戶在訓練自己的行業(yè)模型時,只需要使用華為云深度學習服務,用自己的行業(yè)數(shù)據(jù)對預置模型進行重新訓練,即可得到自己所需的行業(yè)模型。這整個操作過程只需2步操作即可完成,用戶不必具備任何深度學習技術和編程基礎。目前,華為云深度學習服務已經(jīng)內置了包括提供圖像分類、物體檢測等在內的幾十種CNN/RNN神經(jīng)網(wǎng)絡算法模型,方便用戶進行便捷模型訓練。
破除分布式編程壁壘 分布式訓練不再是難題
在實際應用中,由于深度學習的網(wǎng)絡層復雜、訓練數(shù)據(jù)規(guī)模龐大,訓練時間非常長,因此通常采用分布式計算來減少訓練時間。但是,分布式開發(fā)本身就具有一定的技術門檻,很多用戶并不具備分布式開發(fā)能力。因此,如何解決用戶對單機代碼的分布式改造是深度學習應用推廣所面臨的另一個重大挑戰(zhàn)。
華為云深度學習服務,提供了自研的的MoXing高層庫。用戶在使用MoXing庫進行模型開發(fā)時,只需聚焦業(yè)務邏輯代碼實現(xiàn),無需關心分布式和單機版的問題。一套代碼既可以運行在單機模式,也可運行在分布式模式,這樣就解決了不會分布式編程,卻需要進行分布式訓練的難題。同時,MoXing庫完全兼容TensorFlow、MXNet、Keras等主流開源庫,給用戶提供多的選擇。
GPU集群加速 降低分布式訓練時間
使用MoXIng高層庫解決分布式編程問題后,還需要解決分布式訓練線性加速比的問題。由于深度學習需要使用海量數(shù)據(jù)來進行模型訓練,因此通常需要使用GPU集群來進行分布式訓練。但是,開源的分布式訓練框架,在保證模型收斂的情況下,***集群規(guī)模只支持10塊GPU。這意味著在進行數(shù)據(jù)運算時,即時使用更多的GPU,計算效果也只相當于10塊GPU的能力。
華為云深度學習服務,基于系統(tǒng)軟硬件結合方案,搭載華為云的云容器引擎CCE、GPU高性能計算、對象存儲服務(OBS)、高性能網(wǎng)絡等能力,并通過混合并行、梯度壓縮、卷積加速、EASGD等技術加快模型訓練速度。使得在1000塊GPU的大規(guī)模集群中,分布式訓練線性加速比也能夠達到0.8,大大降低集群分布式訓練時間。
一個平臺適用不同類型用戶
對于深度學習的用戶群而言,不同的用戶,需求也不一樣。對于初級用戶而言,***在界面上拖拖拽拽,點幾下鼠標就完成深度學習訓練。而對于骨灰級的用戶,就是越自由,越開放越好,這樣才能吸引骨灰級用戶的關注與使用,滿足高級用戶的定制化需求。
華為云深度學習服務充分考慮到了用戶的差異性,針對不同用戶的需求,提供不同的開發(fā)環(huán)境。當前華為云深度學習服務將用戶群分為從初級到骨灰級5個等級,針對不同等級的需求,華為深度學習服務提供不同的開發(fā)環(huán)境。例如:對于初級用戶,提供了預置模型重訓練功能,無需任何深度學習知識;對于入門級用戶,MoXing庫提供了多種模型的接口,提供給用戶使用;對于骨灰級用戶,則提供了完全開放的開發(fā)環(huán)境,用戶可自由選擇開發(fā)方式,真正實現(xiàn)隨需選擇、自由定制,一個平臺滿足所有用戶的訴求。
除了這些黑科技外,華為云深度學習服務還在平臺管理、模型壓縮、二次開發(fā)API等方面做了很多優(yōu)化?;诖耍脩艨梢越枇θA為云深度學習服務,降低深度學習訓練和使用的難度。后續(xù),華為云深度學習服務還會繼續(xù)上線更多黑科技,幫助企業(yè)用戶快速進入探索智能世界的軌道。
點擊了解華為云深度學習服務:https://www.huaweicloud.com/product/dls.html