美國鹽湖城直擊SC16 揭秘超算的下一輪爆點(diǎn)
作者:佚名
所謂深度學(xué)習(xí),就是用多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò),以達(dá)到機(jī)器學(xué)習(xí)的功能。這些多層的電腦網(wǎng)絡(luò)像人類大腦一樣,可以收集信息,并基于收集到的信息產(chǎn)生相應(yīng)的行為。
從技術(shù)上來講,要實(shí)現(xiàn)人工智能,就需要數(shù)據(jù)中心中的機(jī)器進(jìn)行具備大量的計(jì)算能力和機(jī)器學(xué)習(xí)能力,應(yīng)該說目前已經(jīng)有了初步結(jié)果,比如字符識別、語音識別,圖像識別等,但也還未完全窮盡,而更高維度的認(rèn)知探索,業(yè)界現(xiàn)在才剛剛開始而已。
在這個(gè)過程中,深度學(xué)習(xí)的重要性就突顯出來了,這是因?yàn)樯疃葘W(xué)習(xí)是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù),機(jī)器學(xué)習(xí)則是實(shí)現(xiàn)人工智能重要的方法。目前,業(yè)界在加速深度學(xué)習(xí)方面主要采用有兩種方式:
第一,優(yōu)化處理器技術(shù)。如在同一個(gè)芯片中集成多個(gè)處理單元 ,根據(jù)集成方式的不同,可分為多核處理器或多路處理器。
第二,優(yōu)化GPU計(jì)算能力。相比之前在游戲、視覺效果中的應(yīng)用,GPU正在成為數(shù)據(jù)中心、超算中心的標(biāo)配,并廣泛應(yīng)用于深度學(xué)習(xí)、大數(shù)據(jù)、石油化工、傳媒娛樂、科學(xué)研究等行業(yè)。
可以說,GPU強(qiáng)大的并行處理能力,可以讓超算科研人員順利去設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò),輕易的模仿人的思維結(jié)構(gòu)。同時(shí),由于GPU具備強(qiáng)大的經(jīng)濟(jì)性,也能讓更多的超算科研人員設(shè)計(jì)出在每一個(gè)單元榨取更多性能的機(jī)器。
所以,基于GPU設(shè)計(jì)的深度學(xué)習(xí)服務(wù)器,就成為了本次SC16中最受關(guān)注的領(lǐng)域。這其中,戴爾就展出了兩款利用GPU的深度學(xué)習(xí)服務(wù)器,包括戴爾PowerEdge C4130和PowerEdge R730都采用英偉達(dá)Tesla P100 GPU加速器。
其中,戴爾PowerEdge C4130是GPU密集型且靈活的機(jī)架式設(shè)計(jì)的產(chǎn)品,專門用于加速最苛刻的工作負(fù)載,數(shù)據(jù)顯示,PowerEdge C4130在搭載P100加速器后,相比之前搭載M40加速器的設(shè)備,在深度學(xué)習(xí)的計(jì)算中,時(shí)間和效率得以大幅度提高。
例如,在跑Dna100K時(shí),配備M40 GPU的服務(wù)器需要15個(gè)小時(shí)39分鐘,而配備P100 GPU的服務(wù)器,僅需要42分鐘;同樣在跑Dna500K時(shí),計(jì)算時(shí)間分別為3天3小時(shí)33分鐘和3小時(shí)21分鐘。
由此可見,GPU之于深度學(xué)習(xí)算法的重要性。目前,越來越多的大中型公司,尤其是互聯(lián)網(wǎng)企業(yè)都在將深度學(xué)習(xí)各個(gè)應(yīng)用領(lǐng)域,這意味著高性能計(jì)算和深度學(xué)習(xí),將極大的推動(dòng)人工智能的落地。
眾所周知,短短幾年時(shí)間,云計(jì)算就以其彈性擴(kuò)展、資源聚合、快速交付等獨(dú)有特性改變了創(chuàng)新的思維模式,進(jìn)而再創(chuàng)出了一個(gè)科技新世界。
對于超算供應(yīng)商而言,云計(jì)算也是不得不重視的一個(gè)新方向,因?yàn)樵絹碓蕉嗟目蛻粽趯⒆陨淼某惴?wù)以云計(jì)算的方式,對外再提供給更多有需求的用戶。
與此同時(shí),很多中小公司由于資金的限制,無法購買價(jià)格昂貴的高性能計(jì)算服務(wù)器,這時(shí)候HPC的云計(jì)算服務(wù)就顯得十分的重要。
例如,一個(gè)動(dòng)畫公司,接了一個(gè)單,要在三個(gè)月之內(nèi)以很大的計(jì)算能力來完成動(dòng)畫的制作,當(dāng)然在三個(gè)月之后他就不需要這些能力了。那怎么辦?購買設(shè)備來維護(hù)的話,成本很高,這時(shí)候就可以到云服務(wù)提供商處申請一些HPC的資源,就能完成工作。
再如,HPC云化服務(wù)在高??蒲杏?jì)算領(lǐng)域也有很大的需求,如今高校中HPC的相關(guān)應(yīng)用場景越來越多,數(shù)值計(jì)算、工程仿真、航空航天、大數(shù)據(jù)處理、材料科學(xué)研究,生命科學(xué)。
但是,多年來高校現(xiàn)行的IT建設(shè)體制,造成了資源冗余、系統(tǒng)分散、軟件部署難度大等諸多問題,而如果采用云超算服務(wù),就可以實(shí)現(xiàn)云中交付集群應(yīng)用,大大減輕了高校的計(jì)算和科研壓力。
目前,在美國,亞馬遜AWS、微軟Azure,都已相繼推出了各自版本的HPC集群服務(wù)。在國內(nèi),前不久阿里云也推出了HPC并行計(jì)算服務(wù),從這些云計(jì)算服務(wù)商的選擇來看,也說明HPC云化的趨勢已經(jīng)十分明顯了。
不過,HPC云化也有很多需要解決的難題,那就是不管使用哪一種模式上云,特別重要的是確?;A(chǔ)架構(gòu),都需要同時(shí)利用物理資源和虛擬資源的管理層,因?yàn)镠PC應(yīng)用程序仍主要放置在物理機(jī)器上。
所以,在理想情況下,HPC云化的關(guān)鍵因素,是要能夠把虛擬機(jī)管理程序環(huán)境和物理環(huán)境合并為一個(gè)動(dòng)態(tài)共享的基礎(chǔ)架構(gòu),既支持多種操作系統(tǒng),又支持異構(gòu)環(huán)境。
正是看到了這樣的市場需求,戴爾在這次SC16上,聯(lián)合VMware推出了一套基于VMware云計(jì)算和容器技術(shù)的HPC云化解決方案。具體來說,通過VMware Cloud Foundation可以很容易地搭建HPC私有云環(huán)境,也可以把VMware Cloud Foundation的整套軟件部分部署到HPC公有云數(shù)據(jù)中心里,形成公有云基礎(chǔ)服務(wù)。
此外,對于不使用VMware虛擬化管理軟件的HPC客戶,戴爾則提供Cycle Computing軟件以及面向云編排及高性能計(jì)算工作負(fù)載管理的相關(guān)服務(wù),目前已經(jīng)可以支持亞馬遜AWS、微軟Azure與谷歌云的服務(wù)。
實(shí)際上,HPC從科學(xué)計(jì)算走向商用化、民眾化已經(jīng)是可見的事實(shí),因此“HPC in Cloud”把高性能計(jì)算與云計(jì)算結(jié)合,利用云數(shù)據(jù)中心普通X86服務(wù)器構(gòu)建高性能計(jì)算集群,無疑也是大勢所趨。
高性能數(shù)據(jù)分析(HPDA)并不是超算領(lǐng)域最新鮮的話題,但是HPDA市場發(fā)展一個(gè)重要原因就是大數(shù)據(jù)分析、云計(jì)算等互聯(lián)網(wǎng)新應(yīng)用的驅(qū)動(dòng),反過來又促進(jìn)了超算行業(yè)的發(fā)展。
可以說,HPDA如今不僅廣泛應(yīng)用于機(jī)器學(xué)習(xí)和人工智能領(lǐng)域,在很多商業(yè)和工業(yè)領(lǐng)域也大有用武之地,如互聯(lián)網(wǎng)應(yīng)用中的消費(fèi)者行為分析、搜索排名分析,傳統(tǒng)行業(yè)中的醫(yī)療保健、物流分析、金融欺詐檢測,以及工業(yè)應(yīng)用中的產(chǎn)品設(shè)計(jì)、質(zhì)量分析等等。
IDC高性能計(jì)算研究副總裁Earl Joseph在SC16上的專題研討會表示:“HPDA是大數(shù)據(jù)和HPC結(jié)合起來發(fā)揮最大優(yōu)勢的新應(yīng)用,大數(shù)據(jù)毫無疑問將對HPC的發(fā)展有重大影響,我們預(yù)計(jì)它將成為HPC增長的主要?jiǎng)恿χ弧?rdquo;
IDC預(yù)計(jì),在未來6至18個(gè)月內(nèi),超過33%的工作負(fù)載將用于HPDA;在制造和科研領(lǐng)域,HPDA工作負(fù)載預(yù)計(jì)分別為20%和16%。預(yù)計(jì)到2020年,HPDA市場將在新的商業(yè)分析細(xì)分市場中增長26%。
同樣,針對HPDA市場的爆發(fā),可以看到戴爾今年向HPC市場推出了一系列的“HPC Systems”家族,在生命科學(xué)、制造及教育科研領(lǐng)域向客戶提供“開箱即用”的HPC系統(tǒng),也可以稱之為“HPC即服務(wù)”。(參見《軟硬兼施兩翼齊飛 解碼戴爾HPC新策略》)
在本次SC16上,戴爾針對生命科學(xué)行業(yè)、制造行業(yè)、教育科研行業(yè)的HPC系統(tǒng)進(jìn)行了大幅度的優(yōu)化。不僅為之配備了經(jīng)過全面測試和驗(yàn)證的構(gòu)建塊,同時(shí)為跨解決方案的整個(gè)生命周期提供單點(diǎn)的硬件支持和額外的服務(wù)選項(xiàng)。
此外,戴爾的HPC系統(tǒng)還增加了對精準(zhǔn)醫(yī)學(xué)領(lǐng)域的特別支持,這是因?yàn)榇鳡栒J(rèn)為下一個(gè)新的HPDA新應(yīng)用領(lǐng)域無疑將是精準(zhǔn)醫(yī)學(xué),這是因?yàn)榇罅炕颊叩幕蚪M,病史和癥狀數(shù)據(jù),都需要靠高性能計(jì)算得出結(jié)果。
通過SC16釋放出的新信號,不難發(fā)現(xiàn)超算正在經(jīng)歷轉(zhuǎn)型,現(xiàn)在的超算盡管也一直在助力科學(xué)的進(jìn)步、研究,但是它也在助力工業(yè)和商業(yè)領(lǐng)域的新創(chuàng)新。因此,深度學(xué)習(xí),HPC云化和高性能數(shù)據(jù)分析這三大新方向,無疑將帶給超算更大的增長空間。
責(zé)任編輯:潤月
來源:
51CTO