云起賦新 | 亞馬遜云科技高性能計(jì)算創(chuàng)新論壇精彩來襲！
高性能計(jì)算（HPC）和云計(jì)算曾是兩個(gè)“平行世界”，各自演繹著精彩，卻鮮有交集。
傳統(tǒng)上，HPC主要應(yīng)用于大規(guī)模計(jì)算，如天氣預(yù)報(bào)、石油勘探、藥物研發(fā)等。這些任務(wù)通常借助超級計(jì)算機(jī)或計(jì)算集群運(yùn)行，需要很多特殊的軟硬件來加速節(jié)點(diǎn)間通訊并提升性能和可靠性，自成一統(tǒng)的同時(shí)也阻礙了擁抱新技術(shù)、新平臺的步伐。
云計(jì)算在誕生初期掀起了虛擬化的浪潮，甚至嘗試過與HPC親密接觸，但終因性能損耗和網(wǎng)絡(luò)延時(shí)而失之交臂。伴隨亞馬遜等云平臺的迅猛發(fā)展，通用計(jì)算領(lǐng)域幾乎已變成云的天下，千行百業(yè)都在基于云底座進(jìn)行數(shù)字化轉(zhuǎn)型。邁向縱深的云計(jì)算與下落凡塵的HPC，有望再續(xù)前緣。
值得關(guān)注的是，外部環(huán)境發(fā)生的劇烈變化，也促使“平行世界”之間的相互穿越成為可能。
一方面，數(shù)字經(jīng)濟(jì)的高速發(fā)展帶來數(shù)據(jù)規(guī)模的幾何級數(shù)增長，隨之而來的算力需求也大幅增加。既有的高性能計(jì)算集群或超級計(jì)算中心模式，已很難滿足爆發(fā)性的需求和多元化的場景，HPC必須謀求嶄新的演進(jìn)路徑。
另一方面，人工智能的快速滲透與新型硬件的風(fēng)起云涌，使云計(jì)算如虎添翼。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)極大拓展了業(yè)務(wù)應(yīng)用范疇，推動智能化與高性能緊密結(jié)合。
正所謂“歇馬憑云宿，揚(yáng)帆截海行”——HPC在躊躇謀變之際，恰好遇到處于上升期的云計(jì)算，和人工智能、加速計(jì)算等提供助力的“小伙伴”，他們組成強(qiáng)大的HPC+陣營，共赴數(shù)字化升級的星辰大海。
這不是紙上談兵，重要的是付諸行動。近日，亞馬遜云科技舉辦“云啟賦新 高性能計(jì)算業(yè)務(wù)創(chuàng)新論壇”，與來自不同行業(yè)的專家共同探索“HPC +”時(shí)代如何為客戶賦能，幫助他們加速創(chuàng)新。（請點(diǎn)擊“閱讀原文”觀看活動視頻回放）
行業(yè)領(lǐng)導(dǎo)者的率先垂范，是HPC+揚(yáng)帆起航的標(biāo)志性信號。云上的澎湃算力，將為客戶解決運(yùn)行大型復(fù)雜模擬和深度學(xué)習(xí)工作負(fù)載的難題，高性能計(jì)算會繼續(xù)乘風(fēng)破浪。
云計(jì)算驅(qū)動HPC開疆?dāng)U土
HyperionResearch市場調(diào)研的數(shù)據(jù)顯示，到2022年底將有18.8%的HPC在云端運(yùn)行，而這個(gè)數(shù)據(jù)在2021年只有12.3%。
來自Market Research Future的報(bào)告也表明，云端高性能計(jì)算在未來五年會保持21%的年復(fù)合增長率，2023年的市場規(guī)模將達(dá)220億美元。
顯而易見，HPC與云的深度融合正在提速，這既是客戶應(yīng)對業(yè)務(wù)挑戰(zhàn)的必然結(jié)果，又與高性能計(jì)算本身的進(jìn)化密切相關(guān)。
從客戶需求的角度看，本地高性能計(jì)算基礎(chǔ)設(shè)施限制了工程師、科學(xué)家和研究人員及時(shí)獲得成果，約有72.8％的組織表示高性能計(jì)算工作遭到延遲或取消。這將導(dǎo)致很多客戶錯(cuò)失創(chuàng)新的窗口期，收入預(yù)期自然難以達(dá)成。
路徑依賴造成的成本負(fù)擔(dān)與技術(shù)壓力也不容忽視。客戶在建設(shè)與運(yùn)營自有數(shù)據(jù)中心的過程中，總是在高峰期的捉襟見肘與日常的浪費(fèi)閑置之間痛苦搖擺。通過采用新算法適應(yīng)原有基礎(chǔ)設(shè)設(shè)施的做法，難免以犧牲部分性能為代價(jià)，綜合評估得不償失。
如果把視野再放大一些，會發(fā)現(xiàn)HPC早就不局限于原來的“一畝三分地”，應(yīng)用場景的顯著擴(kuò)展也促使基礎(chǔ)設(shè)施向云底座躍遷。
以競爭激烈的美洲杯帆船賽為例：像素分割模擬計(jì)算對帆船競賽將產(chǎn)生決定性影響——把船分成的像素越多，模型就越精確，但這意味著計(jì)算量成倍地飆升，此時(shí)云計(jì)算的價(jià)值就會凸顯。從某種意義上講，乘風(fēng)破浪的動力不是風(fēng)的力量，而是云的力量。
云的彈性、靈活性、可擴(kuò)展性等先天稟賦正是HPC化解難題的良方，后天形成的市場滲透力及其與人工智能、加速計(jì)算等新興技術(shù)的協(xié)同效應(yīng)，更為云與HPC攜手同行奠定了堅(jiān)實(shí)基礎(chǔ)。
云上高性能計(jì)算的進(jìn)化路徑
作為云平臺的開創(chuàng)者與領(lǐng)路人，亞馬遜云科技在高性能計(jì)算領(lǐng)域?qū)覄?chuàng)佳績，連續(xù)四年入選HPC連線雜志“最佳HPC云平臺”，并在2021 CCF年會上獲得高性能計(jì)算實(shí)例產(chǎn)品創(chuàng)新大獎(jiǎng)。
目前，在全球高性能計(jì)算轉(zhuǎn)向云平臺的過程中，約有58%的高性能計(jì)算云端計(jì)算量處于亞馬遜云科技平臺上。依托領(lǐng)先的前瞻性研究、成熟的服務(wù)體系和扎實(shí)的落地案例，亞馬遜云科技探索出云與HPC融合的最佳路徑，并根據(jù)市場環(huán)境變化不斷演進(jìn)。
亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建認(rèn)為，構(gòu)建HPC云上服務(wù)并非堆砌服務(wù)器資源那么簡單，背后是完整的HPC生態(tài)系統(tǒng)。
以亞馬遜云科技建立的完整堆棧的HPC服務(wù)模式為例：
底部的基礎(chǔ)層涵蓋算力資源、高速網(wǎng)絡(luò)和存儲，構(gòu)成整個(gè)體系的基石。亞馬遜云科技500+不同類型的服務(wù)器組合滿足各類復(fù)雜場景需求，提供100G以上帶寬吞吐、支持MPI的EFA網(wǎng)卡使網(wǎng)絡(luò)不再是高性能計(jì)算的瓶頸，支撐高性能計(jì)算且在云端實(shí)現(xiàn)多級的文件存儲策略，進(jìn)一步幫助客戶提升資源利用效率。
中間的控制層是HPC生態(tài)系統(tǒng)的大腦，主要涉及集群創(chuàng)建和任務(wù)編排——亞馬遜云科技提供了各種性能、功能的產(chǎn)品，為不同場景的客戶帶來價(jià)值；最上層的可視化致力于營造易用的環(huán)境，亞馬遜云科技基于NICE DCV方案可在極低的網(wǎng)絡(luò)吞吐量前提下，提供高分辨率、低延遲的用戶體驗(yàn)。
需要指出的是，HPC生態(tài)不是存在于一個(gè)歲月靜好的穩(wěn)定環(huán)境，而是要隨時(shí)應(yīng)對大系統(tǒng)的變遷與小場景的打磨。在混合云日益盛行的背景下，公有云平臺需要推出更有針對性的策略，才能立于不敗之地。
基于NICE Enginframe server+Amazon HPC Connector中間件，亞馬遜云科技幫助客戶在混合云架構(gòu)下，實(shí)現(xiàn)本地?cái)?shù)據(jù)中心與云上資源的平滑切換，并根據(jù)不同場景提供適宜的解決方案：
應(yīng)對突發(fā)任務(wù)上云，當(dāng)客戶的本地?cái)?shù)據(jù)中心無法支撐任務(wù)時(shí)，可無縫訪問亞馬技云科技的充足資源；針對缺乏上云經(jīng)驗(yàn)的客戶，通過HPC混合云逐步、分批地幫助客戶使用相關(guān)資源；對于決定工作遷移的客戶，以統(tǒng)一的控制臺有計(jì)劃、大規(guī)模地將 HPC任務(wù)跨本地?cái)?shù)據(jù)中心和云上環(huán)境部署。
以更長遠(yuǎn)的眼光來看，量子計(jì)算是未來算力增量的源泉。亞馬遜云科技不僅擁有Braket這樣的商業(yè)化產(chǎn)品，而且面向量子計(jì)算構(gòu)筑起多層次的服務(wù)體系，在化學(xué)及材料科學(xué)、城市交通優(yōu)化等場景取得積極進(jìn)展。
首先，亞馬遜云科技打破量子計(jì)算技術(shù)壁壘，建立完全托管的服務(wù)模式，便于客戶快捷地探索和試驗(yàn)；其次，提供專家級的支持，客戶可與亞馬遜量子實(shí)驗(yàn)室進(jìn)行深度合作；再次，基于量子計(jì)算中心在量子算法和硬件等方面做創(chuàng)新研究，尋求通往未來的算力密碼。
HPC+催生場景化創(chuàng)新
《美國創(chuàng)新史》的作者Harold Evans發(fā)現(xiàn)，由借鑒和結(jié)合產(chǎn)生的創(chuàng)新多于純粹的發(fā)明，洞察事物間相互關(guān)聯(lián)性的能力比創(chuàng)造力更重要。
以前定義HPC工作負(fù)載的方法，通常是根據(jù)高性能計(jì)算任務(wù)是松耦合型還是緊耦合型，更看重網(wǎng)絡(luò)帶寬和延遲需求，同時(shí)會從HPC任務(wù)涉及的數(shù)據(jù)規(guī)模來考量。
但最近兩年，亞馬遜云科技發(fā)現(xiàn)，隨著硬件技術(shù)的創(chuàng)新，以及人工智能的迅猛發(fā)展，越來越多的HPC任務(wù)和AI、ML、DL相結(jié)合。這就要求為客戶提供相對應(yīng)的方案，也由此催生出HPC+的概念——從更廣泛的維度，包括加速計(jì)算、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等多方面去設(shè)計(jì)服務(wù)和構(gòu)建方案。
伴隨HPC的重量級伙伴逐漸增多，圍繞HPC+的場景化創(chuàng)新正紛至沓來，亞馬遜云科技在其間扮演著舉足輕重的角色。
助力影視渲染行業(yè)轉(zhuǎn)型，是HPC＋展示身手的新舞臺。內(nèi)容制作需要超大規(guī)模渲染算力，從傳統(tǒng)的CPU渲染升級為GPU渲染可加速制作進(jìn)程，深度學(xué)習(xí)自動生成形狀、材質(zhì)、光照及場景能提供增強(qiáng)型的觀看體驗(yàn)——三者分別對應(yīng)云、加速計(jì)算、人工智能，HPC+的好伙伴，一個(gè)也不能少。
以多部史詩級作品著稱的影視制作巨頭Weta Digital即是典型案例。十幾年前，《阿凡達(dá)1》基于Weta Digital自己的數(shù)據(jù)中心完成制作；從2020年起，由亞馬遜云科技為其提供大規(guī)模渲染集群、云上工作室方案、機(jī)器學(xué)習(xí)堆棧等服務(wù)支撐，顯著提升制作效率與渲染效果，即將瓜熟蒂落的《阿凡達(dá)2》值得期待。
輔助創(chuàng)新藥物和疫苗研發(fā)，也是HPC+擅長的領(lǐng)域。靶點(diǎn)的選擇和確認(rèn)、化合物的發(fā)現(xiàn)與優(yōu)化、臨床研究、真實(shí)世界分析等都離不開各方的協(xié)同發(fā)力。亞馬遜云科技和藥明康德在用藥機(jī)理上合作，借助圖神經(jīng)網(wǎng)絡(luò)技術(shù)將建模時(shí)間縮短5倍；與晶泰科技在分析發(fā)現(xiàn)上也取得突破，不僅計(jì)算出最穩(wěn)定的晶體結(jié)構(gòu)，而且得到其全景圖，為后續(xù)藥物研發(fā)筑牢根基。
此外，在自動駕駛、流體仿真等場景，HPC+同樣顯現(xiàn)出不可或缺的作用，在海量數(shù)據(jù)存儲與分析、從仿真結(jié)果中提取復(fù)雜關(guān)系等方面成果顯著。據(jù)了解，亞馬遜云科技已為國內(nèi)外主流商用車、乘用車廠商提供與自動駕駛相關(guān)的服務(wù)支撐，在F1賽車、帆船競技等流體仿真應(yīng)用前沿亦屢有斬獲。
未來，HPC+的陣容必將持續(xù)發(fā)展壯大。那些曾經(jīng)單打獨(dú)斗的航船會組合成無堅(jiān)不摧的航空母艦，駛向數(shù)字化海洋的最深處。
2022亞馬遜云科技中國線上峰會即將在10月13日開啟，助力各行各業(yè)伙伴及客戶在云端自由構(gòu)建·探索無限。感興趣的朋友可以點(diǎn)擊下方鏈接或掃描海報(bào)上二維碼報(bào)名參會！
