讓大學(xué)生跑語言大模型,這場世界超算競賽剛結(jié)束,北大首次奪冠
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
第十屆ASC世界大學(xué)生超算競賽總決賽,終于在中國科學(xué)技術(shù)大學(xué)落下帷幕。
北京大學(xué)首次獲得ASC決賽冠軍,而東道主中國科學(xué)技術(shù)大學(xué)獲得亞軍,香港中文大學(xué)獲得線上競賽冠軍。
ASC世界大學(xué)生超級計算機(jī)競賽,是由中國在2012年發(fā)起的世界最大規(guī)模的大學(xué)生超算競賽,與美國SC、德國ISC并稱全球三大超算競賽,今年正好是ASC第10屆。
大語言模型成關(guān)注熱門
今年的ASC決賽正式比賽在5月8日和9日兩天進(jìn)行,參賽隊伍是從初賽300支隊伍隊伍中脫穎而出的24支隊伍。
其中有20支來自中國大陸高校的隊伍,在中科大體育館內(nèi)完成線下比賽;另外4支來自港臺和國外的隊伍,則借助云計算資源完成線上比賽。
各高校參賽隊伍需要在2天內(nèi)完成6道賽題,時間緊任務(wù)重,任何失誤都可能導(dǎo)致與冠軍失之交臂,這也是ASC過去歷屆黑馬頻出的原因。
由于今年ChatGPT火熱,今年的大語言模型題受到了組委會和媒體的重點關(guān)注,這道題的優(yōu)勝者也將獲得本屆ASC的e Prize計算挑戰(zhàn)獎。
ASC組委會提供了100GB的高質(zhì)量中文數(shù)據(jù)集,要求參賽隊基于這一數(shù)據(jù)集實現(xiàn)15億、179億參數(shù)兩個模型的訓(xùn)練。
參賽隊伍需要自行合理設(shè)計模型訓(xùn)練策略,在追求極致性能的同時,還要滿足精度約束等嚴(yán)苛條件。
中國科學(xué)技術(shù)大學(xué)隊伍運用多種業(yè)界前沿的大模型并行策略、顯存優(yōu)化方法,最終獲得了這道賽題的最高分,奪得本屆ASC e Prize計算挑戰(zhàn)獎。
中科大選手吳天銘表示:“這道賽題是在ChatGPT火起來之前就出來了,我們?yōu)榇俗隽撕芏喙φn。不久后ChatGPT爆火,我們就已提前理解了它是怎么運作的,所以覺得ChatGPT‘神奇也不神奇’?!?/p>
聚焦AI、量子計算前沿課題
除了大語言模型外,本屆ASC也聚焦于其他業(yè)界前沿問題。比如此前谷歌實現(xiàn)量子優(yōu)越性的量子計算芯片“懸鈴木”,參賽選手需要在超算上模擬該芯片的量子采樣問題。
谷歌曾宣稱在傳統(tǒng)超算上,這個問題需要運行1萬年,而參賽選手需通過基于張量網(wǎng)絡(luò)的量子模擬算法實現(xiàn)10億倍的性能提升,將模擬時間縮短至10秒。
這道題也成為了本屆大賽的超級團(tuán)隊賽項目,即5個線下隊伍與1個線上隊伍組隊完成,讓各高校之間不僅是競爭對手,也是合作伙伴,極大地考驗選手們的協(xié)作溝通能力。
此外,每屆大賽必不可少的“跑分”競賽項目也如期上演。
在HPL&HPCG基準(zhǔn)測試這道題中,各參賽隊伍需要自行設(shè)計超算系統(tǒng),在總功耗3000W約束下正確完成各項計算任務(wù)。
浙江大學(xué)以109萬億次/秒的HPL持續(xù)浮點運算性能,獲得本屆ASC最高計算性能獎。