OneFlow和寒武紀(jì)達(dá)成適配,共同推進(jìn)新一代超大模型訓(xùn)練解決方案
近日,一流科技OneFlow深度學(xué)習(xí)框架正式和寒武紀(jì)思元270智能芯片及加速卡達(dá)成適配。這一合作達(dá)成,標(biāo)志著OneFlow新一代深度學(xué)習(xí)框架的生態(tài)進(jìn)一步得到完善,與新興AI芯片進(jìn)一步融合。
目前 OneFlow 通過(guò)集成寒武紀(jì)的高性能機(jī)器學(xué)習(xí)庫(kù),已經(jīng)支持主流神經(jīng)網(wǎng)絡(luò)算子,并能支持在各類(lèi)應(yīng)用場(chǎng)景下的模型部署,如分類(lèi)、檢測(cè)、分割、風(fēng)格轉(zhuǎn)化等模型。下一步,雙方將持續(xù)深化合作,以“大規(guī)模分布式”為目標(biāo),積極探索OneFlow深度學(xué)習(xí)框架和寒武紀(jì)其他產(chǎn)品的打通,豐富訓(xùn)練模型和應(yīng)用場(chǎng)景。
一流科技的OneFlow深度學(xué)習(xí)框架被稱(chēng)為“新一代深度學(xué)習(xí)框架”,其核心優(yōu)勢(shì)在于用幾行代碼就可以完成其他深度學(xué)習(xí)框架需要深度定制才能做到的“超大規(guī)模分布式模型訓(xùn)練”。OneFlow秉承“效率為王”的開(kāi)發(fā)理念,擁有完全自主知識(shí)產(chǎn)權(quán),所有代碼全部自研。獨(dú)創(chuàng)的自動(dòng)數(shù)據(jù)模型混合并行、靜態(tài)調(diào)度、去中心化和全鏈路異步流式執(zhí)行四大核心技術(shù),使用純軟件技術(shù)完美地解決了大數(shù)據(jù)、大模型、大計(jì)算所帶來(lái)的異構(gòu)集群分布式橫向擴(kuò)展挑戰(zhàn),技術(shù)水平世界領(lǐng)先。在由中國(guó)信通院發(fā)布的《首輪開(kāi)源深度學(xué)習(xí)軟件框架測(cè)試報(bào)告》中,OneFlow深度學(xué)習(xí)框架在同樣的算法和硬件條件下性能指標(biāo)大幅領(lǐng)先國(guó)外產(chǎn)品。
寒武紀(jì)思元270集成了寒武紀(jì)在芯片架構(gòu)領(lǐng)域的一系列創(chuàng)新性技術(shù),基于16nm先進(jìn)工藝制造,處理非稀疏深度學(xué)習(xí)模型的理論峰值性能提升至上一代MLU100的4倍,達(dá)到128TOPS(INT8),同時(shí)兼容INT4和INT16運(yùn)算,理論峰值分別達(dá)到256TOPS和64TOPS,并支持浮點(diǎn)運(yùn)算和混合精度運(yùn)算。思元270采用寒武紀(jì)自研的MLUv02指令集,可支持視覺(jué)、語(yǔ)音、自然語(yǔ)言處理、傳統(tǒng)機(jī)器學(xué)習(xí)等高度多樣化的人工智能應(yīng)用,同時(shí)集成了面向視覺(jué)應(yīng)用的視頻和圖像編解碼硬件單元。在系統(tǒng)軟件和工具鏈方面,思元270繼續(xù)支持寒武紀(jì)Neuware軟件工具鏈,方便開(kāi)發(fā)者更好地挖掘思元270的運(yùn)算能力和開(kāi)拓更多的應(yīng)用領(lǐng)域。
隨著數(shù)據(jù)量級(jí)的增長(zhǎng),超大模型訓(xùn)練已經(jīng)成為業(yè)界共同的訴求,對(duì)此,一流科技CEO袁進(jìn)輝表示:“寒武紀(jì)是新興人工智能芯片的領(lǐng)軍企業(yè)之一,很高興雙方可以達(dá)成合作。超大模型訓(xùn)練不是單一技術(shù)可以解決的問(wèn)題,需要算法、算力、數(shù)據(jù)“三駕馬車(chē)”的齊頭并進(jìn),軟件和硬件的結(jié)合是非常重要的。OneFlow作為新一代深度學(xué)習(xí)框架,從誕生之初就以“大模型分布式”作為設(shè)計(jì)理念,我們希望通過(guò)和像寒武紀(jì)這樣優(yōu)秀的硬件合作伙伴共同進(jìn)行生態(tài)建設(shè),來(lái)滿(mǎn)足開(kāi)發(fā)者和算法科學(xué)家對(duì)超大模型的應(yīng)用需求,加快企業(yè)數(shù)據(jù)資產(chǎn)轉(zhuǎn)化,促進(jìn)人工智能應(yīng)用場(chǎng)景落地。”
寒武紀(jì)副總裁劉道福表示:“寒武紀(jì)做芯片的最終目的是支撐客戶(hù)以及開(kāi)發(fā)者開(kāi)發(fā)應(yīng)用,構(gòu)建完整的生態(tài)。寒武紀(jì)自成立起就一直秉承開(kāi)放的理念,與產(chǎn)業(yè)鏈上下游通力合作,共同促進(jìn)整個(gè)AI產(chǎn)業(yè)的生態(tài)繁榮。此次與一流科技完成MLU270的軟硬件適配,既契合了寒武紀(jì)的開(kāi)放生態(tài)戰(zhàn)略,又將進(jìn)一步賦能寒武紀(jì)云邊端一體、軟硬件協(xié)同、訓(xùn)練推理融合的新生態(tài),寒武紀(jì)將攜手一流科技以及各行各業(yè)為整個(gè)AI行業(yè)貢獻(xiàn)更大的動(dòng)能。”