6月25日，阿里巴巴達(dá)摩院發(fā)布“低碳版”巨模型M6，在全球范圍內(nèi)首次大幅降低萬(wàn)億參數(shù)超大模型訓(xùn)練能耗。通過(guò)一系列突破性的技術(shù)創(chuàng)新，達(dá)摩院團(tuán)隊(duì)僅使用480卡GPU，即訓(xùn)練出了規(guī)模達(dá)人類神經(jīng)元10倍的萬(wàn)億參數(shù)多模態(tài)大模型M6，與英偉達(dá)、谷歌等海外公司實(shí)現(xiàn)萬(wàn)億參數(shù)規(guī)模相比，能耗降低超八成、效率提升近11倍。

大模型將成下一代人工智能基礎(chǔ)設(shè)施，在AI界已成共識(shí)。與生物體神經(jīng)元越多往往越聰明類似，參數(shù)規(guī)模越大的AI模型，往往擁有更高的智慧上限，訓(xùn)練大模型或?qū)⒆屓祟愒谔剿魍ㄓ萌斯ぶ悄苌细M(jìn)一步。然而，大模型算力成本也相當(dāng)高昂，很大程度阻礙了學(xué)界、工業(yè)界對(duì)大模型潛力的深入研究。

針對(duì)這一難題，達(dá)摩院及阿里云等團(tuán)隊(duì)改進(jìn)了MOE（Mixture-of-Experts）框架，創(chuàng)造性地通過(guò)專家并行策略，大大擴(kuò)增了單個(gè)模型的承載容量。同時(shí)，通過(guò)加速線性代數(shù)、混合精度訓(xùn)練、半精度通信等優(yōu)化技術(shù)，達(dá)摩院團(tuán)隊(duì)大幅提升了萬(wàn)億模型訓(xùn)練速度，且在效果接近無(wú)損的前提下有效降低了所需計(jì)算資源。

相比此前英偉達(dá)使用3072 A100 GPU實(shí)現(xiàn)萬(wàn)億參數(shù)、谷歌使用2048 TPU實(shí)現(xiàn)1.6萬(wàn)億參數(shù)大模型，此次達(dá)摩院僅使用480卡V100 32G GPU就實(shí)現(xiàn)了萬(wàn)億模型M6，節(jié)省算力資源超80%，且訓(xùn)練效率提升近11倍。

同時(shí)，達(dá)摩院此次發(fā)布的M6巨模型，成為國(guó)內(nèi)首個(gè)實(shí)現(xiàn)商業(yè)化落地的多模態(tài)大模型。M6擁有超越傳統(tǒng)AI的認(rèn)知和創(chuàng)造能力，擅長(zhǎng)繪畫、寫作、問(wèn)答，在電商、制造業(yè)、文學(xué)藝術(shù)等諸多領(lǐng)域擁有廣泛應(yīng)用前景。

據(jù)了解，經(jīng)過(guò)一段時(shí)間的試用，M6將作為AI助理設(shè)計(jì)師正式上崗阿里新制造平臺(tái)犀牛智造，通過(guò)結(jié)合潮流趨勢(shì)進(jìn)行快速設(shè)計(jì)、試穿效果模擬，有望大幅縮短快時(shí)尚新款服飾設(shè)計(jì)周期。M6還已應(yīng)用于支付寶、淘寶等平臺(tái)，參與跨模態(tài)搜索、文案撰寫、圖片設(shè)計(jì)等工作。

達(dá)摩院資深算法專家楊紅霞表示，“接下來(lái)，M6團(tuán)隊(duì)將繼續(xù)把低碳AI做到極致，推進(jìn)應(yīng)用進(jìn)一步落地，并探索對(duì)通用大模型的理論研究。”

今年以來(lái)，阿里在超大規(guī)模預(yù)訓(xùn)練模型領(lǐng)域?qū)页龀晒３l(fā)布多模態(tài)巨模型M6外，阿里巴巴達(dá)摩院近期還發(fā)布了中文社區(qū)領(lǐng)先的語(yǔ)言大模型PLUG，實(shí)現(xiàn)了在AI大模型底層技術(shù)及應(yīng)用上的深入布局。