本文轉自雷鋒網(wǎng)，如需轉載請至雷鋒網(wǎng)官網(wǎng)申請授權。

以造出世界上最大加速器芯片CS-2 Wafer Scale Engine聞名的公司Cerebras昨日宣布他們已經(jīng)在利用“巨芯”進行人工智能訓練上走出了重要的一步。該公司訓練出了單芯片上全世界最大的NLP（自然語言處理）AI模型。

該模型具有20億個參數(shù)，基于CS-2芯片進行訓練。這塊全世界最大的加速器芯片采用7nm制程工藝，由一整塊方形的晶圓刻蝕而成。它的大小數(shù)百倍于主流芯片，具有15KW的功率。它集成了2.6萬億個7nm晶體管，封裝了850000個內核和40GB內存。

圖1 CS-2 Wafer Scale Engine芯片

單芯片訓練AI大模型新紀錄

NLP模型的開發(fā)是人工智能中的一個重要領域。利用NLP模型，人工智能可以“理解”文字含義，并進行相應的動作。OpenAI的DALL.E模型就是一個典型的NLP模型。這個模型可以將使用者的輸入的文字信息轉化為圖片輸出。

比如當使用者輸入“牛油果形狀的扶手椅”后，AI就會自動生成若干與這句話對應的圖像。

圖：AI接收信息后生成的“牛油果形狀扶手椅”圖片

不止于此，該模型還能夠使AI理解物種、幾何、歷史時代等復雜的知識。

但要實現(xiàn)這一切并不容易，NLP模型的傳統(tǒng)開發(fā)具有極高的算力成本和技術門檻。

實際上，如果只討論數(shù)字，Cerebras開發(fā)的這一模型20億的參數(shù)量在同行的襯托下，顯得有些平平無奇。

前面提到的DALL.E模型具有120億個參數(shù)，而目前最大的模型是DeepMind于去年年底推出的Gopher，具有2800億個參數(shù)。

但除去驚人的數(shù)字外，Cerebras開發(fā)的NLP還有一個巨大的突破：它降低了NLP模型的開發(fā)難度。

「巨芯」如何打敗GPU？

按照傳統(tǒng)流程，開發(fā)NLP模型需要開發(fā)者將巨大的NLP模型切分若干個功能部分，并將他們的工作負載分散到成百上千個圖形處理單元上。

數(shù)以千百計的圖形處理單元對廠商來說意味著巨大的成本。

技術上的困難也同樣使廠商們痛苦不堪。

切分模型是一個定制的問題，每個神經(jīng)網(wǎng)絡、每個GPU的規(guī)格、以及將他們連接（或互聯(lián)）在一起的網(wǎng)絡都是獨一無二的，并且不能跨系統(tǒng)移植。

廠商必須在第一次訓練前將這些因素統(tǒng)統(tǒng)考慮清楚。

這項工作極其復雜，有時候甚至需要幾個月的時間才能完成。

Cerebras表示這是NLP模型訓練中“最痛苦的方面之一”。只有極少數(shù)公司擁有開發(fā)NLP所必要的資源和專業(yè)知識。對于人工智能行業(yè)中的其他公司而言，NLP的訓練則太昂貴、太耗時且無法使用。

但如果單個芯片就能夠支持20億個參數(shù)的模型，就意味著不需要使用海量的GPU分散訓練模型的工作量。這可以為廠商節(jié)省數(shù)千個GPU的訓練成本和相關的硬件、擴展要求。同時這也使廠商不必經(jīng)歷切分模型并將其工作負載分配給數(shù)千個GPU的痛苦。

Cerebras也并未僅僅執(zhí)拗于數(shù)字，評價一個模型的好壞，參數(shù)的數(shù)量并不是唯一標準。

比起希望誕生于“巨芯”上的模型“努力”，Cerebras更希望的是模型“聰明”。

之所以Cerebras能夠在參數(shù)量上取得爆炸式增長，是因為利用了權重流技術。這項技術可以將計算和內存的占用量解耦，并允許將內存擴展到足以存儲AI工作負載中增加的任何數(shù)量的參數(shù)。

由于這項突破，設置模型的時間從幾個月減少到了幾分鐘。并且開發(fā)者在GPT-J和GPT-Neo等型號之間“只需幾次按鍵”就可以完成切換。這讓NLP的開發(fā)變得更加簡單。

這使得NLP領域出現(xiàn)了新的變化。

正如Intersect360 Research 首席研究官 Dan Olds 對Cerebras取得成就的評價：“Cerebras 能夠以具有成本效益、易于訪問的方式將大型語言模型帶給大眾，這為人工智能開辟了一個激動人心的新時代?！?/p>