近年來(lái)大量芯片進(jìn)入市場(chǎng)，旨在加速人工智能和機(jī)器學(xué)習(xí)工作負(fù)載?；诓煌臋C(jī)器學(xué)習(xí)算法，這些芯片通常專注于幾個(gè)關(guān)鍵領(lǐng)域，但它們大多有一個(gè)共同的限制——芯片大小。

兩年前，Cerebras 揭開(kāi)了芯片設(shè)計(jì)領(lǐng)域的一場(chǎng)革命：他們研發(fā)了一款名為 Wafer Scale Engine（WSE）的芯片，擁有 1.2 萬(wàn)億個(gè)晶體管，是英偉達(dá) GPU Titan V 的 57 倍。WSE 的尺寸比一臺(tái) iPad 還要大。Cerebras 的「暴力美學(xué)」曾引發(fā)人們驚呼：「WSE 的晶體管數(shù)量已經(jīng)超過(guò)人類大腦中的神經(jīng)元了！」Cerebras 也因此在業(yè)界聞名。

今天，該公司又宣布其下一代芯片 Wafer Scale Engine 2（WSE 2）將于今年第三季度上市，采用 7nm 制程工藝，晶體管數(shù)量翻倍到 2.6 萬(wàn)億個(gè)，含有 850000 個(gè) AI 核心。

WSE-2：46225 平方毫米，2.6 萬(wàn)億個(gè)晶體管。圖源：https://cerebras.net/

Cerebras 一直致力于將機(jī)器學(xué)習(xí)問(wèn)題邏輯解決方案的作用發(fā)揮到極致。2015 年 Andrew Feldman 成立該公司時(shí)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要花費(fèi)較多的時(shí)間，大型網(wǎng)絡(luò)則需要數(shù)周。最大的瓶頸是數(shù)據(jù)必須在處理器和外部 DRAM 存儲(chǔ)器之間進(jìn)行多次傳輸，既浪費(fèi)時(shí)間又消耗能源。WSE 的研發(fā)團(tuán)隊(duì)指出：我們可以擴(kuò)大芯片，使它與 AI 處理器內(nèi)核一起容納所需的所有數(shù)據(jù)。隨著自然語(yǔ)言處理、圖像識(shí)別等領(lǐng)域的發(fā)展，神經(jīng)網(wǎng)絡(luò)也變得非常龐大，AI 領(lǐng)域需要一個(gè)非常大的芯片。有多大？盡可能大，這意味著是整塊晶圓，46225 平方毫米。

CEO Feldman 表示：「當(dāng)你想做出改變時(shí)，總是會(huì)遇到物理設(shè)計(jì)上的挑戰(zhàn)。所有的東西都與幾何有關(guān)。這真的很難，但臺(tái)積電是我們非凡的合作伙伴?！?/p>

7 納米技術(shù)的發(fā)展意味著巨大的進(jìn)步，但據(jù) Feldman 表示，該公司還對(duì)其 AI 核心的微架構(gòu)進(jìn)行了改進(jìn)。他不愿透露細(xì)節(jié)，但表示在與客戶合作一年多后，Cerebras 吸取了一些經(jīng)驗(yàn)教訓(xùn)，并將其整合到新的核心中。

WSE 2：7 納米制程工藝、2.6 萬(wàn)億個(gè)晶體管

WSE 2 采用臺(tái)積電 7 納米制程工藝。這使得其可以按比例縮小，并能夠在一定程度上縮小 SRAM，WSE 2 上具有 850000 個(gè) AI 核心。WSE 2 的晶片尺寸與 WSE 保持一致，但幾乎所有功能都翻倍增加，如下表所示：

與一代 WSE 一樣，WSE 2 在 46225 平方毫米的硅片上擁有數(shù)十萬(wàn)個(gè) AI 核心。WSE 2 擁有 850000 個(gè)核心，2.6 萬(wàn)億個(gè)晶體管——相比之下，市場(chǎng)上第二大的 AI CPU 約為 826 平方毫米，擁有 0.054 萬(wàn)億個(gè)晶體管。相比于 Ampere A100 的 40MB 內(nèi)存，Cerebras 引入了 40GB SRAM 的板載內(nèi)存，是前者的 1000 倍。

圖中是 WSE 1，WSE 2 與其外觀相同，但核心數(shù)量翻倍。

其核心通過(guò)一個(gè)帶有 FMAC 數(shù)據(jù)路徑的 2D 網(wǎng)格（2D Mesh）進(jìn)行連接。Cerebras 與 WSE 的目標(biāo)是提供一個(gè)通過(guò)創(chuàng)新專利設(shè)計(jì)的單一平臺(tái)，該平臺(tái)允許用于 AI 計(jì)算的更大處理器，現(xiàn)已擴(kuò)展到更廣泛的 HPC 工作負(fù)載中。

WSE 2 以第一代為基礎(chǔ)

第一代 WSE 芯片擁有 1.2 萬(wàn)億個(gè)晶體管，其數(shù)量是英偉達(dá)旗艦 GPU Titan V 的 57 倍，使用臺(tái)積電 16 納米制程工藝打造，面積 46,225 平方毫米，包含 400,000 個(gè)核心，片上存儲(chǔ)高達(dá) 18G，功耗 1.5 萬(wàn)瓦（約等于 6 臺(tái)電磁爐的功率），內(nèi)存帶寬 9PB / 秒，通信結(jié)構(gòu)帶寬 100PB / 秒。此外，第一代 WSE 還實(shí)現(xiàn)了 3000 倍的速度提升以及 10000 倍的存儲(chǔ)帶寬擴(kuò)展。

WSE-2 設(shè)計(jì)的關(guān)鍵是自定義圖形編譯器，它采用 PyTorch 或 TensorFlow，并將每一層映射到芯片的物理部分，并允許數(shù)據(jù)流進(jìn)行異步計(jì)算，擁有如此大的處理器意味著不會(huì)浪費(fèi)能源。編譯器和處理器在設(shè)計(jì)時(shí)也考慮到了稀疏性，無(wú)論批處理大小如何，都允許高利用率，或者允許參數(shù)搜索算法同時(shí)運(yùn)行。

WSE 2 與第一代相比如何？

兩者相比，芯片本身的大小沒(méi)有改變，300 毫米仍然是大規(guī)模生產(chǎn)中的最大晶圓尺寸，因此 WSE 2 芯片的外形尺寸沒(méi)有改變，但是 AI 核心翻了一倍。WSE 2 仍然被劃分成一個(gè) 7×12 的矩形陣列。

WSE 2（左）與 WSE 1（右）對(duì)比。

此外，承載 WSE 2 的計(jì)算機(jī)系統(tǒng) CS-2 也沒(méi)有太大變化。CS-2 旨在實(shí)現(xiàn)快速、靈活的訓(xùn)練和低延遲的數(shù)據(jù)中心推斷。目前，CS-2 由 WSE-2 提供動(dòng)力，與其他數(shù)據(jù)中心 AI 解決方案相比，CS-2 具有更高的計(jì)算密度、更快的內(nèi)存和更高的帶寬互連，并使用領(lǐng)先的 ML 框架進(jìn)行編程。

迅速成長(zhǎng)的初創(chuàng)公司 Cerebras

Cerebras Systems 公司 2015 年在美國(guó)加州成立，聯(lián)合創(chuàng)始人及 CEO Andrew Feldman 此前曾創(chuàng)立服務(wù)器芯片公司 SeaMicro。

Cerebras 聯(lián)合創(chuàng)始人及 CEO Andrew Feldman

經(jīng)過(guò)幾年的迅速發(fā)展，該公司的規(guī)模已基本翻倍，在硅谷，圣地亞哥，多倫多和東京擁有約 300 名工程師。