2020 年，谷歌發(fā)表了預(yù)印本論文《Chip Placement with Deep Reinforcement Learning》，介紹了其設(shè)計(jì)芯片布局的新型強(qiáng)化學(xué)習(xí)方法。后來(lái)在 2021 年，谷歌又發(fā)表在 Nature 上并開(kāi)源了出來(lái)。

今天，谷歌發(fā)表了這篇 Nature 文章的附錄，更詳細(xì)介紹了該方法及其對(duì)芯片設(shè)計(jì)領(lǐng)域的影響。同時(shí)，谷歌也開(kāi)放了一個(gè)在 20 個(gè) TPU 模塊上預(yù)訓(xùn)練的檢查點(diǎn)，分享模型權(quán)重并命名為「AlphaChip」。

• Nature 附錄地址：https://www.nature.com/articles/s41586-024-08032-5
• 預(yù)訓(xùn)練檢查點(diǎn)地址：https://github.com/google-research/circuit_training/?tab=readme-ov-file#PreTrainedModelCheckpoint

谷歌首席科學(xué)家 Jeff Dean 表示，開(kāi)放預(yù)訓(xùn)練 AlphaChip 模型檢查點(diǎn)以后，外部用戶可以更容易地使用 AlphaChip 來(lái)啟動(dòng)自己的芯片設(shè)計(jì)。

x@JeffDean

計(jì)算機(jī)芯片推動(dòng)了 AI 的顯著進(jìn)步，AlphaChip 利用 AI 來(lái)加速和優(yōu)化芯片設(shè)計(jì)。該方法已被用于設(shè)計(jì)谷歌自定義 AI 加速器（TPU）最近三代的「超人」芯片布局。

作為首批用于解決現(xiàn)實(shí)世界工程問(wèn)題的強(qiáng)化學(xué)習(xí)方法，AlphaChip 只需要數(shù)小時(shí)便能完成媲美或者超越人類的芯片布局，而無(wú)需再花費(fèi)數(shù)周或數(shù)月人工努力。并且該方法設(shè)計(jì)的布局已應(yīng)用于世界各地的芯片，覆蓋場(chǎng)景包括數(shù)據(jù)中心到手機(jī)。

谷歌 DeepMind 表示，AlphaChip 已經(jīng)徹底改變了我們?cè)O(shè)計(jì)微芯片的方式，從幫助設(shè)計(jì)用于構(gòu)建 AI 模型的 SOTA TPU 到數(shù)據(jù)中心 CPU，它的廣泛影響已經(jīng)擴(kuò)展到了 Alphabet 內(nèi)外。

谷歌 DeepMind 聯(lián)合創(chuàng)始人兼 CEO Demis Hassabis 表示，如今我們形成了這樣一種反饋回路：訓(xùn)練 SOTA 芯片設(shè)計(jì)模型（AlphaChip）→使用 AlphaChip 來(lái)設(shè)計(jì)更好的 AI 芯片→使用這些 AI 芯片來(lái)訓(xùn)練更好的模型→再設(shè)計(jì)更好的芯片，這正是谷歌 TPU 堆棧表現(xiàn)如此好的部分原因。

各路網(wǎng)友對(duì)谷歌的 AlphaChip 寄予厚望，稱「芯片設(shè)計(jì)芯片的時(shí)代來(lái)了」，還預(yù)言谷歌將贏得未來(lái) AGI 之爭(zhēng)。

AlphaChip 是如何工作的？

芯片設(shè)計(jì)并非易事，部分原因在于計(jì)算機(jī)芯片由許多相互連接的塊組成，這些塊具有多層電路元件，所有元件都通過(guò)極細(xì)的導(dǎo)線連接。此外，芯片還有很多復(fù)雜且相互交織的設(shè)計(jì)約束，設(shè)計(jì)時(shí)必須同時(shí)滿足所有約束。由于這些復(fù)雜性，芯片設(shè)計(jì)師們?cè)?60 多年來(lái)一直在努力實(shí)現(xiàn)芯片布局規(guī)劃過(guò)程的自動(dòng)化。

與 AlphaGo 和 AlphaZero 類似，谷歌構(gòu)建了 AlphaChip，將芯片布局規(guī)劃視為一種博弈。

AlphaChip 從空白網(wǎng)格開(kāi)始，一次放置一個(gè)電路元件，直到完成所有元件的放置。然后根據(jù)最終布局的質(zhì)量給予獎(jiǎng)勵(lì)。谷歌提出了一種新穎的「基于邊」的圖神經(jīng)網(wǎng)絡(luò)使 AlphaChip 能夠?qū)W習(xí)互連芯片元件之間的關(guān)系，并在整個(gè)芯片中進(jìn)行推廣，讓 AlphaChip 在其設(shè)計(jì)的每一個(gè)布局中不斷進(jìn)步。

左圖：動(dòng)畫展示了 AlphaChip 在沒(méi)有任何經(jīng)驗(yàn)的情況下放置開(kāi)源處理器 Ariane RISC-V CPU。右圖：動(dòng)畫展示 AlphaChip 在對(duì) 20 個(gè) TPU 相關(guān)設(shè)計(jì)進(jìn)行練習(xí)后放置相同的塊。

谷歌借助 AI 設(shè)計(jì) AI 加速器芯片

自 2020 年發(fā)布以來(lái)，谷歌已經(jīng)采用 AlphaChip 為每一代 Google TPU 生成超級(jí)芯片布局。這些芯片使得大規(guī)模擴(kuò)展基于 Google Transformer 架構(gòu)的 AI 模型成為可能。

TPU 作為谷歌強(qiáng)大的生成式 AI 系統(tǒng)的核心，應(yīng)用范圍從大語(yǔ)言模型（如 Gemini）到圖像和視頻生成器（Imagen 和 Veo）。這些 TPU 是 Google AI 服務(wù)的核心，可通過(guò) Google Cloud 供外部用戶使用。

谷歌數(shù)據(jù)中心存放的基于 Cloud TPU v5p 的超級(jí)計(jì)算機(jī)。

為了設(shè)計(jì) TPU 布局，AlphaChip 首先在前幾代的各種芯片塊上進(jìn)行練習(xí)，例如片上和芯片間網(wǎng)絡(luò)塊、內(nèi)存控制器和數(shù)據(jù)傳輸緩沖區(qū)。這個(gè)過(guò)程稱為預(yù)訓(xùn)練。然后谷歌在當(dāng)前的 TPU 塊上運(yùn)行 AlphaChip 以生成高質(zhì)量的布局。與之前的方法不同，AlphaChip 解決了更多芯片布局任務(wù)實(shí)例，因此變得更好、更快，就像人類專家所做的那樣。

隨著每一代新 TPU（包括谷歌最新的 Trillium（第 6 代））的推出，AlphaChip 設(shè)計(jì)出了更好的芯片布局并提供了更多的整體平面圖，從而加快了設(shè)計(jì)周期并產(chǎn)生了性能更高的芯片。

圖中顯示了 Google 三代張量處理單元 (TPU)（包括 v5e、v5p 和 Trillium）中 AlphaChip 設(shè)計(jì)的芯片塊的數(shù)量。

圖中顯示了 AlphaChip 在三代 Google 張量處理單元 (TPU) 中的平均線長(zhǎng)（wirelength）減少量，并與 TPU 物理設(shè)計(jì)團(tuán)隊(duì)生成的位置進(jìn)行了比較。

AlphaChip 帶來(lái)的更廣泛影響

AlphaChip 的影響力體現(xiàn)在 Alphabet、研究界和芯片設(shè)計(jì)行業(yè)的應(yīng)用上。除了設(shè)計(jì) TPU 等專用 AI 加速器外，AlphaChip 還為 Alphabet 的其他芯片設(shè)計(jì)布局，例如 Google Axion 處理器，這是谷歌首款基于 Arm 的通用數(shù)據(jù)中心 CPU。

外部組織也在采用和構(gòu)建 AlphaChip。例如，全球頂級(jí)芯片設(shè)計(jì)公司之一聯(lián)發(fā)科擴(kuò)展了 AlphaChip，以加速其最先進(jìn)芯片（如三星手機(jī)使用的 Dimensity Flagship 5G）的開(kāi)發(fā)，同時(shí)提高了功耗、性能和芯片面積。

AlphaChip 引發(fā)了芯片設(shè)計(jì) AI 工作的爆炸式增長(zhǎng)，并已擴(kuò)展到芯片設(shè)計(jì)的其他關(guān)鍵階段，例如邏輯綜合和宏選擇。

開(kāi)創(chuàng)芯片新未來(lái)

谷歌堅(jiān)信，AlphaChip 有潛力優(yōu)化從計(jì)算架構(gòu)到制造的芯片設(shè)計(jì)周期的每個(gè)階段，并改變智能手機(jī)、醫(yī)療設(shè)備、農(nóng)業(yè)傳感器等日常設(shè)備中定制硬件的芯片設(shè)計(jì)。

目前，AlphaChip 的未來(lái)版本正在開(kāi)發(fā)中。谷歌期待與社區(qū)合作，繼續(xù)變革自動(dòng)芯片設(shè)計(jì)領(lǐng)域，從而在未來(lái)迎來(lái)速度更快、價(jià)格更低、能效更高的芯片。