經(jīng)典計(jì)算，一定是最好的方式嗎？

這家名叫Extropic的公司，選擇利用物質(zhì)隨機(jī)波動(dòng)驅(qū)動(dòng)計(jì)算。

他們認(rèn)為，這種計(jì)算比經(jīng)典計(jì)算機(jī)更快，更接近自然和我們大腦的計(jì)算方式。

因此，它擴(kuò)展了硬件的性能界限，超越了傳統(tǒng)數(shù)字計(jì)算的約束。

比起當(dāng)前的CPU、GPU、TPU、FPGA等數(shù)字處理器，這種全新的AI加速器快了數(shù)個(gè)數(shù)量級(jí)，而且更加節(jié)能。

因?yàn)?，這種新方法使得在數(shù)字處理器上不可行的強(qiáng)大概率AI算法，成為可能。

創(chuàng)始人40分鐘視頻上線，網(wǎng)友吐槽沒講清楚

最近，公司創(chuàng)始人Gill Verdon的一段長(zhǎng)達(dá)40分鐘的采訪視頻上線了。

視頻地址：https://www.youtube.com/watch?v=QjVOfM2EBnE

整個(gè)訪談的畫面，就是聯(lián)合創(chuàng)始人Guillaume Verdon和主持人Jason Carman的一問一答。

在留言區(qū)，反響十分熱烈。

一些網(wǎng)友表示內(nèi)容非常優(yōu)質(zhì)，簡(jiǎn)直好到爆。

「多么吸引人的紀(jì)錄片??！為什么社交媒體上沒人討論，太奇怪了?！?/span>

但仔細(xì)聽完這段訪談的一位網(wǎng)友，給出了這樣的反饋：整整40分鐘，都沒有解釋清楚芯片的工作原理和架構(gòu)……

他猜測(cè)，原因可能是創(chuàng)始人沒有想好是將技術(shù)保密，還是選擇向公眾公開。

或者，就是他覺得觀眾太笨無(wú)法理解，或者純粹是表達(dá)能力太差。

看到網(wǎng)友的質(zhì)疑，公司成員Beff Jezos趕緊發(fā)了條超長(zhǎng)的QA，重新解釋了一遍：

問：模擬神經(jīng)網(wǎng)絡(luò)并不是新事物，IBM/Intel等公司嘗試過類腦計(jì)算，為什么它們都沒成功？

答：確實(shí)，類腦計(jì)算已經(jīng)被研究很長(zhǎng)時(shí)間了。這些系統(tǒng)通常需要使用特殊的組件，如憶阻器（memristors）等，或者過度追求模仿生物特性，如脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural networks）。

但是，這些系統(tǒng)往往無(wú)法直接與最終應(yīng)用對(duì)接，也很難找到有效的訓(xùn)練方法。而Extropic就在解決這些問題，還會(huì)通過論文分享自己的研究成果。

問：關(guān)于模擬計(jì)算的一般情況是怎樣的？

答：以往的模擬計(jì)算，主要集中在確定性算法上。

在這方面想取得突破非常難，因?yàn)榇_定性的微分方程可以通過固定的開銷進(jìn)行離散化，并在數(shù)字計(jì)算機(jī)上解決，這就極大限制了模擬計(jì)算的加速潛力。

隨機(jī)動(dòng)力學(xué)則與之不同。模擬隨機(jī)系統(tǒng)的數(shù)字算法通常收斂性較弱，且每個(gè)時(shí)間步驟所需的計(jì)算量遠(yuǎn)超其確定性的對(duì)應(yīng)算法。

因此，盡管存在一些困難，采用隨機(jī)模擬方法是有其合理性的。

問：為什么現(xiàn)在才開始使用隨機(jī)模擬技術(shù)？

答：直到最近，我們才具備了構(gòu)建真正隨機(jī)模擬計(jì)算機(jī)的技術(shù)條件。

即便在室溫環(huán)境下，熱波動(dòng)也非常微小，只有非常微小的物理系統(tǒng)才會(huì)受到顯著影響。而在電路設(shè)計(jì)上，這種微小化要求意味著需要具備幾百阿托法拉（aF）的特征電容，這種電容只能通過較新的CMOS工藝來(lái)實(shí)現(xiàn)。

因此，以前從未有過真正的基于熱動(dòng)力學(xué)的電路計(jì)算機(jī)被造出來(lái)。也是因此，隨機(jī)模擬技術(shù)從未得到充分的試驗(yàn)。

圖源：https://www.youtube.com/watch?app=desktop&v=oSrUsM0hoPs

問：為什么選擇超導(dǎo)技術(shù)？為什么選擇CMOS技術(shù)？

答：僅包含線性元件（如電阻、電容和電感）的隨機(jī)電路，只能從高斯分布中進(jìn)行抽樣，這在實(shí)際應(yīng)用中顯然是有限的，尤其是電感的體積通常較大，但是，數(shù)字計(jì)算機(jī)在這方面已經(jīng)已經(jīng)卓有成效了。

我們選擇超導(dǎo)技術(shù)作為起點(diǎn)，是因?yàn)橥ㄟ^約瑟夫森結(jié)，就可以實(shí)現(xiàn)非線性哈密頓動(dòng)力學(xué)的模擬，這不僅跟我們的研究起點(diǎn)相一致，也是因?yàn)殡S機(jī)哈密頓系統(tǒng)在理論上非常優(yōu)雅。

然而，超導(dǎo)系統(tǒng)需要在幾開爾文的低溫下工作，這限制了它的實(shí)用性，而且大幅增加了工程復(fù)雜性。

因此，我們需要自然而然地探索，如何在大規(guī)?？芍圃斓沫h(huán)境中構(gòu)建非線性隨機(jī)系統(tǒng)。顯然，選擇CMOS是自然而然的。

當(dāng)前的挑戰(zhàn)，就是清楚理解隨機(jī)狀態(tài)下晶體管的工作原理。對(duì)此，我們已經(jīng)取得了重大進(jìn)展，并且期待盡快構(gòu)建出實(shí)用、可擴(kuò)展的系統(tǒng)。

問：模擬技術(shù)中，處理相關(guān)噪聲源特別困難，你們有什么應(yīng)對(duì)策略嗎？

答：確實(shí)，這是一個(gè)復(fù)雜的問題。我曾經(jīng)參與Google Quantum的一個(gè)項(xiàng)目，團(tuán)隊(duì)需要對(duì)設(shè)備進(jìn)行精密校準(zhǔn)，以模擬并糾正復(fù)雜的相關(guān)噪聲，這是實(shí)現(xiàn)首次量子霸權(quán)實(shí)驗(yàn)的關(guān)鍵。

Trevor曾在該團(tuán)隊(duì)工作數(shù)年，專注于噪聲物理和硬件問題，他在MIT的博士研究也是圍繞這個(gè)主題，并發(fā)表了多篇論文。

問：硬件的個(gè)體差異很大，每個(gè)芯片都有其獨(dú)特性，你們?cè)趺刺幚磉@種情況？

答：盡管硬件的個(gè)體差異帶來(lái)了挑戰(zhàn)，但你日常使用的設(shè)備，從汽車到智能手機(jī)，大多數(shù)都能正常工作。這并非偶然，而是因?yàn)楸澈笥泻芏喙こ處煟ㄙM(fèi)了大量時(shí)間，開發(fā)了復(fù)雜的特性化、校準(zhǔn)和補(bǔ)償技術(shù)，有效減少了這些差異對(duì)用戶的影響。

在Extropic，我們也采用了類似的方法。幾十年來(lái)，我們?cè)陔S機(jī)CMOS芯片領(lǐng)域積累了豐富經(jīng)驗(yàn)，加快了研發(fā)進(jìn)程。此外，我們計(jì)劃針對(duì)每個(gè)芯片的獨(dú)特物理特性，進(jìn)行個(gè)性化的訓(xùn)練和微調(diào)，包括它們的瑕疵。

我們不僅進(jìn)行推理計(jì)算，還計(jì)劃在芯片上直接進(jìn)行訓(xùn)練。像訓(xùn)練大腦一樣，這種帶著缺陷進(jìn)行的訓(xùn)練，能使芯片更好地適應(yīng)這些個(gè)性化的差異。

問：設(shè)計(jì)、驗(yàn)證、測(cè)試非常復(fù)雜，當(dāng)前的工具是否支持你們?cè)O(shè)備運(yùn)行的模式（例如，海森堡極限）？

答：我們的CMOS設(shè)備并不是在量子模式下運(yùn)行，而是在隨機(jī)模式下。的確這個(gè)流程非常復(fù)雜，但我們內(nèi)部有一些超低功耗晶體管的先進(jìn)模型，是由我們的硬件物理專家團(tuán)隊(duì)開發(fā)的。

我們不僅有豐富的經(jīng)驗(yàn)，還有頂尖的人才。在測(cè)試和表征噪聲方面，這是許多團(tuán)隊(duì)成員在量子計(jì)算領(lǐng)域多年職業(yè)生涯中的專長(zhǎng)。

圖源：https://www.youtube.com/watch?app=desktop&v=6Qc4BvToD3Y

問：數(shù)字硅技術(shù)已經(jīng)非常成熟，為什么還要與整個(gè)技術(shù)棧競(jìng)爭(zhēng)？你們?nèi)绾螐膶?shí)驗(yàn)室規(guī)模擴(kuò)展到大規(guī)模制造？

答：我完全同意這一點(diǎn)。相較于超導(dǎo)技術(shù)，CMOS的供應(yīng)鏈和工具更為成熟，這也是我們使用CMOS并盡可能利用現(xiàn)有工具和供應(yīng)鏈的原因。我們的目標(biāo)是，將Extropic芯片最終應(yīng)用于大多數(shù)需要神經(jīng)計(jì)算功能的設(shè)備中。

問：你們有進(jìn)行任何模擬研究嗎？計(jì)劃提供模擬器嗎？

答：是的，我們從一開始就在使用隨機(jī)模擬進(jìn)行設(shè)計(jì)。目前，我們正在準(zhǔn)備詳盡的科學(xué)論文，計(jì)劃開源部分代碼。

不過最主要的挑戰(zhàn)是，由于需要模擬時(shí)間加速，這些模擬需要大量的計(jì)算資源，因此在普通的筆記本電腦或臺(tái)式機(jī)上運(yùn)行這些模擬并不現(xiàn)實(shí)。

問：超導(dǎo)技術(shù)和低溫技術(shù)難以大規(guī)模應(yīng)用，難以觸及大眾市場(chǎng)，你們有什么應(yīng)對(duì)策略？

答：在此領(lǐng)域工作多年，我們深知超導(dǎo)技術(shù)難以規(guī)?；?duì)我們而言，這主要是一個(gè)測(cè)試平臺(tái)，用于驗(yàn)證我們關(guān)于電子的參數(shù)隨機(jī)物理學(xué)的理念，以及我們的編程模型。

這是我們能制造的最接近宏觀的真實(shí)熱力學(xué)芯片，它利用環(huán)境熱量的自然噪聲，但必須經(jīng)過極度冷卻，才能達(dá)到理想工作狀態(tài)。而下一代芯片，就將采用CMOS技術(shù)，來(lái)大幅減少對(duì)低溫技術(shù)的依賴，做到能在室溫下正常工作。

問：為什么重視采樣擴(kuò)散過程？

答：如果你使用過擴(kuò)散模型，就會(huì)注意到DALLE或Midjourney生成圖像的速度有多慢。視頻擴(kuò)散的緩慢程度也差不多。這些實(shí)例都證明，神經(jīng)擴(kuò)散過程需要大幅提速。

通過直接利用模擬隨機(jī)電子物理學(xué)，我們就能顯著提高處理速度。具體的性能基準(zhǔn)將在即將發(fā)布的白皮書中詳細(xì)介紹，敬請(qǐng)關(guān)注！

開創(chuàng)熱力學(xué)的未來(lái)

在3月份，公司也發(fā)表了博客，解釋這個(gè)了這個(gè)「熱力學(xué)計(jì)算機(jī)」的原理。

Extropic表示，自己正在開發(fā)的這個(gè)項(xiàng)目是一個(gè)全棧硬件平臺(tái)，可以將物質(zhì)自然的波動(dòng)作為計(jì)算資源，從而為生成式AI提供支持：

• 突破傳統(tǒng)數(shù)字計(jì)算的限制，將硬件的擴(kuò)展能力推向新的高度。
• 使AI加速器的速度和能效遠(yuǎn)遠(yuǎn)超過傳統(tǒng)的數(shù)字處理器（CPU/GPU/TPU/FPGA），提升可達(dá)好幾個(gè)數(shù)量級(jí)。
• 可以完成那些在傳統(tǒng)數(shù)字處理器上無(wú)法實(shí)現(xiàn)的強(qiáng)大概率性AI算法。

能量基模型（EBMs）這一概念在熱力學(xué)物理和基礎(chǔ)概率機(jī)器學(xué)習(xí)中均有出現(xiàn)。

在物理學(xué)中，它們被稱為參數(shù)化熱態(tài)，由具有可調(diào)參數(shù)的系統(tǒng)的穩(wěn)態(tài)產(chǎn)生。在機(jī)器學(xué)習(xí)領(lǐng)域，則被稱為指數(shù)族。

指數(shù)族是參數(shù)化概率分布的理想方式，它們能夠用最少的數(shù)據(jù)量準(zhǔn)確確定參數(shù)。

在數(shù)據(jù)較少的情況下，指數(shù)族尤為有效，適用于需要在關(guān)鍵任務(wù)應(yīng)用中對(duì)尾部事件進(jìn)行建模的場(chǎng)景，如圖1所示。

它們通過在數(shù)據(jù)空白處引入噪聲來(lái)實(shí)現(xiàn)這一目標(biāo)，努力在保持目標(biāo)分布統(tǒng)計(jì)特性的同時(shí)，最大化熵值。

圖1：Extropic概率性AI加速器的基本原理

能量基模型（EBMs）在生產(chǎn)應(yīng)用中面臨的主要挑戰(zhàn)是采樣需求。

在數(shù)字硬件上，從通用能量景觀中進(jìn)行采樣非常困難，因?yàn)檫@需要硬件消耗大量電能來(lái)產(chǎn)生和調(diào)整擴(kuò)散過程所需的熵。

Extropic通過將能量基模型直接實(shí)現(xiàn)為參數(shù)化的隨機(jī)模擬電路，有效地解決了這一低效問題。與數(shù)字計(jì)算機(jī)相比，Extropic加速器在運(yùn)行時(shí)間和能源效率方面將實(shí)現(xiàn)多個(gè)數(shù)量級(jí)的改進(jìn)。

具體來(lái)說，Extropic加速器的工作原理與布朗運(yùn)動(dòng)相似。

在布朗運(yùn)動(dòng)中，宏觀但輕質(zhì)的粒子在流體中懸浮，由于與微觀液體分子的頻繁碰撞，這些粒子會(huì)經(jīng)歷隨機(jī)的力，導(dǎo)致它們?cè)谌萜髦须S機(jī)移動(dòng)。

如圖2（a）所示，可以想象，通過彈簧將布朗粒子固定在容器壁和彼此之間。這樣，彈簧會(huì)抵抗隨機(jī)力，使得粒子傾向于聚集在容器的某些特定區(qū)域。

如圖2（b）所示，如果不斷地重復(fù)采樣粒子的位置，并在兩次樣本之間留出足夠的時(shí)間我們會(huì)發(fā)現(xiàn)它們遵循一個(gè)可預(yù)測(cè)的穩(wěn)定的概率分布。

通過改變彈簧的剛度，我們可以調(diào)整這個(gè)分布。這種簡(jiǎn)單的機(jī)械系統(tǒng)提供了一種可編程的隨機(jī)性。

圖2：Extropic加速器的運(yùn)行原理

（a）Extropic加速器的簡(jiǎn)單機(jī)械類比。因?yàn)樵O(shè)備涉及三個(gè)質(zhì)量點(diǎn)在兩個(gè)維度上的活動(dòng)，其穩(wěn)定狀態(tài)將對(duì)應(yīng)一個(gè)六維空間的概率分布；

（b）從Extropic加速器中抽取樣本的方法是，反復(fù)觀察系統(tǒng)，并確保每次觀察之間至少有一個(gè)平衡時(shí)間teq。這個(gè)平衡時(shí)間teq是指系統(tǒng)中的噪聲消除與前一個(gè)樣本相關(guān)性所需的時(shí)長(zhǎng)。

這個(gè)機(jī)械模型直接關(guān)聯(lián)到構(gòu)成Extropic加速器的參數(shù)化隨機(jī)模擬電路。

這里，輕質(zhì)粒子相當(dāng)于電子，而液體分子則是導(dǎo)電介質(zhì)中的原子，它們?cè)谂鲎仓心軐⒛芰總鬟f給電子。彈簧則代表了限制電子運(yùn)動(dòng)的電路元件，比如電感或晶體管。通過施加控制電壓或電流，可以調(diào)整這些元件的參數(shù)，進(jìn)而改變電路的采樣分布。

雖然每個(gè)電路都存在噪聲，但并非所有電路都適合用作Extropic加速器。

從工程學(xué)的角度來(lái)看，打造一個(gè)以噪聲為主導(dǎo)且表現(xiàn)穩(wěn)定的設(shè)備頗具挑戰(zhàn)性。由于熱波動(dòng)較小，這類設(shè)備必須設(shè)計(jì)得足夠小且功率低，以便顯著受到這些波動(dòng)的影響。

因此，如果想利用宏觀組件（如在印刷電路板上）來(lái)構(gòu)建Extropic加速器，就必須引入人造噪聲。但這種做法會(huì)削弱設(shè)備在時(shí)間和能源節(jié)省方面的基本優(yōu)勢(shì)，最終的性能可能與數(shù)字執(zhí)行算法相似。

圖 3：Extropic芯片的顯微鏡圖像。圖中小圖展示了兩個(gè)Josephson結(jié)，這些是為處理器提供關(guān)鍵非線性功能的設(shè)備。

這些神經(jīng)元構(gòu)成了基本單元，組合起來(lái)可以構(gòu)建一個(gè)更大的超導(dǎo)系統(tǒng)。

在這種大型系統(tǒng)中，多個(gè)線性和非線性神經(jīng)元結(jié)合，形成一個(gè)能從豐富且高維的分布中采樣的電路。神經(jīng)元的偏置和相互作用強(qiáng)度都是可調(diào)整的參數(shù)，使得單一設(shè)備能夠支持多種概率分布。

Extropic的超導(dǎo)芯片完全是被動(dòng)式的，這意味著只會(huì)在測(cè)量或調(diào)整其狀態(tài)時(shí)才消耗能量。這可能使得這些神經(jīng)元成為全宇宙中最節(jié)能的。

Extropic還在開發(fā)可在常溫下運(yùn)行的半導(dǎo)體設(shè)備，以便擴(kuò)大市場(chǎng)。

這些設(shè)備用晶體管替代了Josephson結(jié)，雖犧牲了一些能效，但可利用標(biāo)準(zhǔn)的制造流程和供應(yīng)鏈進(jìn)行生產(chǎn)，從而大規(guī)模生產(chǎn)。

由于這些設(shè)備可以在常溫下運(yùn)行，因此可以將它們?cè)O(shè)計(jì)成類似GPU的擴(kuò)展卡形式。這將使我們能夠在每個(gè)家庭中安裝一個(gè)Extropic加速器，讓每個(gè)人都能體驗(yàn)到熱力學(xué)AI加速的優(yōu)勢(shì)。

為了支持多種硬件平臺(tái)，Extropic正在開發(fā)一個(gè)軟件層，從而將能量基函數(shù)模型的抽象規(guī)范轉(zhuǎn)換為相應(yīng)的硬件控制語(yǔ)言。

這個(gè)編譯層基于因子圖（factor graphs）的理論框架，因子圖描述了大型分布如何分解為局部塊。這使得Extropic加速器能夠拆解并運(yùn)行那些單個(gè)模擬核心無(wú)法完全承載的龐大程序。

許多以前的AI加速器公司因?yàn)樯疃葘W(xué)習(xí)的內(nèi)存限制而難以獲得優(yōu)勢(shì)——現(xiàn)今的算法約有25%的時(shí)間用于在內(nèi)存中移動(dòng)數(shù)據(jù)。

因此，根據(jù)Amdahl定律，任何專門加速某一操作（如矩陣乘法）的芯片都難以實(shí)現(xiàn)超過4倍的速度提升。

Extropic芯片能夠本質(zhì)上通過物理方式快速且高效地運(yùn)行廣泛的概率算法，從而有望開啟一個(gè)全新的人工智能加速時(shí)代，遠(yuǎn)超過之前認(rèn)為可能的水平。