可控核聚變，又有新突破了！

長期以來，核聚變一直受著一個(gè)「幽靈」的困擾——等離子體不穩(wěn)定性問題。

而最近，普林斯頓團(tuán)隊(duì)用AI提前300毫秒預(yù)測了核聚變等離子不穩(wěn)定態(tài)，這個(gè)時(shí)間，就足夠約束磁場調(diào)整應(yīng)對等離子體的逃逸！

從此，科學(xué)家可以防止可控核聚變的中斷，產(chǎn)生足夠能量所需的高功率聚變反應(yīng)，也就更有可能了。

這項(xiàng)重大突破，成果已經(jīng)登上Nature。

論文地址：https://www.nature.com/articles/s41586-024-07024-9

可控核聚變重大難題，被AI突破

幾十年來，科學(xué)家一直努力在地球上實(shí)現(xiàn)核聚變。

因?yàn)槿祟惿鐣?huì)未來面臨的能源枯竭問題，很可能會(huì)被可控核聚變解決。它有望為我們提供無窮無盡的清潔能源，甚至徹底改變我們應(yīng)對氣候危機(jī)的方式。

通過強(qiáng)制原本相互排斥的兩個(gè)原子融合在一起，就能實(shí)現(xiàn)聚變。

聚變的過程與當(dāng)前廣泛使用的核裂變過程正好相反，后者依賴于分裂原子

聚變發(fā)生在兩個(gè)原子——通常是輕原子，如氫——合并成一個(gè)更重的原子的過程中，釋放出巨大的能量。

這個(gè)過程是太陽的能量來源，也間接支撐了地球上的生命。然而，讓兩個(gè)原子實(shí)現(xiàn)融合非常困難，因?yàn)樾枰獦O大的壓力和能量，才能來克服它們之間的相互排斥力。

太陽之所以能實(shí)現(xiàn)聚變反應(yīng)，靠的是它巨大的引力和核心處的極高壓力。而為了在地球上模擬這一過程，科學(xué)家們采用了極度熾熱的等離子體和強(qiáng)大的磁場。

圖片

在托卡馬克（外形像甜甜圈）中，磁場會(huì)努力控制溫度超過1億攝氏度的等離子體，這比太陽中心的溫度還要高

然而，核聚變過程中，專家們常常只能實(shí)現(xiàn)短暫的聚變能量維持，過程中存在諸多不穩(wěn)定性。

這是因?yàn)?，在?shí)現(xiàn)可核聚變能的過程中，最關(guān)鍵的步驟之一，就是輸入氫變體燃料，在托卡馬克中將其升溫，產(chǎn)生類似于「湯」的等離子體。

但等離子體很難控制——它極易「撕裂」，并且逃逸出用來約束它的強(qiáng)大磁場。

幸運(yùn)的是，最近普林斯頓大學(xué)和普林斯頓等離子體物理實(shí)驗(yàn)室的研究人員在Nature上報(bào)告，他們發(fā)現(xiàn)了一種方法，可以利用AI預(yù)測這種潛在的不穩(wěn)定性，并且實(shí)時(shí)防止實(shí)驗(yàn)中斷。

這個(gè)團(tuán)隊(duì)，由工程師、物理學(xué)家、數(shù)據(jù)科學(xué)家組成。

從左到右：Azarakhsh Jalalvand、Egemen Kolemen和Ricardo Shousha

在圣地亞哥的DIII-D國家聚變設(shè)施進(jìn)行的實(shí)驗(yàn)中，研究團(tuán)隊(duì)發(fā)現(xiàn)——

他們的AI控制系統(tǒng)能夠在提前300毫秒時(shí)，就預(yù)測到等離子體的潛在撕裂。

而如果沒有這種干預(yù)，聚變反應(yīng)很可能就會(huì)突然中斷！

研究人員利用AI預(yù)測并避免了撕裂不穩(wěn)定性的形成（左圖），這種不穩(wěn)定性可能會(huì)迅速導(dǎo)致等離子體破壞和聚變反應(yīng)終止

至此，長期以來阻礙核聚變發(fā)展的等離子體不穩(wěn)定性問題，終于被人類攻克了。

這項(xiàng)發(fā)現(xiàn)，也極大提升了科學(xué)家們的信心。

普林斯頓大學(xué)的機(jī)械與航空航天工程系教授、研究報(bào)告作者之一的Egemen Kolemen為我們解釋了，為什么這項(xiàng)發(fā)現(xiàn)如此意義重大。

中斷和不穩(wěn)定性，是可控核聚變的重大障礙之一，我們都希望任何反應(yīng)堆都能持續(xù)穩(wěn)定運(yùn)行多年?，F(xiàn)在開發(fā)出這樣的解決方案，大大增強(qiáng)了我們的信心，現(xiàn)在我們有可能無故障地運(yùn)行這些裝置了。

AI成功實(shí)現(xiàn)等離子體狀態(tài)控制策略

AI是如何實(shí)現(xiàn)的？

研究人員展示的模型顯示，它可以僅通過分析過去的實(shí)驗(yàn)數(shù)據(jù)，而非依賴物理模型，就能預(yù)測出「撕裂模式不穩(wěn)定性」（也即潛在的等離子體不穩(wěn)定性）。

而且，它最多能提前300毫秒就預(yù)測出來！

對人類來說，這段時(shí)間可能只是眨一次眼，但對于AI控制器來說，就已經(jīng)足以讓它調(diào)整操作參數(shù)，避免等離子體磁場的內(nèi)部撕裂，從而維持其穩(wěn)定狀態(tài)，防止反應(yīng)提前結(jié)束。

在這個(gè)過程中，AI成功地實(shí)時(shí)在真實(shí)反應(yīng)器中，實(shí)現(xiàn)了一個(gè)穩(wěn)定、高能量等離子體狀態(tài)的控制策略。

這種方法，比原有的方法更為動(dòng)態(tài)。

論文一作、韓國中央大學(xué)物理學(xué)助理教授Jaemin Seo解釋說：「以往的研究通常專注于在等離子體中出現(xiàn)這些撕裂不穩(wěn)定性后，抑制或減輕其影響。但我們的方法能夠在它們形成之前就預(yù)測到，并且避免這些不穩(wěn)定性?！?/span>

AI+等離子體物理學(xué)=？

研究人員會(huì)想到AI，也是因?yàn)?，撕裂模式不穩(wěn)定性發(fā)生得實(shí)在太突然、太快了！

要在幾毫秒內(nèi)反應(yīng)過來，迅速處理新數(shù)據(jù)、作出響應(yīng)，唯有AI才能做到。

然而，開發(fā)一個(gè)有效的AI控制系統(tǒng)并非易事。

更何況，在托卡馬克環(huán)境下，實(shí)驗(yàn)時(shí)間極其寶貴，風(fēng)險(xiǎn)又極高。

在論文合著者Azarakhsh Jalalvand看來，教AI算法控制托卡馬克中的聚變反應(yīng)，就像教人開飛機(jī)一樣。

你不僅要給AI鑰匙，讓它自己摸索，還要讓它在復(fù)雜的飛行模擬器中反復(fù)練習(xí)，直到掌握了足夠的技能。

深度神經(jīng)網(wǎng)絡(luò)

因此，普林斯頓團(tuán)隊(duì)采用了DIII-D托卡馬克過去實(shí)驗(yàn)的數(shù)據(jù)，構(gòu)建了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)能夠根據(jù)實(shí)時(shí)的等離子體特征，預(yù)測未來撕裂模式不穩(wěn)定性的發(fā)生概率。

利用這個(gè)神經(jīng)網(wǎng)絡(luò)，研究人員訓(xùn)練了一個(gè)強(qiáng)化學(xué)習(xí)算法。

這個(gè)算法就像一個(gè)正在學(xué)習(xí)的飛行員，通過在模擬環(huán)境中的試錯(cuò)，學(xué)習(xí)控制等離子體的各種策略，找出哪些是有效的，哪些是無效的。

Jalalvand解釋說，他們并沒有向強(qiáng)化學(xué)習(xí)模型傳授聚變反應(yīng)的復(fù)雜物理知識(shí)，而是告訴它：你的目標(biāo)是維持高功率反應(yīng)、避免撕裂模式不穩(wěn)定性，并指出可以調(diào)整的參數(shù)。

在無數(shù)次的模擬聚變實(shí)驗(yàn)中，模型嘗試尋找方法來維持高功率水平，同時(shí)避免不穩(wěn)定性。

隨著時(shí)間的推移，算法自己就學(xué)會(huì)了在避免不穩(wěn)定性的同時(shí)，達(dá)到高功率反應(yīng)的最優(yōu)路徑！

合著者SangKyeun Kim說：「我們能看到模型的意圖背后的邏輯。有時(shí)模型想要的改變太快了，我們就需要讓模型的行為更平滑、更穩(wěn)定。作為人類，我們需要在AI的意圖和托卡馬克的實(shí)際容忍度之間，找到一個(gè)平衡?！?/span>

當(dāng)研究人員對AI控制器的能力有了足夠信心后，他們就在D-III D托卡馬克的實(shí)際聚變實(shí)驗(yàn)中進(jìn)行了測試，觀察控制器如何實(shí)時(shí)調(diào)整特定參數(shù)來避免不穩(wěn)定性的發(fā)生，包括改變等離子體形狀和輸入反應(yīng)的束流強(qiáng)度。

結(jié)果顯示，AI果然能夠成功預(yù)測出不穩(wěn)定性！

這樣，研究人員就不再被動(dòng)，不需要等到等離子體失控已經(jīng)發(fā)生后，再采取措施了。

用于控制的強(qiáng)化學(xué)習(xí)系統(tǒng)設(shè)計(jì)

根據(jù)論文的介紹，研究人員設(shè)計(jì)的AI控制器，能夠根據(jù)監(jiān)測到的等離子體狀態(tài)自動(dòng)調(diào)節(jié)控制器的工作，從而在確保等離子體穩(wěn)定性的同時(shí)，盡可能提升其壓力。

圖1：系統(tǒng)設(shè)計(jì)框架

圖1a和1b：實(shí)驗(yàn)中的一個(gè)典型等離子體樣本，以及研究所選用的診斷工具和控制設(shè)備。其中，在q = 2磁通面上，可能會(huì)發(fā)生2/1模式撕裂不穩(wěn)定現(xiàn)象。

圖1c：能夠處理測量信號(hào)，并生成對應(yīng)的執(zhí)行器指令的控制系統(tǒng)架構(gòu)。

圖1d：基于DNN的AI控制器能夠根據(jù)經(jīng)過訓(xùn)練的策略，決定整體束流功率和等離子體形狀的高級(jí)控制命令。等離子體控制系統(tǒng)（PCS）則負(fù)責(zé)計(jì)算磁線圈的控制信號(hào)和各個(gè)束流的功率，確保既滿足AI控制器設(shè)定的高級(jí)控制需求，也遵守用戶設(shè)定的限制條件。

系統(tǒng)設(shè)計(jì)

為了高效產(chǎn)生聚變能源，關(guān)鍵在于保持等離子體的高壓力，同時(shí)避免引發(fā)可能導(dǎo)致設(shè)備突然停止運(yùn)行的不穩(wěn)定現(xiàn)象。

然而，當(dāng)通過中性束等方式加熱等離子體以提高其壓力時(shí)，就會(huì)遇到一個(gè)閾值（圖2a中的黑線）。

超過這個(gè)閾值，等離子體就會(huì)出現(xiàn)撕裂不穩(wěn)定現(xiàn)象，這可能很快導(dǎo)致等離子體破裂（圖2b和2c）。

值得注意的是，這個(gè)穩(wěn)定性閾值會(huì)隨著等離子體狀態(tài)的變化而變化，而且在某些情況下，降低壓力也可能引發(fā)不穩(wěn)定現(xiàn)象。

正如圖2中的藍(lán)線所示，通過根據(jù)等離子體的狀態(tài)調(diào)整控制器的工作，就可以在不引發(fā)不穩(wěn)定現(xiàn)象的前提下，追求更高的等離子體壓力。

圖2：AI撕裂規(guī)避系統(tǒng)對托卡馬克的控制和等離子體的反應(yīng)

實(shí)際上，我們可以把它理解成一個(gè)「避障問題」，其中的障礙物便是迫使實(shí)驗(yàn)終止的風(fēng)險(xiǎn)因素。

具體到核聚變本身，就是控制托卡馬克裝置，使等離子體沿著一個(gè)既保持高壓力又不超出穩(wěn)定極限的狹窄路徑運(yùn)行。

為了實(shí)現(xiàn)這一目標(biāo)，研究人員通過強(qiáng)化學(xué)習(xí)方法訓(xùn)練了一個(gè)Actor模型，設(shè)計(jì)了一個(gè)獎(jiǎng)勵(lì)函數(shù)R來衡量等離子體在可接受的撕裂風(fēng)險(xiǎn)下能達(dá)到多高的壓力。

這里的β_N代表等離子體壓力的歸一化值，T表示撕裂風(fēng)險(xiǎn)，而k則是人為設(shè)定的一個(gè)安全閾值。更具體的，β_N和T是AI控制器采取行動(dòng)后25毫秒的預(yù)測結(jié)果。

根據(jù)這一預(yù)測，如果撕裂風(fēng)險(xiǎn)低于我們設(shè)定的閾值，Actor模型將根據(jù)等離子體的壓力獲得正向獎(jiǎng)勵(lì)；反之，則獲得負(fù)向獎(jiǎng)勵(lì)。

為了根據(jù)方程（1）獲得更高的獎(jiǎng)勵(lì)，Actor首先需要通過其控制動(dòng)作來提升β_N的值。

但是，β_N的增加可能會(huì)導(dǎo)致等離子體變得不穩(wěn)定，并最終使得撕裂指標(biāo)（T）超過安全閾值（k），這會(huì)導(dǎo)致獎(jiǎng)勵(lì)減少。特別地，當(dāng)T超出k時(shí)，獎(jiǎng)勵(lì)會(huì)急劇減少。

因此，控制智能體會(huì)優(yōu)先考慮保持T在安全閾值k以下，而不是單純追求提高β_N。

通過充分的強(qiáng)化學(xué)習(xí)訓(xùn)練，Actor最終可以找到一種平衡策略，既能追求等離子體的高壓力，又能確保撕裂指標(biāo)保持在安全范圍內(nèi)。

這種策略允許托卡馬克在放電過程中沿著一個(gè)精確規(guī)劃的路徑運(yùn)行，如圖2d所示。

圖2：AI撕裂規(guī)避系統(tǒng)對托卡馬克的控制和等離子體的反應(yīng)

由于撕裂的發(fā)生在很大程度上取決于其空間信息和梯度，因此觀測變量被設(shè)定為以磁通坐標(biāo)映射的一維動(dòng)力學(xué)和磁性剖面。

具體來說，觀測的是電子密度、電子溫度、離子旋轉(zhuǎn)、安全系數(shù)和等離子體壓力的曲線。

實(shí)驗(yàn)結(jié)果

圖3b中的黑線展示了一個(gè)因撕裂不穩(wěn)定而導(dǎo)致的等離子體中斷的例子。

在這次放電中，使用傳統(tǒng)反饋控制維持了特定的參數(shù)水平（β_N = 2.3）。然而，在2.6秒時(shí)，出現(xiàn)了嚴(yán)重的撕裂不穩(wěn)定現(xiàn)象，導(dǎo)致參數(shù)急劇下降，最終在3.1秒時(shí)引發(fā)了等離子體中斷。

圖3b中的藍(lán)線，是在AI控制下的束流功率和等離子體的形狀。圖3c和圖3d分別展示了具體控制過程中，等離子體形狀和束流功率的調(diào)整情況。

這次放電期間，AI控制器根據(jù)等離子體的實(shí)時(shí)數(shù)據(jù)，制定出束流功率和形狀的調(diào)整指令，由等離子體控制系統(tǒng)（PCS）轉(zhuǎn)化為具體的操作，如調(diào)整磁線圈電流和精確控制八束束流的功率。

圖3e中的藍(lán)線，是對AI控制放電的后續(xù)估計(jì)?？梢钥吹剑麄€(gè)過程中撕裂傾向被有效控制在預(yù)定閾值以下，完全符合預(yù)期。

這次實(shí)驗(yàn)不僅證明了相比傳統(tǒng)控制方法，AI控制能夠更有效降低撕裂風(fēng)險(xiǎn)，還展示了其在整體性能上相比參考實(shí)驗(yàn)的提升，體現(xiàn)了AI適應(yīng)性控制的優(yōu)勢。

圖3：基于AI能的撕裂規(guī)避實(shí)驗(yàn)

圖4a展示了應(yīng)用不同設(shè)置閾值的控制器進(jìn)行的三場實(shí)驗(yàn)，分別為0.2、0.5和0.7。

其中，當(dāng)閾值設(shè)為0.5和0.7時(shí)，等離子體能夠穩(wěn)定持續(xù)，直到實(shí)驗(yàn)結(jié)束都沒有出現(xiàn)破壞性的不穩(wěn)定現(xiàn)象。

圖4b至4d展示了三次實(shí)驗(yàn)后分析得到的撕裂傾向情況。圖中的背景色顯示了在每個(gè)時(shí)間點(diǎn)不同束流功率下的預(yù)測撕裂傾向，實(shí)際使用的束流功率則由黑線標(biāo)出，虛線表示不同閾值下的撕裂傾向等級(jí)。

可以看到，不同的閾值設(shè)置會(huì)讓AI控制展現(xiàn)出不同的行為特征。

圖4b的分析顯示，撕裂預(yù)測模型能在不穩(wěn)定發(fā)生前300毫秒預(yù)警，控制器也試圖進(jìn)一步減少束流功率。

在圖4c中，設(shè)置了k = 0.5的AI控制器通過提前采取措施，主動(dòng)避免觸及閾值，以應(yīng)對不穩(wěn)定性的警告。

由于獎(jiǎng)勵(lì)機(jī)制是根據(jù)控制器行動(dòng)后25毫秒的撕裂傾向來計(jì)算的，所以經(jīng)過訓(xùn)練的控制器會(huì)在警告發(fā)生前的數(shù)十毫秒采取行動(dòng)。

圖4：不同閾值設(shè)置的對比實(shí)驗(yàn)

點(diǎn)亮未來之路

研究人員指出，雖然這項(xiàng)工作成功證明了AI在有效控制聚變反應(yīng)方面的潛力，但這只是推動(dòng)聚變研究領(lǐng)域的第一步。

首先，他們計(jì)劃在DIII-D上收集更多證據(jù)，證明AI控制器的實(shí)際效果，然后將其應(yīng)用范圍擴(kuò)大到其他的托卡馬克裝置。

「我們有充分的證據(jù)顯示這個(gè)控制器在DIII-D上表現(xiàn)出色，但我們需要更多數(shù)據(jù)來證明它能夠應(yīng)對多種不同的情況，」一作Seo表示?！肝覀兊哪繕?biāo)是開發(fā)出更具通用性的解決方案。」

第二個(gè)研究方向是擴(kuò)展這個(gè)算法，使AI控制器能夠同時(shí)處理更多的不穩(wěn)定問題。

曾在Kolemen團(tuán)隊(duì)做研究生，目前是PPPL博士后研究員，也是共同作者的Ricardo Shousha解釋說：「你可以想象，有一個(gè)綜合的獎(jiǎng)勵(lì)函數(shù)，它調(diào)整多個(gè)參數(shù)，以此來同時(shí)控制多種不穩(wěn)定性?！?/span>

在開發(fā)更優(yōu)秀的AI控制器以控制聚變反應(yīng)的過程中，研究人員們還可能對等離子體底層物理有了更深入的理解。

通過分析AI控制器在維持等離子體穩(wěn)定時(shí)所作出的決策，可以發(fā)現(xiàn)它們往往與傳統(tǒng)方法大相徑庭。

這表明，AI不僅能夠成為控制核聚變反應(yīng)的有效工具，還能作為一種新的教學(xué)資源，幫助我們從不同角度理解和探索聚變科學(xué)。

團(tuán)隊(duì)介紹

Jaemin Seo

一作Jaemin Seo，是專注于在KSTAR和DIII-D項(xiàng)目中應(yīng)用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行等離子體預(yù)測與控制的博士后研究員。

Jaemin在首爾國立大學(xué)核工程系獲得了博士學(xué)位。期間，他創(chuàng)新性地利用強(qiáng)化學(xué)習(xí)方法，為KSTAR設(shè)計(jì)了一種新型的等離子體控制算法。

目前，他的研究重點(diǎn)轉(zhuǎn)向了在DIII-D項(xiàng)目中探索撕裂模式的預(yù)測與控制技術(shù)。

此外，Jaemin還在研究一種快速的神經(jīng)網(wǎng)絡(luò)模型，旨在實(shí)時(shí)重建等離子體的動(dòng)力學(xué)平衡狀態(tài)，這對于提高控制算法的效率和精確度具有重要意義。

Egemen Kolemen

通訊作者Egemen Kolemen，是普林斯頓大學(xué)機(jī)械與航空航天工程的副教授，并在Andlinger能源與環(huán)境中心以及普林斯頓等離子體物理實(shí)驗(yàn)室（PPPL）擔(dān)任職位。

作為可持續(xù)能源項(xiàng)目的負(fù)責(zé)人，他因其在聚變工程領(lǐng)域的卓越貢獻(xiàn)獲得了David J. Rose優(yōu)秀獎(jiǎng)，并被選為ITER科學(xué)家研究員。

Kolemen教授的研究致力于將工程技術(shù)與物理分析相結(jié)合，旨在開發(fā)經(jīng)濟(jì)效益高的聚變反應(yīng)堆。目前，他正帶領(lǐng)團(tuán)隊(duì)在KSTAR、NSTX-U 和 DIII-D項(xiàng)目中進(jìn)行機(jī)器學(xué)習(xí)、實(shí)時(shí)監(jiān)測與控制方面的研究。