模擬當(dāng)今量子計(jì)算設(shè)備的一個(gè)關(guān)鍵挑戰(zhàn)，是學(xué)習(xí)和編碼量子比特之間發(fā)生的復(fù)雜關(guān)聯(lián)的能力。基于機(jī)器學(xué)習(xí)語(yǔ)言模型的新興技術(shù)已經(jīng)顯示出學(xué)習(xí)量子態(tài)的獨(dú)特能力。

近日，加拿大滑鐵盧大學(xué)的研究人員在《Nature Computational Science》發(fā)表題為《Language models for quantum simulation》 的 Perspective 文章，強(qiáng)調(diào)了語(yǔ)言模型在構(gòu)建量子計(jì)算機(jī)方面所做出的貢獻(xiàn)，并討論了它們?cè)诹孔觾?yōu)勢(shì)競(jìng)爭(zhēng)中的未來(lái)角色。

論文鏈接：https://www.nature.com/articles/s43588-023-00578-0

量子計(jì)算機(jī)已經(jīng)開始成熟，最近許多設(shè)備都聲稱具有量子優(yōu)勢(shì)。經(jīng)典計(jì)算能力的持續(xù)發(fā)展，例如機(jī)器學(xué)習(xí)技術(shù)的快速崛起，引發(fā)了許多圍繞量子和經(jīng)典策略之間相互作用的令人興奮的場(chǎng)景。隨著機(jī)器學(xué)習(xí)繼續(xù)與量子計(jì)算堆棧快速集成，提出了一個(gè)問(wèn)題：它是否可以在未來(lái)以強(qiáng)大的方式改變量子技術(shù)？

當(dāng)今量子計(jì)算機(jī)提出的一個(gè)關(guān)鍵挑戰(zhàn)是量子態(tài)的學(xué)習(xí)。近年來(lái)迅速進(jìn)入該領(lǐng)域的生成模型給出了學(xué)習(xí)量子態(tài)的兩種廣泛策略。

圖示：自然語(yǔ)言及其他領(lǐng)域的生成模型。（來(lái)源：論文）

首先，通過(guò)代表量子計(jì)算機(jī)測(cè)量輸出的數(shù)據(jù)集，數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)通過(guò)傳統(tǒng)的最大似然方法進(jìn)行。其次，量子態(tài)可以通過(guò)所謂的物理學(xué)方法來(lái)解決，該方法利用量子比特之間相互作用的知識(shí)來(lái)定義替代損失函數(shù)。

無(wú)論哪種情況，量子態(tài)空間（希爾伯特空間）的大小都會(huì)隨著量子比特?cái)?shù)量 N 呈指數(shù)增長(zhǎng)，這是典型的維數(shù)災(zāi)難。這對(duì)于擴(kuò)展模型中表示量子態(tài)所需的參數(shù)數(shù)量以及尋找最佳參數(shù)值的計(jì)算效率提出了嚴(yán)峻的挑戰(zhàn)?；谌斯ど窠?jīng)網(wǎng)絡(luò)的生成模型非常適合應(yīng)對(duì)這一挑戰(zhàn)。

語(yǔ)言模型是一種特別有前途的生成模型，它已成為解決高復(fù)雜性語(yǔ)言問(wèn)題的強(qiáng)大架構(gòu)。由于其可擴(kuò)展性，也適用于量子計(jì)算中的問(wèn)題。如今，隨著工業(yè)語(yǔ)言模型進(jìn)入數(shù)萬(wàn)億個(gè)參數(shù)的范圍，人們很自然地想知道類似的大型模型在物理學(xué)中可以實(shí)現(xiàn)什么，無(wú)論是在擴(kuò)展量子計(jì)算等應(yīng)用中，還是在量子物質(zhì)、材料和設(shè)備的基礎(chǔ)理論理解中。

圖示：量子物理問(wèn)題及其變分公式。（來(lái)源：論文）

量子計(jì)算的自回歸模型

語(yǔ)言模型是旨在從自然語(yǔ)言數(shù)據(jù)推斷概率分布的生成模型。

生成模型的任務(wù)是學(xué)習(xí)語(yǔ)料庫(kù)中出現(xiàn)的單詞之間的概率關(guān)系，允許每次生成一個(gè)標(biāo)記的新短語(yǔ)。主要困難在于對(duì)單詞之間所有復(fù)雜的依賴關(guān)系進(jìn)行建模。

類似的挑戰(zhàn)也適用于量子計(jì)算機(jī)，其中糾纏等非局部相關(guān)性會(huì)導(dǎo)致量子比特之間高度不平凡的依賴性。因此，一個(gè)有趣的問(wèn)題是，工業(yè)界開發(fā)的強(qiáng)大自回歸架構(gòu)是否也可以應(yīng)用于解決強(qiáng)相關(guān)量子系統(tǒng)中的問(wèn)題。

圖示：文本和量子比特序列的自回歸策略。（來(lái)源：論文）

RNN 波函數(shù)

RNN 是任何包含循環(huán)連接的神經(jīng)網(wǎng)絡(luò)，因此 RNN 單元的輸出取決于先前的輸出。自 2018 年以來(lái)，RNN 的使用迅速擴(kuò)大，涵蓋了理解量子系統(tǒng)中各種最具挑戰(zhàn)性的任務(wù)。

RNN 適合這些任務(wù)的一個(gè)關(guān)鍵優(yōu)勢(shì)是它們能夠?qū)W習(xí)和編碼量子比特之間高度重要的相關(guān)性，包括本質(zhì)上非局域的量子糾纏。

圖示：用于量子比特序列的 RNN。（來(lái)源：論文）

物理學(xué)家已將 RNN 用于與量子計(jì)算相關(guān)的各種創(chuàng)新用途。RNN 已用于根據(jù)量子比特測(cè)量重建量子態(tài)的任務(wù)。RNN 還可以用于模擬量子系統(tǒng)的動(dòng)態(tài)特性，這被認(rèn)為是量子計(jì)算最有前途的應(yīng)用之一，因此也是定義量子優(yōu)勢(shì)的一項(xiàng)關(guān)鍵任務(wù)。RNN 已被用作構(gòu)建神經(jīng)糾錯(cuò)解碼器的策略，這是容錯(cuò)量子計(jì)算機(jī)開發(fā)的關(guān)鍵要素。此外，RNN 能夠利用數(shù)據(jù)驅(qū)動(dòng)和物理啟發(fā)的優(yōu)化，從而在量子模擬中實(shí)現(xiàn)越來(lái)越多的創(chuàng)新用途。

物理學(xué)家社區(qū)繼續(xù)積極開發(fā) RNN，希望利用它們來(lái)完成量子優(yōu)勢(shì)時(shí)代遇到的日益復(fù)雜的計(jì)算任務(wù)。RNN 在許多量子任務(wù)中與張量網(wǎng)絡(luò)的計(jì)算競(jìng)爭(zhēng)力，加上它們利用量子比特測(cè)量數(shù)據(jù)的價(jià)值的天然能力，表明 RNN 將繼續(xù)在未來(lái)模擬量子計(jì)算機(jī)的復(fù)雜任務(wù)中發(fā)揮重要作用。

Transformer 量子態(tài)

多年來(lái)，雖然 RNN 在自然語(yǔ)言任務(wù)中取得了巨大成功，但最近它們?cè)诠I(yè)中因 Transformer 的自注意力機(jī)制而黯然失色，而 Transformer 是當(dāng)今大型語(yǔ)言模型 (LLM) 編碼器-解碼器架構(gòu)的關(guān)鍵組成部分。

縮放（scaling ） Transformer 的成功，以及它們?cè)谡Z(yǔ)言任務(wù)中所展示的非平凡涌現(xiàn)現(xiàn)象所引發(fā)的重要問(wèn)題，一直吸引著物理學(xué)家，對(duì)他們來(lái)說(shuō)，實(shí)現(xiàn)縮放是量子計(jì)算研究的主要目標(biāo)。

從本質(zhì)上講，Transformer 就是簡(jiǎn)單的自回歸模型。然而，與 RNN 不同的是，RNN 是通過(guò)隱藏向量進(jìn)行相關(guān)性的隱式編碼，Transformer 模型輸出的條件分布明確依賴于序列中有關(guān)自回歸特性的所有其他變量。這是通過(guò)因果屏蔽的自注意力機(jī)制來(lái)完成的。

圖示：注意文本和量子比特序列。（來(lái)源：論文）

與語(yǔ)言數(shù)據(jù)一樣，在量子系統(tǒng)中，注意力是通過(guò)獲取量子比特測(cè)量值并通過(guò)一系列參數(shù)化函數(shù)進(jìn)行轉(zhuǎn)換來(lái)計(jì)算的。通過(guò)訓(xùn)練一堆這樣的參數(shù)化函數(shù)，Transformer 可以學(xué)習(xí)量子比特之間的依賴關(guān)系。有了注意力機(jī)制，就不需要將傳遞隱藏狀態(tài)的幾何結(jié)構(gòu)（就像在 RNN 中一樣）與量子比特的物理排列相關(guān)聯(lián)。

通過(guò)利用這種架構(gòu)，可以訓(xùn)練具有數(shù)十億或數(shù)萬(wàn)億參數(shù)的 Transformer。

對(duì)于當(dāng)前一代量子計(jì)算機(jī)來(lái)說(shuō)，結(jié)合數(shù)據(jù)驅(qū)動(dòng)和物理啟發(fā)學(xué)習(xí)的混合兩步優(yōu)化非常重要，已經(jīng)證明了 Transformer 能夠減輕當(dāng)今不完美的輸出數(shù)據(jù)中出現(xiàn)的錯(cuò)誤，并可能形成強(qiáng)大的糾錯(cuò)協(xié)議的基礎(chǔ)，以支持未來(lái)真正容錯(cuò)硬件的開發(fā)。

隨著涉及量子物理 Transformer 的研究范圍不斷迅速擴(kuò)大，一系列有趣的問(wèn)題仍然存在。

量子計(jì)算語(yǔ)言模型的未來(lái)

盡管物理學(xué)家對(duì)它們的探索時(shí)間很短，但語(yǔ)言模型在應(yīng)用于量子計(jì)算領(lǐng)域的廣泛挑戰(zhàn)時(shí)已經(jīng)取得了顯著的成功。這些成果預(yù)示著未來(lái)許多有前途的研究方向。

量子物理學(xué)中語(yǔ)言模型的另一個(gè)關(guān)鍵用例來(lái)自于它們的優(yōu)化能力，不是通過(guò)數(shù)據(jù)，而是通過(guò)哈密頓量或 Lindbladian 的基本量子比特相互作用的知識(shí)。

最后，語(yǔ)言模型通過(guò)數(shù)據(jù)驅(qū)動(dòng)和變分驅(qū)動(dòng)優(yōu)化的結(jié)合，開辟了混合訓(xùn)練的新領(lǐng)域。這些新興的策略為減少錯(cuò)誤提供了新的途徑，并顯示出對(duì)變分模擬的強(qiáng)大改進(jìn)。由于生成模型最近已被改編為量子糾錯(cuò)解碼器，混合訓(xùn)練可能為未來(lái)實(shí)現(xiàn)容錯(cuò)量子計(jì)算機(jī)的圣杯邁出了重要一步。這表明，量子計(jì)算機(jī)和在其輸出中訓(xùn)練的語(yǔ)言模型之間即將出現(xiàn)良性循環(huán)。

圖示：語(yǔ)言模型通過(guò)良性循環(huán)實(shí)現(xiàn)量子計(jì)算的擴(kuò)展。（來(lái)源：論文）

展望未來(lái)，將語(yǔ)言模型領(lǐng)域與量子計(jì)算聯(lián)系起來(lái)的最令人興奮的機(jī)會(huì)在于它們展示規(guī)模和涌現(xiàn)的能力。

如今，隨著 LLM 涌現(xiàn)特性的展示，一個(gè)新的領(lǐng)域已經(jīng)被突破，提出了許多引人注目的問(wèn)題。如果有足夠的訓(xùn)練數(shù)據(jù)，LLM 是否能夠?qū)W習(xí)量子計(jì)算機(jī)的數(shù)字副本？控制堆棧中包含語(yǔ)言模型，將如何影響量子計(jì)算機(jī)的表征和設(shè)計(jì)？如果尺度足夠大，LLM 能否顯示超導(dǎo)等宏觀量子現(xiàn)象的出現(xiàn)？

當(dāng)理論學(xué)家思考這些問(wèn)題時(shí)，實(shí)驗(yàn)和計(jì)算物理學(xué)家已經(jīng)開始認(rèn)真地將語(yǔ)言模型應(yīng)用于當(dāng)今量子計(jì)算機(jī)的設(shè)計(jì)、表征和控制中。當(dāng)我們跨越量子優(yōu)勢(shì)的門檻時(shí)，我們也進(jìn)入了擴(kuò)展語(yǔ)言模型的新領(lǐng)域。雖然很難預(yù)測(cè)量子計(jì)算機(jī)和 LLM 的碰撞將如何展開，但顯而易見的是，這些技術(shù)相互作用所帶來(lái)的根本性轉(zhuǎn)變已經(jīng)開始。