超越核方法的量子機(jī)器學(xué)習(xí),量子學(xué)習(xí)模型的統(tǒng)一框架
基于參數(shù)化量子電路的機(jī)器學(xué)習(xí)算法是近期在嘈雜的量子計(jì)算機(jī)上應(yīng)用的主要候選者。在這個(gè)方向上,已經(jīng)引入和廣泛研究了各種類型的量子機(jī)器學(xué)習(xí)模型。然而,我們對(duì)這些模型如何相互比較以及與經(jīng)典模型進(jìn)行比較的理解仍然有限。
近日,來自奧地利因斯布魯克大學(xué)的研究團(tuán)隊(duì)確定了一個(gè)建設(shè)性框架,該框架捕獲所有基于參數(shù)化量子電路的標(biāo)準(zhǔn)模型:線性量子模型。
研究人員展示了使用量子信息論中的工具如何將數(shù)據(jù)重新上傳電路有效地映射到量子希爾伯特空間中線性模型的更簡(jiǎn)單圖像中。此外,根據(jù)量子比特?cái)?shù)和需要學(xué)習(xí)的數(shù)據(jù)量來分析這些模型的實(shí)驗(yàn)相關(guān)資源需求?;诮?jīng)典機(jī)器學(xué)習(xí)的最新結(jié)果,證明線性量子模型必須使用比數(shù)據(jù)重新上傳模型多得多的量子比特才能解決某些學(xué)習(xí)任務(wù),而核方法還需要多得多的數(shù)據(jù)點(diǎn)。研究結(jié)果提供了對(duì)量子機(jī)器學(xué)習(xí)模型的更全面的了解,以及對(duì)不同模型與 NISQ 約束的兼容性的見解。
該研究以「Quantum machine learning beyond kernel methods」為題,于 2023 年 1 月 31 日發(fā)布在《Nature Communications》上。
論文鏈接:https://www.nature.com/articles/s41467-023-36159-y?
在當(dāng)前嘈雜的中級(jí)量子 (NISQ) 時(shí)代,已經(jīng)提出了一些方法來構(gòu)建與輕微的硬件限制兼容的有用量子算法。大多數(shù)這些方法都涉及量子電路 Ansatz 的規(guī)范,以經(jīng)典方式優(yōu)化以解決特定的計(jì)算任務(wù)。除了化學(xué)中的變分量子特征求解器和量子近似優(yōu)化算法的變體之外,基于這種參數(shù)化量子電路的機(jī)器學(xué)習(xí)方法是產(chǎn)生量子優(yōu)勢(shì)的最有希望的實(shí)際應(yīng)用之一。
核方法(kernel methods)是一類模式識(shí)別的算法。其目的是找出并學(xué)習(xí)一組數(shù)據(jù)中的相互的關(guān)系。核方法是解決非線性模式分析問題的一種有效途徑,其核心思想是:首先,通過某種非線性映射將原始數(shù)據(jù)嵌入到合適的高維特征空間;然后,利用通用的線性學(xué)習(xí)器在這個(gè)新的空間中分析和處理模式。
以前的工作通過利用一些量子模型和經(jīng)典機(jī)器學(xué)習(xí)的核方法之間的聯(lián)系,在這個(gè)方向上取得了長(zhǎng)足的進(jìn)步。許多量子模型確實(shí)是通過在高維希爾伯特空間中編碼數(shù)據(jù),并僅使用在此特征空間中評(píng)估的內(nèi)積來對(duì)數(shù)據(jù)的屬性進(jìn)行建模來運(yùn)行。這也是核方法的工作原理。
基于這種相似性,給定的量子編碼可用于定義兩種類型的模型:(a) 顯式量子模型,其中編碼數(shù)據(jù)點(diǎn)根據(jù)指定其標(biāo)簽的變分可觀測(cè)值進(jìn)行測(cè)量;或 (b) 隱式核模型,其中編碼數(shù)據(jù)點(diǎn)的加權(quán)內(nèi)積用于分配標(biāo)簽。在量子機(jī)器學(xué)習(xí)文獻(xiàn)中,很多重點(diǎn)都放在隱式模型上。
圖 1:這項(xiàng)工作中研究的量子機(jī)器學(xué)習(xí)模型。(來源:論文)
最近,所謂的數(shù)據(jù)重新上傳(data re-uploading)模型取得了進(jìn)展。數(shù)據(jù)重新上傳模型可以看作是顯式模型的推廣。然而,這種概括也打破了與隱式模型的對(duì)應(yīng)關(guān)系,因?yàn)榻o定的數(shù)據(jù)點(diǎn) x 不再對(duì)應(yīng)于固定的編碼點(diǎn) ρ(x)。數(shù)據(jù)重新上傳模型比顯式模型嚴(yán)格更通用,并且它們與內(nèi)核模型范例不兼容。到目前為止,在核方法的保證下,是否可以從數(shù)據(jù)重新上傳模型中獲得一些優(yōu)勢(shì)仍然是一個(gè)懸而未決的問題。
在這項(xiàng)工作中,研究人員引入了一個(gè)用于顯式、隱式和數(shù)據(jù)重新上傳量子模型的統(tǒng)一框架。
圖 2:量子機(jī)器學(xué)習(xí)中的模型族。(來源:論文)
量子學(xué)習(xí)模型的統(tǒng)一框架
首先回顧線性量子模型的概念,并根據(jù)量子特征空間中的定義線性模型解釋顯式和隱式模型。然后,展示了數(shù)據(jù)重新上傳模型,并展示了盡管被定義為顯式模型的推廣,但它們也可以通過更大的希爾伯特空間中的線性模型來實(shí)現(xiàn)。
線性量子模型
下圖給出了一個(gè)說明性結(jié)構(gòu),以直觀地說明如何實(shí)現(xiàn)從數(shù)據(jù)重新上傳到顯式模型的映射。
圖 3:近似于數(shù)據(jù)重新上傳電路的說明性顯式模型。(來源:論文)
這種結(jié)構(gòu)背后的總體思想是將輸入數(shù)據(jù) x 編碼為輔助量子比特,達(dá)到有限精度,然后可以重復(fù)使用它來使用與數(shù)據(jù)無關(guān)的單一體來近似數(shù)據(jù)編碼門。
現(xiàn)在轉(zhuǎn)向主要結(jié)構(gòu),導(dǎo)致數(shù)據(jù)重新上傳和顯式模型之間的精確映射。在這里,依賴于與前面結(jié)構(gòu)相似的思想,在輔助量子位上對(duì)輸入數(shù)據(jù)進(jìn)行編碼,然后使用數(shù)據(jù)獨(dú)立操作在工作量子位上實(shí)現(xiàn)編碼門。這里的區(qū)別在于,使用門傳送( gate-teleportation)技術(shù),一種基于測(cè)量的量子計(jì)算,直接在輔助量子位上實(shí)現(xiàn)編碼門,并在需要時(shí)將它們傳送回(通過糾纏測(cè)量)到工作量子位上。
圖 4:使用門隱形傳態(tài)從數(shù)據(jù)重新上傳模型到等效顯式模型的精確映射。(來源:論文)
研究人員證明了線性量子模型不僅可以描述顯式和隱式模型,還可以描述數(shù)據(jù)重新上傳電路。更具體地說,任何假設(shè)類的數(shù)據(jù)重新上傳模型都可以映射到等效類的顯式模型,即具有受限可觀察量族的線性模型。
接著,研究人員更嚴(yán)格地分析了顯式和數(shù)據(jù)重新上傳模型相對(duì)于隱式模型的優(yōu)勢(shì)。在例子中,通過量子比特?cái)?shù)和實(shí)現(xiàn)非平凡預(yù)期損失所需的訓(xùn)練集大小來量化量子模型解決學(xué)習(xí)任務(wù)的效率。關(guān)注的學(xué)習(xí)任務(wù)是學(xué)習(xí)奇偶函數(shù)。
圖 5:學(xué)習(xí)分離。(來源:論文)
超越核方法的量子優(yōu)勢(shì)
量子機(jī)器學(xué)習(xí)的一個(gè)主要挑戰(zhàn)是,表明這項(xiàng)工作中討論的量子方法可以實(shí)現(xiàn)優(yōu)于(標(biāo)準(zhǔn))經(jīng)典方法的學(xué)習(xí)優(yōu)勢(shì)。
在這方面的研究中,谷歌量子人工智能的 Huang 等人(?https://www.nature.com/articles/s41467-021-22539-9??)建議研究目標(biāo)函數(shù)本身由(顯式)量子模型生成的學(xué)習(xí)任務(wù)。
與 Huang 等人類似,研究人員使用來自 fashion-MNIST 數(shù)據(jù)集的輸入數(shù)據(jù)進(jìn)行回歸任務(wù),每個(gè)示例都是一個(gè) 28x28 的灰度圖像。
圖 6:顯式、隱式和經(jīng)典模型在「量子定制」學(xué)習(xí)任務(wù)上的回歸性能。(來源:論文)
觀察到:隱式模型系統(tǒng)地實(shí)現(xiàn)比顯式模型更低的訓(xùn)練損失。特別是對(duì)于非正則化損失,隱式模型實(shí)現(xiàn)了 0 的訓(xùn)練損失。另一方面,關(guān)于代表預(yù)期損失的測(cè)試損失,從 n = 7 量子位開始的明顯分離,其中經(jīng)典模型開始與隱式模型具有競(jìng)爭(zhēng)性能,而顯式模型明顯勝過他們兩個(gè)。這表明,不應(yīng)僅通過將經(jīng)典模型與量子核方法進(jìn)行比較來評(píng)估量子優(yōu)勢(shì)的存在,因?yàn)轱@式(或數(shù)據(jù)重新上傳)模型也可以隱藏更好的學(xué)習(xí)性能。
這些結(jié)果讓我們對(duì)量子機(jī)器學(xué)習(xí)領(lǐng)域有了更全面的了解,并拓寬了我們對(duì)模型類型的看法,以便在 NISQ 機(jī)制中實(shí)現(xiàn)實(shí)際的學(xué)習(xí)優(yōu)勢(shì)。
研究人員認(rèn)為證明不同量子模型之間存在指數(shù)學(xué)習(xí)分離的學(xué)習(xí)任務(wù)是基于奇偶函數(shù)的,這在機(jī)器學(xué)習(xí)中不是一個(gè)實(shí)際感興趣的概念類。然而,下限結(jié)果也可以擴(kuò)展到其他具有大維度概念類(即由許多正交函數(shù)組成)的學(xué)習(xí)任務(wù)。
量子核方法必然需要許多與該維度成線性比例的數(shù)據(jù)點(diǎn),而正如我們?cè)诮Y(jié)果中展示的那樣,數(shù)據(jù)重新上傳電路的靈活性以及顯式模型的有限表達(dá)能力以節(jié)省大量資源。探索這些模型如何以及何時(shí)可以針對(duì)手頭的機(jī)器學(xué)習(xí)任務(wù)進(jìn)行定制仍然是一個(gè)有趣的研究方向。