隨著量子計(jì)算機(jī)的出現(xiàn)給計(jì)算機(jī)領(lǐng)域帶來(lái)了許多突破性進(jìn)展。在量子計(jì)算機(jī)上運(yùn)行的卷積神經(jīng)網(wǎng)絡(luò)也因其比經(jīng)典計(jì)算機(jī)更好地分析量子數(shù)據(jù)的潛力而引起諸多關(guān)注。量子神經(jīng)網(wǎng)絡(luò)(QNN)被認(rèn)為是最有前途的架構(gòu)之一，其應(yīng)用包括物理模擬、優(yōu)化等。

盡管 QNN 具有巨大的潛力，但許多 QNN 架構(gòu)已被證明會(huì)出現(xiàn)「貧瘠高原」現(xiàn)象，其中代價(jià)函數(shù)的梯度隨系統(tǒng)大小呈指數(shù)級(jí)消失，使得 QNN 架構(gòu)無(wú)法針對(duì)大型問(wèn)題進(jìn)行訓(xùn)練。

近日，來(lái)自美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室(LANL)和倫敦大學(xué)的研究人員構(gòu)建了一個(gè)不存在貧瘠高原的特定 QNN 架構(gòu)。該研究的論文《Absence of Barren Plateaus in Quantum Convolutional Neural Networks》在《PHYSICAL REVIEW X》上發(fā)表。

論文地址：https://journals.aps.org/prx/pdf/10.1103/PhysRevX.11.041011

近來(lái)一些研究者提出了量子卷積神經(jīng)網(wǎng)絡(luò)(QCNN)架構(gòu)，洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室(LANL)和倫敦大學(xué)的這項(xiàng)研究嚴(yán)格分析了 QCNN 架構(gòu)中參數(shù)的梯度縮放。該研究發(fā)現(xiàn)梯度的方差消失的速度并沒(méi)有比多項(xiàng)式更快，這意味著 QCNN 沒(méi)有出現(xiàn)貧瘠高原現(xiàn)象。該結(jié)果為隨機(jī)初始化的 QCNN 的可訓(xùn)練性提供了分析保證，這突出了 QCNN 與許多其他 QNN 架構(gòu)的不同，即在隨機(jī)初始化下可訓(xùn)練。

避免梯度消失問(wèn)題

該研究為了得出其分析結(jié)果，提出了一種基于圖的新方法來(lái)分析 Haar 分布式 unitary 的期望值，這可能是一種極為有效的方法。最后，該研究用數(shù)值模擬驗(yàn)證了其分析結(jié)果。

QCNN 架構(gòu)

QCNN 架構(gòu)涉及一系列卷積層和池化層，這些層減少了量子比特的數(shù)量，同時(shí)保留了有關(guān)數(shù)據(jù)特征的信息。

如下圖 1 所示，QCNN 架構(gòu)將 Hilbert 空間 H_in 中的 n-qubit 輸入狀態(tài) ρ_in 作為輸入，該狀態(tài)通過(guò)由一系列卷積層和池化層組成的電路發(fā)送。卷積層由兩行參數(shù)化的雙量子比特門(mén)組成，作用于相鄰量子比特的 alternating 對(duì)。在每個(gè)池化層中，測(cè)量一半的量子比特，測(cè)量結(jié)果控制應(yīng)用于相鄰量子比特的 unitary。在 L 個(gè)卷積層和池化層之后，QCNN 中還包含一個(gè)全連接層，該層對(duì)剩余的量子比特應(yīng)用 unitary。最后測(cè)量一些 Hermitian 算子 O 的期望值。

QCNN 架構(gòu)示意圖

該研究將 QCNN 的輸入狀態(tài)映射到 Hilbert 空間中的一個(gè)縮減狀態(tài)，其中 H_out 的維度遠(yuǎn)小于 H_in 的維度。輸出狀態(tài)可以表示為：

其中，V(θ)是包含卷積層和池化層以及全連接層中的門(mén)的 unitary，θ 是可訓(xùn)練參數(shù)的向量，表示除 H_out 中以外的所有量子比特的偏跡數(shù)(partial trace)。請(qǐng)注意，QCNN 中的非線性源于池化層中的池化算子，這有效地降低了每一層的自由度。 

代價(jià)函數(shù)

QCNN 的目標(biāo)是應(yīng)用一個(gè)訓(xùn)練集 S(S 的大小 M=|S|)，包含輸入狀態(tài)來(lái)優(yōu)化 QCNN 中的參數(shù)，并最小化代價(jià)函數(shù)，代價(jià)函數(shù)可表示為

其中 c_α是實(shí)系數(shù)，是從如下等式 (1) 中獲得的，每個(gè)輸入狀態(tài)為ρ_in。 

Ansatz

為了簡(jiǎn)單起見(jiàn)，該研究主要考慮兩種情況：n=2^k 和 L=log(n)=k，這樣 dim(H_out)=2。此外，該研究假設(shè)卷積層和池化層中的 unitary 是獨(dú)立的。也就是說(shuō)，V(θ) 中的卷積層和全連接層由作用于相鄰量子比特的兩個(gè)量子比特參數(shù)化 unitary 塊組成，表示為。 

研究者注意到，這種泛化包含作為特殊情況的常見(jiàn) QCNN 結(jié)構(gòu)，其中同一卷積或池化層中的塊是相同的。此外，研究者在論文的結(jié)果部分討論得出：卷積層中的 unitary 相關(guān)性往往會(huì)增加代價(jià)函數(shù)的梯度幅值。

如上等式 (13) 所示，由于代價(jià)函數(shù)偏導(dǎo)數(shù)的方差獨(dú)立于 I_ij 中的受控 unitary，因此可以將池化層中算子 I_ij 的作用附到卷積層中 unitary 的作用上。因此，QCNN 的張量網(wǎng)絡(luò)表征如下圖 2 所示。

QCNN 的張量網(wǎng)絡(luò)表征

此外，該研究還提出了一種分析方差縮放的新方法，稱(chēng)為 GRIM。

QCNN 架構(gòu)的 GRIM 模塊

這項(xiàng)研究有什么意義?

作為一種人工智能方法，QCNN 受到視覺(jué)皮層的啟發(fā)，因此涉及一系列的卷積層與池化層，在保持?jǐn)?shù)據(jù)集重要特征的同時(shí)降低了數(shù)據(jù)的維度。這些神經(jīng)網(wǎng)絡(luò)可用于解決一系列問(wèn)題，從圖像識(shí)別到材料發(fā)現(xiàn)?？朔汃じ咴峭诰蛄孔佑?jì)算機(jī)在人工智能應(yīng)用中的全部潛力并展示其優(yōu)于經(jīng)典計(jì)算機(jī)的關(guān)鍵。

Marco Cerezo(論文合著者之一)說(shuō)，到目前為止，量子機(jī)器學(xué)習(xí)的研究人員分析了如何減輕貧瘠高原的影響，但他們?nèi)狈ν耆苊馑睦碚摶A(chǔ)。LANL 的工作展示了一些量子神經(jīng)網(wǎng)絡(luò)實(shí)際上不受貧瘠高原的影響。

「有了這個(gè)保證，研究人員現(xiàn)在將能夠篩選關(guān)于量子系統(tǒng)的量子計(jì)算機(jī)數(shù)據(jù)，并將這些信息用于研究材料特性或發(fā)現(xiàn)新材料等方面?！筁ANL 的量子物理學(xué)家 Patrick Coles 說(shuō)。

40 多年來(lái)，物理學(xué)家一直認(rèn)為量子計(jì)算機(jī)將被證明可用于模擬和理解粒子的量子系統(tǒng)，這會(huì)扼殺傳統(tǒng)的經(jīng)典計(jì)算機(jī)。LANL 研究證明穩(wěn)健的量子卷積神經(jīng)網(wǎng)絡(luò)類(lèi)型有望在分析量子模擬數(shù)據(jù)方面獲得應(yīng)用。

「關(guān)于激光有一句名言，當(dāng)它們第一次被發(fā)現(xiàn)時(shí)，人們說(shuō)它們是尋找問(wèn)題的解決方案?，F(xiàn)在到處都在使用激光。同樣，我們中的許多人懷疑量子數(shù)據(jù)能否變得高度可用，可能意味著量子機(jī)器學(xué)習(xí)也會(huì)起飛?！笴oles 說(shuō)道。

參考鏈接：https://discover.lanl.gov/news/releases/1015-quantum-ai

【本文是51CTO專(zhuān)欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】  

戳這里，看該作者更多好文