[[432543]]

神經(jīng)網(wǎng)絡(luò)是當(dāng)下計(jì)算應(yīng)用中發(fā)展最快，使用最廣的機(jī)器學(xué)習(xí)算法。然而，隨著應(yīng)用不斷復(fù)雜化導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)不斷擴(kuò)大，存儲(chǔ)性能瓶頸已逐漸凸顯。

　　在傳統(tǒng)計(jì)算平臺(tái)上，N個(gè)數(shù)字比特只能表示 1 個(gè)N位數(shù)據(jù)，然而在量子計(jì)算中，M個(gè)量子比特卻同時(shí)能表示2^M個(gè)數(shù)據(jù)，并能同時(shí)操作這些數(shù)據(jù)。

　　量子計(jì)算機(jī)如此強(qiáng)大的存儲(chǔ)與計(jì)算能力，使其擁有巨大潛能打破神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)計(jì)算平臺(tái)上的性能瓶頸，獲取量子優(yōu)勢(shì)。

　　量子神經(jīng)網(wǎng)絡(luò)是根據(jù)量子計(jì)算機(jī)的特性設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)。具體而言，研究者們根據(jù)量子計(jì)算機(jī)所提供的基本計(jì)算單元（即量子邏輯門）進(jìn)行量子線路設(shè)計(jì)，以實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算。

　　今年 1 月，美國喬治梅森大學(xué)姜煒文教授在《自然通訊》期刊，提出了第一個(gè)神經(jīng)網(wǎng)絡(luò)/量子計(jì)算協(xié)同設(shè)計(jì)框架 QuantumFlow。這也是其一年內(nèi)，繼兩篇《自然電子》后的第三篇 Nature 子刊。

　　https://www.nature.com/articles/s41467-020-20729-5

　　該框架第一次展示了通過協(xié)同優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與量子線路設(shè)計(jì)，可以較傳統(tǒng)計(jì)算機(jī)獲得指數(shù)級(jí)加速。

　　圖 1 基于 QuatnumFlow 量子神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)棧

　　基于 QuantumFlow，由姜教授帶領(lǐng)的 JQub 團(tuán)隊(duì)在今年 10 月舉行的 QuantumWeek’21 和 ESWEEK’21 中，開源了 QuantumFlow 的量子神經(jīng)網(wǎng)絡(luò)編程框架，QFNN。

　　并在即將召開 ICCAD’21，添加了兩個(gè)新成員：

　?。?）第一個(gè)對(duì)噪聲感知的量子神經(jīng)網(wǎng)絡(luò)訓(xùn)練器 QF-RobustNN；

　?。?）基于不同量子神經(jīng)元設(shè)計(jì)的量子神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)器 QF-Mixer。

　　至此，第一個(gè)開源量子神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)棧橫空出世，為量子神經(jīng)網(wǎng)絡(luò)應(yīng)用提供了堅(jiān)實(shí)基礎(chǔ)。

QFNN

　　在剛剛結(jié)束的 QuantumWeek 會(huì)議上，JQub 團(tuán)隊(duì)開源了由胡芷瑞研究員主要參與設(shè)計(jì)的量子神經(jīng)網(wǎng)絡(luò)（Quantum Neural Network）編程框架，QFNN。

　　https://github.com/JQub/qfnn

　　QFNN 以 Pytorch 和 IBM Qiskit 為基礎(chǔ)，為實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)在量子電路進(jìn)行訓(xùn)練和推理提供了基礎(chǔ)函數(shù)。研究人員可以通過簡(jiǎn)單調(diào)用少數(shù)函數(shù)，便可以輕松構(gòu)建可以在 IBM 量子計(jì)算機(jī)上進(jìn)行部署的針對(duì)神經(jīng)網(wǎng)絡(luò)推理的量子電路。

　　QFNN 不僅支持 QuantumFlow 的所有功能，同時(shí)也支持其它量子神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，包括 Variational Quantum Circuits（VQC）。

　　除此之外，QFNN 還提供了量子神經(jīng)網(wǎng)絡(luò)電路相對(duì)應(yīng)的經(jīng)典計(jì)算模擬，可以用于驗(yàn)證量子神經(jīng)網(wǎng)絡(luò)的正確性以及輔助量子計(jì)算機(jī)進(jìn)行模型訓(xùn)練。

　　圖 2 QuantumFlow 協(xié)同設(shè)計(jì)框架

　　在對(duì) QuantumFlow 的支持上，QFNN 采用與 QuantumFlow 中的結(jié)構(gòu)相同。如圖 2 所示，該框架分為四個(gè)模塊，包括 qf_circ，qf_net，qf_fb 和 qf_map。

　　目前 QFNN 支持 QuantumFlow 中的所有模塊，并在 QF-Net 中，加入了對(duì) VQC 等量子電路的支持。

　　利用 QFNN，研究者可以快速搭建量子機(jī)器學(xué)習(xí)電路，在經(jīng)典計(jì)算機(jī)上對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在量子平臺(tái)上進(jìn)行推理。

　　同時(shí)，QFNN 還支持量子網(wǎng)絡(luò)結(jié)構(gòu)的探索，即 QF-Mixer。QFNN 在 github 上進(jìn)行開源，并歡迎有興趣者共同開發(fā)，加入更多的基礎(chǔ)量子神經(jīng)元實(shí)現(xiàn)與量子神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。

QF-RubostNN

　　在即將于 11 月 1 日召開的 ICCAD 會(huì)議上，JQub 團(tuán)隊(duì)提出了首個(gè)通過訓(xùn)練，在量子網(wǎng)絡(luò)中學(xué)習(xí)量子位誤差的研究工作，即 QF-RubostNN。

　　https://arxiv.org/pdf/2109.03430.pdf

　　該研究由梁之鼎博士生主要參與，提出了一個(gè)通用的訓(xùn)練框架來進(jìn)行錯(cuò)誤感知學(xué)習(xí)，這個(gè)框架將解決部署神經(jīng)網(wǎng)絡(luò)到近期嘈雜的中級(jí)量子（NISQ）時(shí)期的核心問題：如何抵抗噪聲對(duì)神經(jīng)網(wǎng)絡(luò)推理的影響。

　　雖然量子計(jì)算發(fā)展非常迅速，但是目前量子比特在量子機(jī)器上的錯(cuò)誤率會(huì)達(dá)到 10^-2，和經(jīng)典比特在經(jīng)典的 CMOS 機(jī)器上大約 10^-15 的錯(cuò)誤率對(duì)比無疑是個(gè)巨大的差距。

　　對(duì)此，JQub 團(tuán)隊(duì)設(shè)計(jì)了 QF-RubostNN 做出了第一個(gè)將噪聲學(xué)習(xí)到量子神經(jīng)網(wǎng)絡(luò)的嘗試，展示出了量子神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性：在量子模擬器和 IBM 量子機(jī)器上分別運(yùn)行了 QF-RubostNN，并極大地提升了量子神經(jīng)網(wǎng)絡(luò)的推理精確度。

　　圖 3 QF-RubostNN 產(chǎn)生的總體框架簡(jiǎn)圖

　　QF-RobustNN 最上層的訓(xùn)練權(quán)重由量子神經(jīng)網(wǎng)絡(luò)，如 QuantumFlow 產(chǎn)生。在每次循環(huán)中的訓(xùn)練權(quán)重會(huì)產(chǎn)生對(duì)應(yīng)的量子線路，此時(shí)是在邏輯量子位上的邏輯量子線路，經(jīng)過設(shè)計(jì)出的特定應(yīng)用的量子映射，邏輯量子位被映射到物理量子位，由此便有了對(duì)應(yīng)的物理量子線路。

　　再將物理量子線路運(yùn)行在量子機(jī)器或者量子模擬器中，得到模型準(zhǔn)確率的輸出，通過訓(xùn)練框架找到在這時(shí)候的噪聲下表現(xiàn)最好的訓(xùn)練權(quán)重，最后將搜索到的訓(xùn)練權(quán)重更新到最上層的訓(xùn)練權(quán)重。

　　這種方法固定初始到結(jié)束的邏輯-物理量子映射的規(guī)律，使錯(cuò)誤可以被預(yù)估，并且也可以有效減少附加門的數(shù)量，從而降低消耗。

　　圖 4 QF-RobustNN 在不同噪聲模型下，對(duì)準(zhǔn)確率的測(cè)量結(jié)果

　　QF-RobustNN 采用在 0 噪聲環(huán)境（perfect model）下表現(xiàn)最好的訓(xùn)練權(quán)重當(dāng)作實(shí)驗(yàn)的 Baseline，通過改變模型的 Error rate（噪聲情況）觀察 QF-RobustNN 的實(shí)現(xiàn)。

　　在實(shí)驗(yàn)結(jié)果中可以看到，經(jīng)過 QF-RobustNN 的準(zhǔn)確率相較 baseline 的情況有所提高，而且值得注意的是，隨著錯(cuò)誤率增加，QF-RobustNN 對(duì)準(zhǔn)確率的推動(dòng)作用更加明顯，最高達(dá)到了 28% 的效果。

　　該實(shí)驗(yàn)展示了量子神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)量子位錯(cuò)誤的可能性，在 NISQ 時(shí)代的量子機(jī)器，噪聲是極大的問題與挑戰(zhàn)。實(shí)驗(yàn)結(jié)果展示了 QF-RobustNN 的有效性。

QF-Mixer

　　QF-Mixer 是由汪哲鵬博士生主要參與，是第一個(gè)探索量子神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的文章。

　　https://arxiv.org/pdf/2109.03806.pdf

　　伴隨著量子神經(jīng)網(wǎng)絡(luò)在近年來的蓬勃發(fā)展，一系列關(guān)于量子神經(jīng)元 （quantum neuron）設(shè)計(jì)的工作開始涌現(xiàn)。

　　這些工作通過堆疊各自提出的量子神經(jīng)元搭建量子神經(jīng)網(wǎng)絡(luò)，在簡(jiǎn)單的機(jī)器學(xué)習(xí)任務(wù)中 （比如 MNIST 2 分類問題）可以取得較高的準(zhǔn)確率。然而，當(dāng)應(yīng)用于更復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)（比如 MNIST 10 分類問題）時(shí)，該類量子神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率便會(huì)大打折扣。

　　基于這樣的現(xiàn)狀，QF-Mixer 提出了要混合不同種類的現(xiàn)有的量子神經(jīng)元來構(gòu)建一個(gè)性能更高的異構(gòu)量子神經(jīng)網(wǎng)絡(luò)。

　　圖 5 混合量子神經(jīng)元的挑戰(zhàn)與 QF-Mixer 設(shè)計(jì)理念

　　然而，搭建這樣的異構(gòu)量子神經(jīng)網(wǎng)絡(luò)并非易事。

　　首先，不同的量子神經(jīng)元對(duì)輸入和輸出的量子態(tài) (quantum state) 有著不同的要求，任意地連接兩類神經(jīng)元往往無法達(dá)到這些預(yù)設(shè)的要求。

　　其次，不同的神經(jīng)元在計(jì)算上也有著不同的特性和邏輯，更高的準(zhǔn)確率未必能通過混合不同神經(jīng)元達(dá)到。只有找到合適的神經(jīng)元組合，才能起到1+1>2 的效果。

　　針對(duì)第一個(gè)問題，QF-Mixer 給出了一套在混合不同神經(jīng)元時(shí)需要遵循的準(zhǔn)則，這為異構(gòu)量子神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)提供了理論支持。

　　針對(duì)第二個(gè)問題，JQub 團(tuán)隊(duì)發(fā)現(xiàn) Quantumflow 中的量子神經(jīng)元和變分量子電路 (Variational Quantum Circuit)有著極為互補(bǔ)的特性。

　　一方面，Quantumflow 中的量子神經(jīng)元 (QF-量子神經(jīng)元) 的可學(xué)習(xí)參數(shù)是二值化的，在表達(dá)能力上有著較大的限制。變分量子電路的可學(xué)習(xí)參數(shù)則為任意實(shí)數(shù)。因此，變分量子電路可以為 QF-量子神經(jīng)元提供更強(qiáng)的表示能力。

　　另一方面， 變分量子電路僅是一個(gè)線性分類器，QF-量子神經(jīng)元?jiǎng)t可以輕松地搭建起擁有多個(gè)非線性層的量子神經(jīng)網(wǎng)絡(luò)。QF-量子神經(jīng)元可以幫助變分量子電路構(gòu)建出更為復(fù)雜的模型。

　　基于上述觀察，QF-Mixer 提出了 QF-MixNN，一個(gè)混合了 QF-量子神經(jīng)元和變分量子電路的異構(gòu)神經(jīng)網(wǎng)絡(luò)框架。QF-MixNN 在遵循了 QF-Mixer 提出的混合準(zhǔn)則的同時(shí)，也在不同的數(shù)據(jù)集上展現(xiàn)出了更高的準(zhǔn)確率。

　　圖 6 QF-Mixer 在 10 類分類問題取得高精度

　　這一點(diǎn)在圖 6 中的表格中也得以體現(xiàn)?？梢钥吹?，在 MNIST 數(shù)據(jù)集上，QF-量子神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)和變分量子電路均表現(xiàn)不佳，分別僅有 52.77% 和 69.92% 的準(zhǔn)確率。

　　與此同時(shí)， QF-MixNN 則有著相當(dāng)亮眼的表現(xiàn)。它在 MNIST 上取得了超過 90% 的準(zhǔn)確率。對(duì)比 QF-量子神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)和變分量子電路，準(zhǔn)確率的提升分別為 20.7% 和 37.85%。

JQub 團(tuán)隊(duì)介紹

　　姜煒文助理教授于 2021 年加入喬治梅森大學(xué)并建立了量子-經(jīng)典計(jì)算機(jī)輔助設(shè)計(jì)實(shí)驗(yàn)室（JQub）。

　　該實(shí)驗(yàn)室致力于研究神經(jīng)網(wǎng)絡(luò)和硬件加速器（包括量子計(jì)算機(jī)）的協(xié)同設(shè)計(jì)，在量子神經(jīng)網(wǎng)絡(luò)方向，JQub 與圣母大學(xué)史弋宇教授，布法羅大學(xué)熊瑾珺教授，以及新墨西哥大學(xué)楊蕾助理教授合作。

　　并在《自然通訊》期刊，量子計(jì)算機(jī)周（QuantumWeek），嵌入式系統(tǒng)周（ESWEEK），以及計(jì)算機(jī)設(shè)計(jì)會(huì)議（ICCAD）上發(fā)表多篇文章，并進(jìn)行在線課程輔導(dǎo)（Tutorial）講座。

作者簡(jiǎn)介

[[432544]]

　　項(xiàng)目領(lǐng)導(dǎo)人姜煒文目前是喬治梅森大學(xué)助理教授。他于 2019 年獲重慶大學(xué)博士學(xué)位；2017 年到 2019 年，曾在匹茲堡大學(xué)電子和計(jì)算機(jī)工程系參與研究工作；2019-2021 年，曾在圣母大學(xué)做博士后研究助理。

　　博士期間，姜煒文在國際會(huì)議和主要期刊上發(fā)表了 50 多篇研究論文，其中包括 10 多篇 IEEE/ACM 會(huì)刊論文，他在硬件加速和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面的合作研究獲得了 IEEE TCAD 2021 最佳論文，以及 DAC’19，CODES+ ISSS’19 和 ASP-DAC’20 最佳論文提名。

　　他在神經(jīng)網(wǎng)絡(luò)和并行系統(tǒng)等方面的研究工作引起了業(yè)界的廣泛關(guān)注，得到了美國國家科學(xué)基金會(huì)國際自然科學(xué)聯(lián)合會(huì)的科研基金，與 IBM，F(xiàn)acebook、 Edgecortix inc. (日本/新加坡) 等公司開展了合作研究。