神經網絡+量子計算機?華人學者開源首個量子計算協(xié)同設計框架
近日,由圣母大學姜煒文博士后,史弋宇教授和 IBM 研究院 Jinjun Xiong 博士開展的研究,實現(xiàn)了首個機器學習和量子計算協(xié)同設計框架,QuantumFlow,為神經網絡在量子計算機上的實現(xiàn)鋪平了道路。
QuantumFlow 框架能夠自動地完成神經網絡到 IBM 量子計算機的部署。
原文鏈接: https://arxiv.org/pdf/2006.14815.pdf
神經網絡加速迎來新玩家
量子計算機是一種使用量子邏輯進行通用計算的設備,使用量子比特進行數據存儲,使用量子算法來進行數據操作。
量子計算研究可以追溯到 19 世紀 60 年代,在 2016 誕生了首臺可編 程量子計算機。IBM 于 2019 年 1 月展示了商業(yè)化量子計算機 IBM Q,并預測將于 20 世紀 20 年代獲得量子優(yōu)勢:針對真實的應用場景,展現(xiàn)出量子計算超越經典計算的能力。
圖 1: 量子優(yōu)勢之路:從 19 世紀 60 年代的量子科學,2016 年進入量子準備階段,20 世紀 20 年代將進入量子優(yōu)勢階段以利用量子計算機解決實際問題 (Source: IBM)
圖 2: 神經網絡硬件加速器迎來新成員:量子計算機
深度神經網絡是當下計算應用中發(fā)展最快,使用最廣的機器學習算法。如圖2所示,深度神經網絡加速器,已經在通用處理器(CPU,GPU)以及專用加速器(FPGA,ASIC)上得到廣泛研究。
然而,隨著應用不斷復雜化導致網絡結構不斷擴大,存儲性能瓶頸已逐漸凸顯。在傳統(tǒng)計算平臺上,N 個數字比 特只能表示 1 個 N 位數據,然而在量子計算中,M 個量子比特卻同時能表示 2^M 個數據,并能同時操作這些數據。
量子計算機如此強大的存儲與計算能力,使其擁有巨大潛能打破神經網絡在傳統(tǒng)計算平臺上的性能瓶頸,獲取量子優(yōu)勢。
首個量子計算協(xié)同設計框架,讓你的神經網絡飛起來
如何在深度學習領域獲取量子優(yōu)勢還面臨諸多挑戰(zhàn),其中第一個障礙便是缺少一個協(xié)同設計神經網 絡與量子線路的自動化工具。
現(xiàn)有工作或是嘗試直接將針對傳統(tǒng)計算系統(tǒng)設計的神經網絡映射到量子計算機,或是直接設計量子神經網絡。
然而這樣的獨立設計很難發(fā)揮量子計算機的優(yōu)勢(例如實數乘法會引入過多量子比特,帶來巨大開銷)。根本原因是缺乏一個協(xié)同設計的工具,該工作填補了這一空白,提出了第一個神經網絡/量子計算協(xié)同設計框架,QuantumFlow。
圖3 QuantumFlow 協(xié)同設計框架
如圖 3所示,QuantumFlow 框架包括四個組件:
網絡模型設計器 QF-Net:其利用隨機變量對輸入實數數據進行表示,能夠自然地利用量子狀態(tài)進行表示,并實現(xiàn)隨機變量的運算。該設計器提出了便于量子線路實現(xiàn)的基本運算操作,包括向量的線性、非線性運算與批標準化操作。
量子線路設計器 QF-Circ:針對 QF-Net 中每一個運算操作,設計了對應的量子線路實現(xiàn)。
前向反向傳播器 QF-FB:提供在傳統(tǒng)計算平臺高效的前向后向傳播實現(xiàn),以為支持高效地 QF-Net 模型訓練。
網絡映射 QF-Map:根據依靠 QF-FB 訓練得到的 QF-Net 模型,將首先進行網絡-線路映射,建立 QF-Net 對應的量子線路 QF-Circ;進而進行虛擬-物理量子比特映射,部署 QF-Net 到量子計 算機。在進行虛擬-物理量子比特映射時,將考慮量子計算機的錯誤率,以提高模型精度。
基于 QF-FB 在傳統(tǒng)計算機上的模擬結果展示了 QF-Net 的有效性。如圖 4所示,針對量子計算設計的 QF-Net 獲取比具有相同結構的針對傳統(tǒng)計算系統(tǒng)的多層感知器 MLP(C) 更高的精度。
圖 4: QF-Net 在 MNIST 數據集子集:{3,6}, {3,8}, {1,3,6},上獲取最高精度
具有批標準化操作的 QF-Net(w/ BN) 在識別數字 3,6 中獲得 97.01% 的準確率,比現(xiàn)目前最新的針對量子計算設 計的 FFNN 網絡,提升了 14.55% 的準確率。
圖 5展示了一個二值分類示例。QuantumFlow 通過 QF-FB 訓練得到網絡如圖 5(b) 所示,根據 QF-Map,將 QF-Net 首先映射到 QF-Circ 上,如圖 5(C) 所示,進而根據 IBM 量子計算機 ibmq_essex 的錯誤率 (圖 5(d)),QF-Map 將 QF-Net 映射到物理量子比特上,并對 100 組輸入數據進行分類。在量子計算機上所獲取的結果如圖 5(h) 所示。
圖 5: 二值分類示例,在 IBM 包含 5 個量子比特的量子計算機 “ibmq_essex” 上,獲取了 82% 的精度。
圖 5(e) 展示了有 QF-FB 在傳統(tǒng)計算系統(tǒng)上獲得的標準結果,圖 5(f) 展示了使用 IBM Qiskit Aer 模擬進行 QF-FB 的結果,其準確度達到 98%。而圖 5(g) 展示了不采用 QF-Map 而采用 IBM Qikist 自帶編譯器進行映射所得到的結果,正確率僅為 68%。最后,使用 QF-Map 可以將正確率提升至 82%。
該實驗展示了量子計算實現(xiàn)神經網絡的可能性,盡管 IBM 量子計算機的錯誤率在 10^−2 量級(相較于數字電路的 10^−15 錯誤率),通過 QuantumFlow 協(xié)同設計的神經網絡量子計算系統(tǒng)已經能夠對數據進行有效地分類處理。結果展示了 QuantumFlow 的有效性。
QuantumFlow 將于近期開源,詳細信息請關注 https://wjiang.nd.edu/categories/qf/。
作者簡介
論文第一作者姜煒文目前是圣母大學的博士后研究助理。2019年獲重慶大學博士學位。2017年到2019年,曾在匹茲堡大學電子和計算機工程系參與研究工作。
博士期間,姜煒文在國際會議和主要期刊上發(fā)表了50多篇研究論文,其中包括10多篇 IEEE/ACM 會刊論文,他在硬件加速和神經網絡結構方面的合作研究獲得了 DAC’19,CODES+ ISSS’19和 ASP-DAC’20最佳論文提名。
他在神經網絡和并行系統(tǒng)等方面的研究工作引起了業(yè)界的廣泛關注,得到了美國國家科學基金會國際自然科學聯(lián)合會的科研基金,與 Facebook、 Edgecortix inc. (日本/新加坡)等公司開展了合作研究,并在過去一年中,獲得了超過$250K的研究基金資助。
姜煒文曾在2015年「NVMSA」及2017年「ICCD」中獲得兩項最佳論文獎,并在2016年「 ASP-DAC 」、2019年「 DAC 」、2019年「 CODES+ISSS 」及2020年「 ASP-DAC 」中獲得四項最佳論文提名。
深度學習的進步很大程度上依賴算力,而現(xiàn)在傳統(tǒng)硬件的算力增長已經趕不上超級人工智能的需求,如果神經網絡能無縫遷移到量子計算機,像數據從CPU移到GPU中一樣,將是人工智能科學家們的福音。