在剛剛結(jié)束的 IJCAI 2021 大會上，「深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)國際研討會(DeepIPR-IJCAI’21)」正式舉行，這場研討會由微眾銀行、馬來亞大學(xué)、香港科技大學(xué)、上海交通大學(xué)共同主辦。

機(jī)器學(xué)習(xí)，尤其是深度神經(jīng)網(wǎng)絡(luò)（DNN）技術(shù)，近年來在諸多領(lǐng)域取得了巨大成功，許多科技公司都將神經(jīng)網(wǎng)絡(luò)模型部署在商業(yè)產(chǎn)品中，提高效益。訓(xùn)練先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型需要大規(guī)模數(shù)據(jù)集、龐大的計算資源和設(shè)計者的智慧。這具體體現(xiàn)在：

（1）深度學(xué)習(xí)模型應(yīng)用的訓(xùn)練模型規(guī)模巨大，以 GPT-3 為例，其預(yù)訓(xùn)練所用的數(shù)據(jù)量達(dá)到 45TB，訓(xùn)練費用超過 1200 萬美元，有著極高的經(jīng)濟(jì)成本。

（2）深度學(xué)習(xí)模型在訓(xùn)練部署到工業(yè)應(yīng)用場景過程中（比如智慧金融，智慧醫(yī)療應(yīng)用），需要引入金融、醫(yī)療等領(lǐng)域?qū)Ｓ邢闰炛R，因此在模型設(shè)計過程就需要引入專家的知識和經(jīng)驗來訂制模型，這體現(xiàn)了人腦力的知識產(chǎn)權(quán)。

（3）深度學(xué)習(xí)模型的訓(xùn)練過程，需要特定領(lǐng)域的海量數(shù)據(jù)作為訓(xùn)練資源，存在數(shù)據(jù)本身價值和知識屬性。以上屬性決定了經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型具有很高的商業(yè)價值和知識屬性，必須將其納入合法所有者（即創(chuàng)建它的一方）的知識產(chǎn)權(quán)。因此，從技術(shù)上迫切需要保護(hù)深度神經(jīng)網(wǎng)絡(luò)（DNN）模型不被非法復(fù)制、重新分發(fā)或濫用。

深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)問題，是一個跨學(xué)科的綜合性議題，涉及計算機(jī)安全，人工智能理論與方法、知識產(chǎn)權(quán)保護(hù)、法律等諸多方面。深度學(xué)習(xí)模型的盜用、非法復(fù)制、分發(fā)等，攻擊者可以采用技術(shù)手段或者非技術(shù)手段；但要確認(rèn)盜用且聲明模型所有權(quán)，則是完全從技術(shù)端來提取證據(jù)，以便從法規(guī)的角度來認(rèn)證模型所有權(quán)。

具體而言，

（1）從計算機(jī)安全角度出發(fā)，技術(shù)手段需要采取密碼學(xué)可信的協(xié)議，來保證模型的知識產(chǎn)權(quán)驗證和發(fā)布過程是嚴(yán)密可信的；

（2）從人工智能理論方法角度出發(fā)，模型的所有權(quán)認(rèn)證技術(shù)需要保證不犧牲模型可用性前提下，提供可靠且魯棒的知識產(chǎn)權(quán)保護(hù)方法；

（3）在法規(guī)層面，從技術(shù)端對模型所有權(quán)提取證據(jù)之后，這些證據(jù)能成為模型所有權(quán)的依據(jù)。最終監(jiān)管方要通過法規(guī)的保護(hù)，來裁定模型所有者的知識產(chǎn)權(quán)，這需要相關(guān)法規(guī)來指導(dǎo)如何從技術(shù)判據(jù)，來判定模型所有權(quán)。據(jù)筆者所知，目前尚未有相關(guān)的立法具體到深度學(xué)習(xí)模型知識這一子領(lǐng)域，模型知識產(chǎn)權(quán)保護(hù)不僅需要科技工作者的參與，也需要知識產(chǎn)權(quán)保護(hù)領(lǐng)域工作者的關(guān)注和努力。

本次研討會定位于深度神經(jīng)網(wǎng)絡(luò)知識產(chǎn)權(quán)保護(hù)研究的前沿，展示研究機(jī)構(gòu)及高校實驗室在此領(lǐng)域進(jìn)行的最前沿的工作。分別來自德國、芬蘭、馬來西亞和中國的 8 位學(xué)者，就深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)問題，從算法、協(xié)議、安全等多個角度出發(fā)，分享了他們對模型知識產(chǎn)權(quán)保護(hù)的思考和工作。

在 Talk 1 中，南京航空航天大學(xué)的薛明富老師帶來了《DNN Intellectual Property Protection: Taxonomy, Attacks and Evaluations》的主題講座，他對深度學(xué)習(xí)模型保護(hù)方法進(jìn)行了分類性的總結(jié)，從模型場景、保護(hù)機(jī)制、保護(hù)能力、目標(biāo)模型等維度，對模型知識產(chǎn)權(quán)保護(hù)研究進(jìn)行了梳理，并且總結(jié)了針對已有的方法，存在的攻擊和挑戰(zhàn)，并給出了系統(tǒng)評估的相關(guān)建議。這場講座為模型保護(hù)領(lǐng)域總結(jié)了研究現(xiàn)狀和發(fā)展脈絡(luò)。

來自德國 Fraunhofer AISEC 研究院的 Franziska Boenisch，同樣針對神經(jīng)網(wǎng)絡(luò)水印技術(shù)分享了視角下的模型知識產(chǎn)權(quán)保護(hù)的綜述研究工作。Franziska 從神經(jīng)網(wǎng)絡(luò)水印技術(shù)的需求、算法應(yīng)用、威脅模型等角度回顧了現(xiàn)有的研究工作，以神經(jīng)網(wǎng)絡(luò)水印技術(shù)的可用性、魯棒性、可靠性、完整性等要求為主線，串聯(lián)回顧了已有的模型水印研究，指出了現(xiàn)有的研究存在幾大待解決的問題，包括缺乏主動保護(hù)機(jī)制，算法數(shù)據(jù)類型案例有限和司法保障和技術(shù)研究并軌。

作為深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)的資深研究者，畢業(yè)自馬來亞大學(xué)以及微眾銀行 AI 項目組算法研究員 Kam Woh Ng 分享了他所提出的用數(shù)字護(hù)照保護(hù)模型知識產(chǎn)權(quán)的方法。Kam Woh Ng 分析了神經(jīng)網(wǎng)絡(luò)模型知識產(chǎn)權(quán)保護(hù)的相關(guān)研究的最新進(jìn)展后發(fā)現(xiàn)，一種旨在通過偽造水印來對所有權(quán)驗證產(chǎn)生疑問的模糊攻擊，對多種基于水印的 DNN 所有權(quán)驗證方法對 DNN 的知識產(chǎn)權(quán)保護(hù)構(gòu)成了嚴(yán)重威脅。

針對上述安全漏洞，Kam Woh Ng 提出了一種新穎的基于數(shù)字護(hù)照的 DNN 所有權(quán)驗證方案，該方案既對網(wǎng)絡(luò)剪枝及微調(diào)等修改具有魯棒性，又能夠抵御模糊攻擊。嵌入數(shù)字護(hù)照的關(guān)鍵在于，以一種巧妙的方式設(shè)計和訓(xùn)練 DNN 模型，從而使原 DNN 的工作性能在使用偽造護(hù)照時大大降低。也就是說，真正的數(shù)字護(hù)照不僅可以依據(jù)預(yù)定義的數(shù)字簽名來進(jìn)行驗證，而且還可以根據(jù) DNN 模型的工作性能來認(rèn)定。Kam Woh Ng 詳細(xì)分享如何使用數(shù)字護(hù)照保護(hù) DNN 以及抵御模糊攻擊。

Kam Woh Ng 的 Passport 模型保護(hù)方法提供了一大類通用的模型保護(hù)思路，在本次研討會中，還有其他研究者也分享了模型水印方法具體應(yīng)用在圖像生成、圖像概述等模型中的工作。

來自馬來西亞馬來亞大學(xué)的 Ding Sheng Ong，針對圖像生成深度學(xué)習(xí)模型，分享了題為《Protecting Intellectual Property of Generative Adversarial Networks From Ambiguity Attacks（GAN 的知識產(chǎn)權(quán)保護(hù)方法）》的講座。

雖然目前已有用于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的 IPR 保護(hù)方法，但是卻不能直接使用在生成對抗網(wǎng)絡(luò)（GANs）——另一種被廣泛用于生成逼真圖像的深度學(xué)習(xí)模型。因此，本文提出了一種基于黑盒與白盒的 GAN 模型 IPR 保護(hù)方法。實驗結(jié)果表明，本方法并不會損害 GAN 本來的性能（如圖像生成、圖像超分辨率以及樣式轉(zhuǎn)換）。本方法也能夠抵御去除嵌入的水?。╮emoval）和模糊（ambiguity）攻擊。分享中解說了如何基于黑盒與白盒的方式保護(hù)對抗生成網(wǎng)絡(luò)（GANs），以及如何抵御各種水印攻擊。

來自馬來西亞馬來亞大學(xué)的 Jian Han Lim, 針對圖像標(biāo)注（image caption）神經(jīng)網(wǎng)絡(luò)模型，帶來了題為《Protect, Show, Attend and Tell: Empower Image Captioning Model with Ownership Protection》的分享。Jian Han Lim 指出，現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)知識產(chǎn)權(quán) (IPR) 保護(hù)通常 i) 僅專注于圖像分類任務(wù)，以及 ii) 遵循標(biāo)準(zhǔn)的數(shù)字水印框架，該框架通常用于保護(hù)多媒體和視頻內(nèi)容的所有權(quán)。Jian Han Lim 論證了當(dāng)前的數(shù)字水印框架不足以保護(hù)通常被視為人工智能前沿之一的圖像標(biāo)注任務(wù)。作為補(bǔ)充，本文研究并提出了在循環(huán)神經(jīng)網(wǎng)絡(luò)中的兩種不同簽名水印嵌入方案。從理論和經(jīng)驗的角度來看，其證明偽造的密鑰會產(chǎn)生無法使用的圖像標(biāo)注模型，從而阻止了侵權(quán)的違規(guī)行為。該工作是第一個對圖像字幕任務(wù)提出所有權(quán)保護(hù)的工作。此外，大量實驗表明，所提出的方法不會影響 Flickr30k 和 MS-COCO 數(shù)據(jù)集上所有通用字幕指標(biāo)的原始圖像標(biāo)注任務(wù)性能，同時它能夠承受去除攻擊和歧義攻擊。

針對深度學(xué)習(xí)常見任務(wù)和模型，已有上述所示多種神經(jīng)網(wǎng)絡(luò)保護(hù)算法案例提供算法支撐。那么如何設(shè)計可行的通信協(xié)議，指導(dǎo)模型所有權(quán)驗證的實際執(zhí)行？

來自上海交通大學(xué)的李方圻針對模型所有權(quán)驗證的場景、協(xié)議和前景進(jìn)行了題為《Regulating Ownership Verification for Deep Neural Networks: Scenarios, Protocols, and Prospects》的分享。

李方圻介紹說，隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，將其作為知識產(chǎn)權(quán)加以保護(hù)的必要性變得顯而易見，研究者已經(jīng)提出了許多水印方案來識別深度神經(jīng)網(wǎng)絡(luò)的所有者并驗證所有權(quán)。然而，大多數(shù)研究都專注于水印嵌入而不是可證明驗證的協(xié)議，為了彌合這些建議與現(xiàn)實世界需求之間的差距，李方圻介紹了三種場景下的深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)：所有權(quán)證明、聯(lián)邦學(xué)習(xí)和知識產(chǎn)權(quán)轉(zhuǎn)移，展示了已建立的密碼原語和人工智能設(shè)置之間的結(jié)合，這可以構(gòu)成實用且可證明的機(jī)器學(xué)習(xí)安全性的基礎(chǔ)。

已有的深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)方法主要著眼于深度神經(jīng)網(wǎng)絡(luò)水印的算法實踐和魯棒性挑戰(zhàn)，目前沒有把模型水印算法實踐到分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練的研究。來自上海交通大學(xué)以及微眾銀行 AI 項目組的李博聞帶來了題為《聯(lián)邦深度學(xué)習(xí)模型所有權(quán)保護(hù)》的講座：考慮一個不完全信任的聯(lián)邦學(xué)習(xí)系統(tǒng)中，假定各參與方能夠按照聯(lián)邦法則來進(jìn)行模型更新和協(xié)同訓(xùn)練，但彼此不泄露私有本地數(shù)據(jù)和私密簽名。在這種設(shè)定下，李博聞闡述了一種新穎的聯(lián)合深度神經(jīng)網(wǎng)絡(luò) (FedDNN) 所有權(quán)驗證方案，該方案允許嵌入和驗證所有權(quán)簽名，以聲明 FedDNN 模型的合法知識產(chǎn)權(quán) (IPR)，以防模型被非法復(fù)制、重新分發(fā)或濫用 . 嵌入式所有權(quán)簽名的有效性在理論上是通過證明的條件來證明的，在這種條件下，簽名可以被多個客戶端嵌入和檢測，而無需公開私人簽名。

最后，來自芬蘭 Aalto 大學(xué)的 Buse Atli 帶來了題為《Model Stealing and Ownership Verification of Deep Neural Networks》的綜合性分享。最近的一些工作表明，從技術(shù)的層面，人們暫時無法完全阻止深度學(xué)習(xí)模型竊取攻擊，不同的模型竊取檢測預(yù)防機(jī)制要么無法對抗強(qiáng)大的敵手，要么對模型性能和良性用戶的效用產(chǎn)生負(fù)面影響。因此，模型所有者可以通過證明被盜模型的所有權(quán)來減少此類攻擊的動機(jī)，而不是防止模型被竊取本身。已經(jīng)提出的各種模型水印方案被廣泛用于可靠的所有權(quán)驗證，水印深度神經(jīng)網(wǎng)絡(luò)（DNN）引起了學(xué)術(shù)界相當(dāng)大的研究興趣（尤其是在圖像分類方面），因為深度學(xué)習(xí)模型水印易于部署并且對模型性能的影響可以忽略不計。并且，學(xué)術(shù)界針對 DNN 水印技術(shù)提出了許多不同的攻擊方法，從而對其魯棒性提出了質(zhì)疑。

在本次演講中，Buse 介紹了針對不同模型竊取攻擊、動態(tài)對抗性水印 (DAWN) 作為對模型竊取的威懾以及聯(lián)邦學(xué)習(xí)中模型水印技術(shù) (WAFFLE) 的相關(guān)工作，以根據(jù)不同的安全和隱私要求對這些方法進(jìn)行分析。

聚集頂尖學(xué)者，關(guān)注深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)領(lǐng)域，DeepIPR-IJCAI’21已成為全球模型保護(hù)領(lǐng)域最前沿的學(xué)術(shù)動態(tài)窗口。以科技手段解決時代難題，多位行業(yè)領(lǐng)軍者的干貨分享，一定能夠成為當(dāng)下時代模型知識產(chǎn)權(quán)保護(hù)領(lǐng)域最有力的助推器。

講座視頻回顧及更多信息可查看研討會官網(wǎng)或者B站

• 官網(wǎng)：http://federated-learning.org/DeepIPR-IJCAI-2021/
• B站：https://www.bilibili.com/video/BV1PP4y1W7nS