[[374480]]

在12月31日， 智源研究院發(fā)布了2020年十大AI進(jìn)展 。新的一年，人工智能又將走向何處？

2021年開年，全體智源學(xué)者經(jīng)過深入研討，從人工智能的基礎(chǔ)理論、算法、類腦計算、算力支撐等方面進(jìn)行預(yù)測，提出2021年人工智能十大技術(shù)趨勢，共同展望人工智能的未來發(fā)展方向。

我們相信，隨著人工智能技術(shù)的逐漸成熟，將能夠更好地幫助人類應(yīng)對后疫情時代的各種不確定性，助力構(gòu)建充滿希望與變化的世界。

趨勢1：科學(xué)計算中的數(shù)據(jù)與機理融合建模

趨勢2：深度學(xué)習(xí)理論迎來整合與突破

趨勢3：機器學(xué)習(xí)向分布式隱私保護(hù)方向演進(jìn)

趨勢4：大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法進(jìn)一步發(fā)展

趨勢5：基于因果學(xué)習(xí)的信息檢索模型與系統(tǒng)成為重要發(fā)展方向

趨勢6：類腦計算系統(tǒng)從“專用”向“通用”逐步演進(jìn)

趨勢7：類腦計算從散點獨立研究向多點迭代發(fā)展邁進(jìn)

趨勢8：神經(jīng)形態(tài)硬件特性得到進(jìn)一步的發(fā)掘并用于實現(xiàn)更為先進(jìn)的智能系統(tǒng)

趨勢9：人工智能從腦結(jié)構(gòu)啟發(fā)走向結(jié)構(gòu)與功能啟發(fā)并重

趨勢10：人工智能計算中心成為智能化時代的關(guān)鍵基礎(chǔ)設(shè)施

下面是十大趨勢概要介紹，關(guān)注「智源研究院」公眾號，后臺回復(fù)「2021趨勢」即可下載報告全文：

趨勢1：科學(xué)計算中的數(shù)據(jù)與機理融合建模

機器學(xué)習(xí)與科學(xué)計算的結(jié)合，即數(shù)據(jù)和機理的融合計算，為科學(xué)研究提供了新的手段和范式，成為了前沿計算的典型代表。從機理出發(fā)的建模以基本物理規(guī)律為出發(fā)點進(jìn)行演繹，追求簡潔與美的表達(dá)；從數(shù)據(jù)出發(fā)的建模從數(shù)據(jù)中總結(jié)規(guī)律，追求在實踐中的應(yīng)用效果。這兩方面的建模方法都在科學(xué)史中發(fā)揮了重要作用。

近年來，科學(xué)計算發(fā)展的一個重要趨勢是由單純基于機理或數(shù)據(jù)的范式向數(shù)據(jù)與機理的融合建模與計算發(fā)展。眾多前沿科學(xué)領(lǐng)域中的許多重要問題常常涉及多個發(fā)生在不同時空尺度上相互耦合的物理過程，具有高度的各向異性、奇異性、非均勻性以及不確定性等特征。人類只能知道部分原理和數(shù)據(jù)，此時機理與數(shù)據(jù)結(jié)合的方式將成為研究這些問題的有力手段。

趨勢2：深度學(xué)習(xí)理論迎來整合與突破

深度學(xué)習(xí)在應(yīng)用領(lǐng)域取得了令人矚目的成功，但其理論基礎(chǔ)仍十分薄弱，研究者對深度學(xué)習(xí)為何表現(xiàn)出比傳統(tǒng)機器學(xué)習(xí)方法更優(yōu)越的性能背后存在的機理尚不清楚。深度學(xué)習(xí)的理論分析需要從數(shù)學(xué)、統(tǒng)計和計算的不同角度，以及表示能力、泛化能力、算法收斂性和穩(wěn)定性等多個方面進(jìn)行探索和創(chuàng)新。當(dāng)前對深度學(xué)習(xí)理論碎片式的理解，將進(jìn)一步迎來整合與突破，從對淺層網(wǎng)絡(luò)和局部性質(zhì)的理解向深度網(wǎng)絡(luò)和全局性質(zhì)不斷深化，最終能夠完整解答關(guān)于深度學(xué)習(xí)能力與極限的重大理論問題。

趨勢3：機器學(xué)習(xí)向分布式隱私保護(hù)方向演進(jìn)

當(dāng)前，全球多個國家和地區(qū)已出臺數(shù)據(jù)監(jiān)管法規(guī)，如HIPAA（美國健康保險便利和責(zé)任法案）、GDPR（歐盟通用數(shù)據(jù)保護(hù)條例）等，通過嚴(yán)格的法規(guī)限制多機構(gòu)間隱私數(shù)據(jù)的交互。分布式隱私保護(hù)機器學(xué)習(xí)通過加密、分布式存儲等方式保護(hù)機器學(xué)習(xí)模型訓(xùn)練的輸入數(shù)據(jù)，是打破數(shù)據(jù)孤島、完成多機構(gòu)聯(lián)合訓(xùn)練建模的可行方案。

趨勢4：大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法進(jìn)一步發(fā)展

GPT-3的出現(xiàn)激發(fā)了研究人員在視覺等更廣泛的范圍內(nèi)，對大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法繼續(xù)開展探索和研究，未來，基于大規(guī)模圖像、語音、視頻等多模態(tài)數(shù)據(jù)，以及跨語言的自監(jiān)督預(yù)訓(xùn)練模型將進(jìn)一步發(fā)展，研究人員也將持續(xù)探索解決當(dāng)前大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認(rèn)知能力等問題的方法。

趨勢5：基于因果學(xué)習(xí)的信息檢索模型與系統(tǒng)成為重要發(fā)展方向

人工智能算法是推薦系統(tǒng)、搜索引擎等智能信息檢索系統(tǒng)的核心技術(shù)，深刻地影響著億萬互聯(lián)網(wǎng)產(chǎn)品用戶的工作和生活。當(dāng)前基于人工智能算法的信息檢索模型大多關(guān)注給定數(shù)據(jù)中變量間相關(guān)性的建立，而相關(guān)性與更為本源的因果關(guān)系并不等價，導(dǎo)致當(dāng)前信息檢索的結(jié)果存在較為嚴(yán)重的偏差，對抗攻擊的能力不佳，且模型往往缺乏可解釋性。

趨勢6：類腦計算系統(tǒng)從“專用”向“通用”逐步演進(jìn)

以類腦計算芯片為核心的各種類腦計算系統(tǒng)，在處理某些智能問題以及低功耗智能計算方面正逐步展露出優(yōu)勢。但從設(shè)計方法角度看，類腦芯片往往根據(jù)目標(biāo)應(yīng)用要求通過歸納法來確定其硬件功能與接口，并定制化工具鏈軟件，導(dǎo)致軟硬件緊耦合、目標(biāo)應(yīng)用范圍受限等問題。

類腦計算芯片設(shè)計將從現(xiàn)有處理器的設(shè)計方法論及其發(fā)展歷史中汲取靈感，在計算完備性理論基礎(chǔ)上結(jié)合應(yīng)用需求實現(xiàn)完備的硬件功能。同時類腦計算基礎(chǔ)軟件將整合已有類腦計算編程語言與框架，提出與具體芯片無關(guān)的高層次編程抽象與統(tǒng)一開發(fā)框架，針對目標(biāo)芯片研發(fā)類腦計算編譯優(yōu)化與映射優(yōu)化技術(shù)，實現(xiàn)類腦計算系統(tǒng)從“專用”向“通用”的逐步演進(jìn)。

趨勢7：類腦計算從散點獨立研究向多點迭代發(fā)展邁進(jìn)

類腦計算在諸多方面已經(jīng)取得了大量基礎(chǔ)性研究成果，但目前的研究仍呈現(xiàn)相對獨立狹窄的縱向分布特點，尚未形成相互促進(jìn)的橫向貫通局面。未來的類腦計算將更加注重在單點獨立研究的同時與其他層面研究的結(jié)合，推動類腦計算的基礎(chǔ)理論算法、芯片硬件平臺、評估測試基準(zhǔn)、編程編譯工具以及系統(tǒng)應(yīng)用的相互協(xié)同和促進(jìn)，構(gòu)建更具全棧性的類腦計算迭代發(fā)展生態(tài)，進(jìn)入良性前進(jìn)的軌道。

趨勢8：神經(jīng)形態(tài)硬件特性得到進(jìn)一步的發(fā)掘并用于實現(xiàn)更為先進(jìn)的智能系統(tǒng)

新型神經(jīng)形態(tài)器件，如RRAM（可變電阻式存儲器）、PCM（相變存儲器）等，目前已經(jīng)在人工智能領(lǐng)域發(fā)揮了重大作用，基于這些器件構(gòu)建的智能硬件系統(tǒng)已經(jīng)能夠有效地提升智能算法執(zhí)行的速度和能效，并保持算法的性能。

然而當(dāng)前大部分硬件智能系統(tǒng)僅僅利用了神經(jīng)形態(tài)器件的部分特性，如非易失性、線性等，缺乏對器件更豐富特性，如易失性、非線性、隨機性等特性的應(yīng)用。通過對器件的全面探究，下一代智能系統(tǒng)將會把算法的各種需求同器件的豐富特性緊密結(jié)合起來，從而進(jìn)一步拓展智能系統(tǒng)的功能和應(yīng)用范圍，提升系統(tǒng)的性能和效率。

趨勢9：人工智能從腦結(jié)構(gòu)啟發(fā)走向結(jié)構(gòu)與功能啟發(fā)并重

腦啟發(fā)的人工智能在強調(diào)對腦結(jié)構(gòu)和神經(jīng)形態(tài)模仿的同時，還需要了解人類神經(jīng)元和神經(jīng)回路的功能與機制。這是因為腦結(jié)構(gòu)與腦功能并不存在簡單的一一對應(yīng)的關(guān)系，即類似的結(jié)構(gòu)可能有著不同的功能。

例如，作為古老結(jié)構(gòu)的海馬體在人和動物的大腦上有著類似的結(jié)構(gòu)，但是它們采用了不同的記憶編碼方式。動物的海馬體在編碼記憶時，采用的是“模式分離”的方式，即神經(jīng)元形成不同的神經(jīng)元群組來存儲記憶，以避免記憶的混淆。但是，人類的海馬體則采用了“概念和聯(lián)想”的編碼方式，即同樣的一組神經(jīng)元可以儲存多個不同的記憶。人類這種獨特的記憶編碼方式可能是人類智能脫穎而出的一個關(guān)鍵因素，有助于解釋人類相比于其它物種所具備的獨特的認(rèn)知能力，如人類的抽象思維能力和創(chuàng)造性思維能力。

趨勢10：人工智能計算中心成為智能化時代的關(guān)鍵基礎(chǔ)設(shè)施

近年來，人工智能對算力的需求迅猛增長，并成為最重要的計算算力資源需求之一。AI計算是智能時代發(fā)展的核心動力，以人工智能算力為主的人工智能計算中心應(yīng)運而生。