本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

隨著深度學(xué)習(xí)的流行，可以說(shuō)整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域在 2010 年代迎來(lái)了爆發(fā)式的增長(zhǎng)，科研人員、學(xué)生、論文數(shù)量、商業(yè)應(yīng)用、投資金額都是。不過(guò)，整個(gè)機(jī)器學(xué)習(xí)生態(tài)仍然面臨著數(shù)據(jù)收集、系統(tǒng)魯棒性、能源消耗、深度學(xué)習(xí)理論不清晰等等問(wèn)題。

2020 年已經(jīng)來(lái)了，在這一年中，機(jī)器學(xué)習(xí)領(lǐng)域的知名學(xué)者們都有什么期待呢？吳恩達(dá)的 DeepLearning.ai 和《The Batch》雜志一起詢問(wèn)了包括 Yann LeCun、李開(kāi)復(fù)、David Patterson、周志華在內(nèi)的多位學(xué)者，雷鋒網(wǎng) AI 科技評(píng)論以此為主要內(nèi)容編譯如下。

斯坦福大學(xué)計(jì)算機(jī)科學(xué)和電子工程助理教授 Chelsea Finn：期待泛化能力更好的機(jī)器人

[[312011]]

人工智能領(lǐng)域的很多人都很在意做出值得吹捧的結(jié)果，比如造出一個(gè)會(huì)下圍棋或者會(huì)玩電腦游戲的 AI。這種成果的復(fù)雜度確實(shí)令人欽佩，但這也很容易讓我們忽視了智力中非常重要的另外一個(gè)維度：泛化能力，就是能處理許多不同的任務(wù)、能應(yīng)對(duì)很多不同環(huán)境的能力。對(duì)于 2020 年，我希望能出現(xiàn)一些新方法，幫助我們構(gòu)建泛化能力更好的模型。

我自己的研究中就會(huì)通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練機(jī)器人，讓它們能理解自己的行為是如何影響所在環(huán)境的。比如，我會(huì)訓(xùn)練機(jī)器人與多種不同的物體互動(dòng)，目標(biāo)是完成多種不同的任務(wù)，有時(shí)候是把東西裝進(jìn)盒子里，有時(shí)候是把垃圾掃進(jìn)簸箕。但用強(qiáng)化學(xué)習(xí)訓(xùn)練實(shí)現(xiàn)這些目標(biāo)其實(shí)挺難的。

在監(jiān)督學(xué)習(xí)中，在 ImageNet 數(shù)據(jù)集的一千四百萬(wàn)張圖像上訓(xùn)練一個(gè)圖像識(shí)別器，總會(huì)得到一定程度的泛化性。在強(qiáng)化學(xué)習(xí)中，一個(gè)模型的學(xué)習(xí)方式是和環(huán)境互動(dòng)，然后它在這個(gè)過(guò)程中逐步地收集越來(lái)越多的數(shù)據(jù)。我們已經(jīng)了習(xí)慣了在 ImageNet 上訓(xùn)練出的模型有不錯(cuò)的泛化水平，但以當(dāng)前的技術(shù)，如果想要讓強(qiáng)化學(xué)習(xí)模型也達(dá)到這樣的泛化水平，我們就需要讓每個(gè)新模型都收集 ImageNet 那樣規(guī)模的數(shù)據(jù)集。這就是基本做不到的了。

如果我們希望強(qiáng)化學(xué)習(xí)訓(xùn)練出的系統(tǒng)有好的泛化能力，我們就需要設(shè)計(jì)能從離線的數(shù)據(jù)集中學(xué)習(xí)的智能體，而不是只能邊探索環(huán)境邊收集數(shù)據(jù)。而且我們還希望預(yù)收集的數(shù)據(jù)集也能逐步更新，反映出環(huán)境或者世界的變化，就像 ImageNet 從最初的一百萬(wàn)張圖像變成了如今的一千四百萬(wàn)張一樣。

有一些變化已經(jīng)開(kāi)始發(fā)生了。比如，在一些研究中，機(jī)器人可以從它們的自己的環(huán)境交互+人類(lèi)引導(dǎo)機(jī)械臂的動(dòng)作演示中學(xué)習(xí)如何把新物體當(dāng)作工具使用；我們也在嘗試如何利用其它來(lái)源的數(shù)據(jù)，比如我們采集了一個(gè)大的機(jī)器人互動(dòng)數(shù)據(jù)集，里面有來(lái)自四個(gè)不同研究機(jī)構(gòu)的、七種不同機(jī)器人平臺(tái)的數(shù)據(jù)。

看到有很多研究人員都在想方設(shè)法提高強(qiáng)化學(xué)習(xí)的泛化性。如果我們能解決這些挑戰(zhàn)，我們的機(jī)器人距離「在真實(shí)世界中智慧地行動(dòng)」這個(gè)目標(biāo)就更近了一步，而不是像現(xiàn)在這樣，只能在實(shí)驗(yàn)室里做一些「仿佛有智慧的事」。

紐約大學(xué)教授、FB 首席 AI 科學(xué)家、2018 圖靈獎(jiǎng)得主 Yann LeCun：繼續(xù)期待自監(jiān)督學(xué)習(xí)

[[312012]]

人類(lèi)可以只花 20 個(gè)小時(shí)就基本學(xué)會(huì)安全地駕駛汽車(chē)，而當(dāng)前的模仿學(xué)習(xí)算法學(xué)開(kāi)車(chē)需要數(shù)十萬(wàn)小時(shí)，強(qiáng)化學(xué)習(xí)算法學(xué)開(kāi)車(chē)甚至需要數(shù)百萬(wàn)小時(shí)，這是怎么回事呢？顯然我們忽視了什么重要的事情。

人類(lèi)能高效地學(xué)習(xí)，似乎是因?yàn)槲覀冾^腦中就有一個(gè)關(guān)于這個(gè)世界的模型。剛出生的嬰兒幾乎不知道怎么和世界互動(dòng)，但是只需要幾個(gè)月的時(shí)間他們就能通過(guò)觀察明白很多背景知識(shí)。顯然我們大腦中的很大一部分都是用來(lái)理解這個(gè)世界的結(jié)構(gòu)、預(yù)測(cè)我們無(wú)法直接觀察的事情的（可能時(shí)間上在未來(lái)，可能空間上有遮擋）。

在我看來(lái)，這意味著 AI 的未來(lái)發(fā)展之路應(yīng)當(dāng)是「自監(jiān)督學(xué)習(xí)」。它很像監(jiān)督學(xué)習(xí)，但它要做的不是讓系統(tǒng)學(xué)習(xí)樣本到標(biāo)簽的分類(lèi)關(guān)系，而是把樣本的一部分遮起來(lái)、讓模型觀察不到，然后讓它預(yù)測(cè)觀察不到的那部分。比如我們把一個(gè)視頻里的某個(gè)片段抽走，然后訓(xùn)練機(jī)器根據(jù)前后的內(nèi)容把這一段重新補(bǔ)出來(lái)。

這種方法最近在自然語(yǔ)言理解領(lǐng)域特別的有效，BERT、RoBERTa、XLNet、XLM 等等模型都是用自監(jiān)督學(xué)習(xí)的思路，預(yù)測(cè)成段文本中缺失的詞，從而訓(xùn)練出來(lái)的。這些模型在所有重要的語(yǔ)言任務(wù)中都取得了優(yōu)秀的分?jǐn)?shù)。對(duì)于 2020 年，我希望自監(jiān)督的方法可以從視頻和圖像中學(xué)習(xí)特征。有沒(méi)有可能在視頻這種高維連續(xù)數(shù)據(jù)上也發(fā)生類(lèi)似的革命呢？

有一個(gè)關(guān)鍵的挑戰(zhàn)是處理不確定性。BERT 這樣的模型沒(méi)辦法確定句子里缺的那個(gè)賓語(yǔ)是「貓」還是「狗」，但是它們可以生成一個(gè)概率分布。但針對(duì)圖像和視頻中的幀，目前我們還沒(méi)有好的模型可以生成一個(gè)概率分布。不過(guò)近期的研究已經(jīng)距離這個(gè)目標(biāo)越來(lái)越近了，很有可能要不了多久我們就能找到了。到時(shí)候我們只需要很少的訓(xùn)練樣本就可以讓模型預(yù)測(cè)視頻中的動(dòng)作，那會(huì)成為 AI 領(lǐng)域非常激動(dòng)人心的一年。

創(chuàng)新工場(chǎng)董事長(zhǎng) & CEO 李開(kāi)復(fù)：期待 AI 隨處可見(jiàn)

[[312013]]

人工智能已經(jīng)從探索發(fā)現(xiàn)的時(shí)代進(jìn)入了落地應(yīng)用的時(shí)代。我們投資了諸多 AI 項(xiàng)目，大部分都在中國(guó)，如今已經(jīng)可以看到銀行、金融、交通、物流、超市、餐館、倉(cāng)儲(chǔ)、工廠、學(xué)校、藥物研發(fā)等許多領(lǐng)域都有大規(guī)模的 AI 及自動(dòng)化的應(yīng)用。不過(guò)，如果從經(jīng)濟(jì)總體來(lái)看，開(kāi)始使用 AI 的企業(yè)只有很小的比例。這里還有很大的增長(zhǎng)空間。

我相信，在人類(lèi)科技發(fā)展進(jìn)步的歷史中，AI 的發(fā)明將會(huì)和電的發(fā)明一樣重要。在未來(lái)的一二十年中，AI 將會(huì)越來(lái)越多地滲入到我們的個(gè)人生活和工作中，帶來(lái)更高的效率，也帶來(lái)更智慧的體驗(yàn)。企業(yè)、機(jī)構(gòu)、政府都應(yīng)當(dāng)全面擁抱 AI，推動(dòng)社會(huì)進(jìn)步。

我最覺(jué)得激動(dòng)的是 AI 在醫(yī)療保健和教育方面的影響。這兩個(gè)領(lǐng)域都隨時(shí)等待著 AI 進(jìn)入，而且可以用 AI 做許多好事。

我們投資的企業(yè)里有一家是用 AI 和大數(shù)據(jù)來(lái)優(yōu)化供應(yīng)鏈的，效果是為超過(guò) 150 萬(wàn)生活在農(nóng)村的中國(guó)人緩解了藥物短缺問(wèn)題。我們也投資了結(jié)合深度學(xué)習(xí)和生成式化學(xué)的力量進(jìn)行藥物研發(fā)的企業(yè)，這種做法能把新藥發(fā)現(xiàn)的時(shí)間縮短到原來(lái)的三分之一甚至四分之一。

在教育領(lǐng)域，我們也看到有企業(yè)在開(kāi)發(fā)基于 AI 的方法來(lái)幫學(xué)生改進(jìn)英文發(fā)音、批改試卷和作業(yè)、以及把數(shù)學(xué)的學(xué)習(xí)過(guò)程游戲化、個(gè)人定制化。這可以把老師從日常的任務(wù)中解放出來(lái)，讓他們可以把更多時(shí)間精力花在新時(shí)代的學(xué)生身上，建立有啟發(fā)、鼓勵(lì)作用的師生關(guān)系。

我希望在 2020 年以及未來(lái)的幾年里看到更多的創(chuàng)業(yè)者和企業(yè)家開(kāi)始用 AI 做有益的事情。

谷歌 TPU 團(tuán)隊(duì)、2017 年圖靈獎(jiǎng)得主、斯坦福大學(xué)退休教授 David Patterson：激烈競(jìng)爭(zhēng)帶來(lái)更快的 AI 芯片

[[312014]]

投資在新型 AI 硬件開(kāi)發(fā)上的數(shù)十億美元資金將在 2020 年看到早期成果。谷歌在 2017 年開(kāi)發(fā)出的 TPU 為自己節(jié)省了大量運(yùn)算成本，然后在接下來(lái)的兩三年中我們看到阿里巴巴、Cerebras、Graphcore、Habana、英特爾等許多企業(yè)都開(kāi)始研發(fā)自己的 AI 芯片。這些芯片會(huì)慢慢地進(jìn)駐到科研實(shí)驗(yàn)室和企業(yè)數(shù)據(jù)中心里。我希望 AI 大家庭能盡量利用好這些芯片的能力，讓 AI 領(lǐng)域可以用上更好的模型、帶來(lái)更有價(jià)值的實(shí)際應(yīng)用。

那么，開(kāi)發(fā)機(jī)器學(xué)習(xí)的工程師們要怎么知道這些新的、融合式的替代平臺(tái)能不能比傳統(tǒng)的 CPU + GPU 方案表現(xiàn)更好呢？

計(jì)算機(jī)架構(gòu)的評(píng)價(jià)方式有那么點(diǎn)迂回，并不是直接對(duì)比絕對(duì)規(guī)模。為了能對(duì)比不同體積的設(shè)備，我們把性能除以價(jià)格，或者把性能除以功耗，也可以把性能除以芯片的數(shù)量。每個(gè)競(jìng)爭(zhēng)者都會(huì)選出在自己的芯片上有代表性的一組程序來(lái)作為和別人競(jìng)爭(zhēng)時(shí)的跑分測(cè)試。選很多組這樣的測(cè)試程序，然后把得到的所有分?jǐn)?shù)取平均值，相比于在某一組上做測(cè)試能更好地反映芯片的真實(shí)性能。

MLPerf 就是基于 50 家企業(yè)、9 所高校選出的代表性程序而設(shè)計(jì)出的較新的 AI 芯片跑分測(cè)試。MLPerf 中包括了程序、數(shù)據(jù)集，也包括了測(cè)試訓(xùn)練和推理的固定規(guī)范，給準(zhǔn)確率、超參數(shù)的選擇范圍等重要的參數(shù)給出了明確的要求。為了能跟上機(jī)器學(xué)習(xí)領(lǐng)域的快速發(fā)展，MLPerf 也會(huì)每三個(gè)月更新一次新版本。

有的產(chǎn)品沒(méi)法在公平的測(cè)試中取勝，所以他們的宣傳部門(mén)就會(huì)對(duì) MLPerf 的跑分言辭躲閃，甚至說(shuō)「我們的用戶并不關(guān)心 MLPerf 里面的測(cè)試程序」這樣的話?？汕f(wàn)別被這種話糊弄了。首先，MLPerf 樂(lè)意加入新的程序，所以如果某種負(fù)載目前沒(méi)有包括在 MLPerf 里面，那它是可以加進(jìn)來(lái)的。其次，競(jìng)爭(zhēng)者們也會(huì)關(guān)心別家芯片的 MLPerf 跑分，確保對(duì)比方法不是南轅北轍。

如果怕買(mǎi)錯(cuò)了東西以后不包退，那就記得先查查 MLPerf 分?jǐn)?shù)！

南京大學(xué)計(jì)算機(jī)系教授、人工智能學(xué)院院長(zhǎng)周志華：新鮮的方法，清晰的規(guī)范

對(duì)于 2020 年，我有這三條期盼：

• 希望能夠出現(xiàn)深度神經(jīng)網(wǎng)絡(luò)之外的更新、更先進(jìn)的機(jī)器學(xué)習(xí)方法。學(xué)術(shù)研究人員們、工程師們、開(kāi)發(fā)者們研究和應(yīng)用神經(jīng)網(wǎng)絡(luò)模型已經(jīng)有很長(zhǎng)時(shí)間了。而其他的機(jī)器學(xué)習(xí)方法的技術(shù)創(chuàng)新空間相對(duì)來(lái)說(shuō)要大得多。

• 希望 AI 可以應(yīng)用在更多領(lǐng)域中，給人們的日常生活帶來(lái)更多積極的影響。

• 希望 AI 學(xué)術(shù)研究人員們、工程師們、開(kāi)發(fā)者們可以有更多的反思和討論，要考慮如何避免 AI 技術(shù)的發(fā)展走上邪路、如何避免 AI 技術(shù)被惡意使用或者濫用。

Insight 數(shù)據(jù)分析中心博士、DeepMind 研究科學(xué)家、NLP 網(wǎng)紅小哥 Sebastian Ruder：除了規(guī)模之外還有更多

對(duì)于 2020 年的 NLP 研究發(fā)展，我有這么幾條心愿：

• 從更少的樣本學(xué)習(xí)，而不是從更大的數(shù)據(jù)集學(xué)習(xí)

• 發(fā)展更緊湊、更高效的模型，而不是發(fā)展規(guī)模更大的模型

• 至少在兩種語(yǔ)言上評(píng)價(jià)模型（最好是不同語(yǔ)系的語(yǔ)言）

• 新的 NLP 數(shù)據(jù)集最好也至少含有兩種語(yǔ)言

• 用 NLP 輔助科研，發(fā)掘更多的科學(xué)知識(shí)（比如《Unsupervised word embeddings capture latent knowledge from materials science literature》這篇 Nature 論文）