盤(pán)點(diǎn) AI 十年來(lái)取得的重要突破。

過(guò)去十年間，人工智能技術(shù)突飛猛進(jìn)，最瘋狂的科幻小說(shuō)場(chǎng)景現(xiàn)在已經(jīng)成為我們生活中不可或缺的一部分。十年前，人們?cè)谡務(wù)?AI 的理論化和實(shí)驗(yàn)，但這些年來(lái)，AI 變得更加切實(shí)了，也變成了主流。無(wú)論是國(guó)際標(biāo)準(zhǔn)課程、平臺(tái)、庫(kù)、框架、硬件，一切都順理成章。就算說(shuō)這十年里取得的成績(jī)奠定了未來(lái)的基礎(chǔ)，也不為過(guò)。

[[375230]]

這篇文章將盤(pán)點(diǎn) AI 十年來(lái)取得的重要突破。

卷積

2012 年是深度學(xué)習(xí)歷史上重要的一年。那一年，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在著名的 ImageNet 挑戰(zhàn)賽中大放異彩。由 Alex Krizhevsky 等人設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)「Alexnet」以遠(yuǎn)超第二名的成績(jī)奪冠，在 ImageNet 數(shù)據(jù)集上的視覺(jué)識(shí)別錯(cuò)誤率為 15.3%，降低了一半。該神經(jīng)網(wǎng)絡(luò)對(duì)貓的檢測(cè)準(zhǔn)確度達(dá)到了 74.8%，在 YouTube 視頻中檢測(cè)人臉的準(zhǔn)確率為 81.7%。

現(xiàn)在，手機(jī)和商場(chǎng)中的人臉識(shí)別應(yīng)用都應(yīng)該歸功于 2012 年的這項(xiàng)工作，識(shí)別準(zhǔn)確率的提升使研究者能夠進(jìn)行醫(yī)學(xué)成像模型的部署，這些模型具備高置信度。

與 AI 對(duì)話

Vaswani 等人 2017 年發(fā)表的《Attention Is All You Need》帶來(lái)了級(jí)聯(lián)效應(yīng)，使得機(jī)器能夠以前所未有的方式去理解語(yǔ)言。得益于 Transformer 架構(gòu)，AI 現(xiàn)在能夠撰寫(xiě)假的新聞、推文，甚至可能引起政治動(dòng)蕩。繼 Transformer 之后，谷歌又推出了 BERT 模型，將其用于關(guān)鍵字預(yù)測(cè)和 SEO 排名等。BERT 如今已經(jīng)變成了自然語(yǔ)言處理領(lǐng)域的實(shí)際標(biāo)準(zhǔn)，諸如 Microsoft 和 NVIDIA 之類的公司開(kāi)始堆積更多參數(shù)來(lái)追趕該模型。

NVIDIA 的 Megatron 具有 80 億個(gè)參數(shù)，而 Microsoft 的 Turing NLG 模型具有 170 億個(gè)參數(shù)。OpenAI 的 GPT 模型后來(lái)居上，1750 億參數(shù)的 GPT-3 目前是歷史記錄的保持者。

GPT-3 也是 Transformer 的擴(kuò)展，是目前最大的模型，它可以編碼、寫(xiě)散文、生成商業(yè)創(chuàng)意，只有人類想不到，沒(méi)有它做不到。

將人類一軍

AI 早已在國(guó)際象棋中擊敗了人類。而更加復(fù)雜的人類游戲，如 Jeopardy! 游戲、圍棋、德州撲克等，也沒(méi)有擋住算法的腳步。人工智能近幾年來(lái)最廣為人知的事件就是 AlphaGo 在最復(fù)雜棋類游戲——「圍棋」上擊敗了人類頂級(jí)選手。與此同時(shí)，在這個(gè)十年中，IBM 的 Watson 也在 Jeopardy! 決賽中擊敗了兩位人類，最終 Watson 獲得了 77147 美元獎(jiǎng)金，而兩位人類分別獲得了 24000 和 21600 美元。

Facebook 和卡耐基梅隆大學(xué)共同開(kāi)發(fā)的德?lián)?AI Pluribus 戰(zhàn)勝了五名專家級(jí)人類玩家，實(shí)現(xiàn)了前輩 Libratus（冷撲大師）未能完成的任務(wù)，該研究還登上了 2019 年的《科學(xué)》雜志。2020 年 12 月，DeepMind 提出的 MuZero 讓一種人工智能模型掌握多種游戲，包括將棋、國(guó)際象棋和圍棋。

解碼生命

每一個(gè)生物體的行為都可以在其蛋白質(zhì)中尋蹤溯源。蛋白質(zhì)承載著秘密，破解蛋白質(zhì)或許有助于擊敗新冠大流行。但蛋白質(zhì)結(jié)構(gòu)非常復(fù)雜，需要不斷地運(yùn)行模擬。DeepMind 嘗試解決這一難題，其開(kāi)發(fā)的深度學(xué)習(xí)算法「Alphafold」破解了出現(xiàn)五十年之久的蛋白質(zhì)分子折疊問(wèn)題。計(jì)算機(jī)視覺(jué)被證明可以幫助診斷，而解決蛋白質(zhì)折疊問(wèn)題甚至能夠幫助研發(fā)人員開(kāi)發(fā)新藥。

AI：是藝術(shù)家，也是騙子

去年，在一則視頻中，比利時(shí)首相談?wù)撝鉀Q經(jīng)濟(jì)和氣候危機(jī)的緊急需求，后來(lái)人們發(fā)現(xiàn)這其實(shí)是 Deepfake 視頻。在機(jī)器學(xué)習(xí)和 AI 對(duì)比利時(shí)首相聲音和表達(dá)方式的操縱下，這則假視頻讓首相發(fā)表了一場(chǎng)關(guān)于全球變暖影響的演講。

這些偽造內(nèi)容的背后是精心設(shè)計(jì)的算法——生成對(duì)抗網(wǎng)絡(luò)（GAN）。該算法在 2014 年提出，并得到廣泛應(yīng)用，甚至已經(jīng)侵入了人類工作的最后一道壁壘：創(chuàng)作。這種網(wǎng)絡(luò)可以生成從未存在的人臉、互換人臉，讓一國(guó)總統(tǒng)胡言亂語(yǔ)。GAN 生成的一幅畫(huà)甚至在佳士得拍賣會(huì)上以破紀(jì)錄的價(jià)格——40 萬(wàn)美元成交了。GAN 的另一面是被用于惡意目的，以致于像 Adobe 這種公司不得不研究新技術(shù)來(lái)鑒別偽造內(nèi)容。GAN 在下一個(gè)十年里仍將是被廣泛討論的對(duì)象。

秘密武器——硅

神經(jīng)網(wǎng)絡(luò)的概念誕生了半個(gè)世紀(jì)，今天流行的反向傳播方法也出現(xiàn)三十年了。但是，我們?nèi)匀蝗鄙倌軌蜻\(yùn)行這些計(jì)算的硬件。過(guò)去十年，我們見(jiàn)證了十多家公司研究專門的機(jī)器學(xué)習(xí)芯片。這些年來(lái)，芯片技術(shù)得到了極大發(fā)展，我們可以在手掌大小的設(shè)備上執(zhí)行百萬(wàn)次運(yùn)算。這些芯片被用到數(shù)據(jù)中心，用戶可以觀看自己喜歡的 Netflix 電影、使用智能手機(jī)等。接下來(lái)，專為邊緣設(shè)備定制的 AI 芯片蘊(yùn)含著價(jià)值數(shù)十億美元的商機(jī)。

蘋(píng)果等公司已經(jīng)開(kāi)發(fā)了定制化機(jī)器學(xué)習(xí)芯片（如 A14 Bionic）來(lái)提供智能服務(wù)。即使是依賴英偉達(dá)和英特爾的 AWS，也正在慢慢進(jìn)入芯片行業(yè)。隨著芯片變得越來(lái)越小，這一趨勢(shì)只會(huì)更加明顯：例如使用英偉達(dá) Jetson AGX Xavier 開(kāi)發(fā)者套件，你可以輕松創(chuàng)建和部署端到端 AI 機(jī)器人應(yīng)用，用于制造、零售、智能城市等等。谷歌的 Coral 工具包可將機(jī)器學(xué)習(xí)帶到邊緣設(shè)備上。安全、實(shí)時(shí)輸出是目前的主題。

開(kāi)源文化逐漸成熟

圖源：MIT Tech Review

2015 年，TensorFlow 開(kāi)源。一年后，F(xiàn)acebook AI 又開(kāi)源了基于 Python 的深度學(xué)習(xí)框架 PyTorch。今天，TensorFlow 和 PyTorch 已經(jīng)成為使用最廣泛的框架。通過(guò)不斷的版本更新，谷歌和 Facebook 為機(jī)器學(xué)習(xí)社區(qū)帶來(lái)了極大便利。自定義庫(kù)、軟件包、框架和工具的爆發(fā)式增長(zhǎng)，使得更多人進(jìn)入了 AI 領(lǐng)域，也為 AI 研究帶來(lái)了更多人才。

開(kāi)源是近幾年的一個(gè)主要特性。開(kāi)源工具和越來(lái)越多的可用資源（如 arxiv 或 Coursera）促進(jìn)了 AI 變革。另一個(gè)催化劑是流行的競(jìng)賽平臺(tái)——Kaggle。Kaggle 和 GitHub 滋養(yǎng)了一批高質(zhì)量 AI 開(kāi)發(fā)者。

更多學(xué)習(xí)，更少規(guī)則

Schmidhuber 教授上世紀(jì) 90 年代初提出的元學(xué)習(xí)概念，最近才逐漸得到關(guān)注。元學(xué)習(xí)指在有限訓(xùn)練示例的基礎(chǔ)上，使機(jī)器學(xué)習(xí)模型學(xué)習(xí)新技能并適應(yīng)不斷變化的環(huán)境。通過(guò)操縱超參數(shù)對(duì)特定任務(wù)優(yōu)化機(jī)器學(xué)習(xí)模型需要大量用戶輸入的話，過(guò)程會(huì)較為繁瑣，而使用元學(xué)習(xí)后，這一負(fù)擔(dān)將得到極大緩解，因?yàn)樵獙W(xué)習(xí)將優(yōu)化部分自動(dòng)化了。自動(dòng)優(yōu)化帶來(lái)了一個(gè)新的行業(yè) MLaaS（機(jī)器學(xué)習(xí)即服務(wù)）。

未來(lái)方向

關(guān)于一些專家預(yù)測(cè)以下領(lǐng)域或許將發(fā)揮主要作用：

• 可復(fù)現(xiàn)性
• 差分隱私
• 幾何深度學(xué)習(xí)
• 神經(jīng)形態(tài)計(jì)算
• 強(qiáng)化學(xué)習(xí)

 盡管 AI 已經(jīng)進(jìn)入許多我們未曾想象的領(lǐng)域，但它仍需應(yīng)用到更流行的應(yīng)用中，如自動(dòng)駕駛汽車。然而，挑戰(zhàn)更多地在于數(shù)學(xué)層面：目前已有能夠做出準(zhǔn)確決策的算法，也有能夠處理這些算法的處理器，但何時(shí)能夠部署到應(yīng)用上仍未可知。不管是醫(yī)療還是自動(dòng)駕駛汽車，AI 仍需要繼續(xù)進(jìn)展，而這只有在透明性和可復(fù)現(xiàn)性得到建立時(shí)才會(huì)發(fā)生。