本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

昨日，吳恩達(dá)在圣誕節(jié)之際回顧了2020年AI的一些重大發(fā)展，包括AI應(yīng)對(duì)新冠疫情、數(shù)據(jù)集存在種族偏見(jiàn)、對(duì)抗虛假信息算法、AlphaFold預(yù)測(cè)蛋白質(zhì)三維結(jié)構(gòu)、1750億參數(shù)的GPT-3出現(xiàn)等等。

吳恩達(dá)寄語(yǔ)：

親愛(ài)的朋友們，在過(guò)去的十年中，每年我都會(huì)飛往新加坡或香港，與我的母親一起慶祝她的12月22日的生日。今年，我們則是通過(guò)Zoom線上慶生。 盡管距離遙遠(yuǎn)，但我仍然感到很高興，我的家人們可以從美國(guó)，新加坡，香港，香港和新西蘭一起線上聚會(huì)，并演唱同步性很差的“Happy Birthday To You”。

我希望我也可以和大家一起在Zoom通話，以祝大家節(jié)日快樂(lè)，新年快樂(lè)！

[[360132]]      

節(jié)假日期間，我經(jīng)常想一想重要的人，回顧他們?yōu)槲一蛩怂龅氖拢⒛乇硎疚覍?duì)他們的感謝。 這使我感到與他們的聯(lián)系更加緊密。

我覺(jué)得在我們遠(yuǎn)離社交的假期中思考這一點(diǎn)非常有價(jià)值：誰(shuí)是您生活中最重要的人，您可能出于什么原因要感謝他們？

無(wú)論是面對(duì)面的還是在線的，我都希望您能找到屬于自己的方式——在這個(gè)假期里培養(yǎng)于最重要的人之間的關(guān)系。

Keep learning!                 

 2020年回顧

 凡是過(guò)往 皆為序章

在過(guò)去一年，突如其來(lái)的傳染性冠狀病毒破壞了人們的正常生活，它所導(dǎo)致的社會(huì)裂痕也威脅到了我們的共同利益。

在這一年期間，有大量的機(jī)器學(xué)習(xí)工程師參與其中，設(shè)計(jì)了用于新冠肺炎（Covid-19）診斷和治療的工具、建立了識(shí)別仇恨言論和虛假信息的模型，并指出和強(qiáng)調(diào)了整個(gè)AI社區(qū)偏見(jiàn)的存在。

但是事情也有輕松的一面：這一年里可以將睡衣一鍵轉(zhuǎn)換成西裝的在家辦公工具、GPT-3語(yǔ)言模型、在AI輔助藝術(shù)和表演方面的引人入勝的實(shí)驗(yàn)。

接下來(lái)請(qǐng)就讓我們一起探討過(guò)去一年我們的艱辛和輝煌。

應(yīng)對(duì)新冠疫情

AI加快了科學(xué)家對(duì)冠狀病毒疫苗的搜尋，全球的機(jī)器學(xué)習(xí)研究人員爭(zhēng)先恐后地利用AI技術(shù)來(lái)對(duì)抗冠狀病毒。例如：

1、巴黎和戛納市在公交車(chē)站、公共汽車(chē)和市場(chǎng)中使用計(jì)算機(jī)視覺(jué)評(píng)估法規(guī)的遵守情況。

2、多哥政府訓(xùn)練AI模型以識(shí)別衛(wèi)星圖像中的貧困地區(qū)，并精準(zhǔn)分配救濟(jì)金給最需要的人。

3、聊天機(jī)器人提供了合成的虛擬朋友，供被疫情封鎖的人們聊天和調(diào)情。     

4、視頻會(huì)議公司為在線辦公提供AI模型，以過(guò)濾背景噪音，并將睡衣變成虛擬的商務(wù)正裝。

5、中國(guó)研究機(jī)構(gòu)合作開(kāi)發(fā)了可在CT掃描中檢測(cè)Covid-19的AI模型，其準(zhǔn)確度超過(guò)90％。 該模型已在七個(gè)國(guó)家/地區(qū)部署，代碼下載量超過(guò)300萬(wàn)次。     

6、美國(guó)生物技術(shù)公司Moderna，其疫苗于12月份獲得美國(guó)食品藥品監(jiān)督管理局的批準(zhǔn)，它使用機(jī)器學(xué)習(xí)來(lái)優(yōu)化mRNA序列以轉(zhuǎn)化為可以測(cè)試的分子。

此外，AI在治療Covid-19過(guò)程中也發(fā)揮了重要作用。例如，某非營(yíng)利組織使用半監(jiān)督深度學(xué)習(xí)平臺(tái)篩選了14000種候選抗病毒藥物，該系統(tǒng)驗(yàn)證了有望用于動(dòng)物試驗(yàn)的四種化合物。

我的立場(chǎng)：AI不是萬(wàn)能藥，但這種新型、高傳染性冠狀病毒的問(wèn)世已經(jīng)成為人類(lèi)利用AI對(duì)抗傳染病能力的有力試驗(yàn)。

Deepfake偽造“一切”

當(dāng)生成對(duì)抗網(wǎng)絡(luò)滲透到文化、社會(huì)和科學(xué)領(lǐng)域時(shí)，它們正悄悄地在網(wǎng)絡(luò)中充斥著無(wú)底洞的合成圖像。

如我們所見(jiàn)，Deepfake出現(xiàn)在了主流娛樂(lè)活動(dòng)、商業(yè)廣告、政治活動(dòng)，甚至出現(xiàn)在紀(jì)錄片中，它被用來(lái)替換當(dāng)事人的真實(shí)面貌以提供隱私保護(hù)。

[[360136]]

起初，圖像生成器在線前端的大肆使用并沒(méi)有引起人們的注意，直到2019年，一張“ This Person Does Not Exis”的逼真合成人像在網(wǎng)上盛傳，具有幽默感的程序員們受到啟發(fā)開(kāi)始利用生成式對(duì)抗網(wǎng)絡(luò)（GAN）模仿現(xiàn)實(shí)世界的細(xì)節(jié)，如下：

1、經(jīng)過(guò)訓(xùn)練的Google Earth 可以使“This City Does Not Exist”產(chǎn)生大大小小定居點(diǎn)的鳥(niǎo)瞰圖。

2、“This Horse Does Not Exist” 可以生成各種各樣的姿勢(shì)、品種和形態(tài)的馬。

3、 “This Pizza Does Not Exist”，與真實(shí)的披薩相比，可能會(huì)缺少一些奶酪和醬汁的光澤感。

4、生成的不存在的中國(guó)山水畫(huà)，欺騙了眾多藝術(shù)愛(ài)好者。

        論文鏈接：https://arxiv.org/pdf/2011.05552.pdf

更多信息：GAN特刊包括Deepfake檢測(cè)，吳恩達(dá)對(duì)GAN發(fā)明人Lan Goodfellow的獨(dú)家訪談等。

https://blog.deeplearning.ai/blog/the-batch-gan-special-issue-ian-goodfellow-for-real-detecting-fakes-including-minorities-synthesizing-training-data-applying-virtual-make-up

數(shù)據(jù)集存在種族偏見(jiàn)

深度學(xué)習(xí)的基本數(shù)據(jù)集開(kāi)始受到廣泛關(guān)注。

由于數(shù)據(jù)集的編譯、標(biāo)記和使用方式的不同，導(dǎo)致其在模型訓(xùn)練過(guò)程中會(huì)對(duì)社會(huì)邊緣化群體產(chǎn)生偏見(jiàn)。研究人員的審查促進(jìn)了AI的改革，同時(shí)也加深了人們對(duì)AI所隱含的社會(huì)偏見(jiàn)的認(rèn)識(shí)。今年涉及的典型案例包括：

1、知名計(jì)算機(jī)視覺(jué)數(shù)據(jù)集ImageNet被迫下架。ImageNet的創(chuàng)建者李飛飛及其同事對(duì)數(shù)據(jù)集進(jìn)行了重新梳理，并刪除了WordNet詞匯數(shù)據(jù)庫(kù)帶來(lái)的種族主義、性別歧視和其他貶義標(biāo)簽。   

2、一項(xiàng)研究發(fā)現(xiàn)，即使使用未經(jīng)標(biāo)記的ImageNet數(shù)據(jù)進(jìn)行訓(xùn)練，其模型也可能由于數(shù)據(jù)多樣性不足而引起偏差。

3、麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室撤回了Tiny Images數(shù)據(jù)集，原因是有外部研究人員發(fā)現(xiàn)該數(shù)據(jù)庫(kù)充斥著性暗示、種族歧視等大量不良標(biāo)簽。

4、用于訓(xùn)練StyleGAN的數(shù)據(jù)集FlickrFaces-HQ（FFHQ）同樣缺乏足夠的多樣性?；赟tyleGAN模型訓(xùn)練的PULSE算法將美國(guó)黑人總統(tǒng)巴拉克·奧巴馬（Barack Obama）的肖像畫(huà)變成了白人。

（PULSE將提高低分辨率照片轉(zhuǎn)化為高分辨率的圖像）

在PULSE事件出現(xiàn)后，F(xiàn)acebook首席科學(xué)家Yann LeCun和當(dāng)時(shí)Google AI倫理負(fù)責(zé)人Timnit Gebru之間展開(kāi)了一場(chǎng)辯論，爭(zhēng)論的焦點(diǎn)在于：機(jī)器學(xué)習(xí)中的社會(huì)偏見(jiàn)是出自AI數(shù)據(jù)集，還是AI系統(tǒng)？      

[[360140]]

LeCun的立場(chǎng)是：模型在訓(xùn)練“存在偏見(jiàn)的數(shù)據(jù)集”之前不存在偏見(jiàn)，也就是模型本身不存在偏見(jiàn)，而且有偏見(jiàn)的數(shù)據(jù)集是可以修改的。 Gebru則表示：正如我們?cè)谛胖兴f(shuō)的，這種偏見(jiàn)是在社會(huì)差異的背景下產(chǎn)生的，要消除AI系統(tǒng)的偏見(jiàn)，必須解決整個(gè)領(lǐng)域的差異。隨后，在關(guān)于偏見(jiàn)的進(jìn)一步分歧中，Gebru和Google分道揚(yáng)鑣。

我的立場(chǎng)：確保數(shù)據(jù)集中的偏見(jiàn)在任務(wù)開(kāi)始時(shí)被刪除，這項(xiàng)重要的工作才剛剛開(kāi)始。

更多信息：過(guò)去一年中有關(guān)減少技術(shù)偏見(jiàn)的研究報(bào)告。

https://blog.deeplearning.ai/blog/the-batch-ais-progress-problem-recognizing-masked-faces-mapping-underwater-ecosystems-augmenting-feature

對(duì)抗虛假信息算法

全球新冠疫情和有爭(zhēng)議的美國(guó)大選掀起了一場(chǎng)虛假信息風(fēng)暴，大型AI科技公司均受到了影響。

面對(duì)來(lái)自公眾日益增加的壓力——阻止煽動(dòng)性謊言，F(xiàn)acebook、Google的YouTube部門(mén)以及Twitter在爭(zhēng)相更新其推薦引擎。據(jù)了解，紀(jì)錄片Netflix對(duì)他們進(jìn)行了嚴(yán)厲的痛斥；美國(guó)國(guó)會(huì)議員對(duì)他們展開(kāi)了調(diào)查；民意測(cè)驗(yàn)顯示，他們已經(jīng)失去了大多數(shù)美國(guó)人的信任。

這幾家公司嘗試通過(guò)各種算法和策略解決虛假信息問(wèn)題，例如：

1、在發(fā)現(xiàn)了數(shù)百個(gè)包含AI生成的虛假頭像的用戶個(gè)人資料后，F(xiàn)acebook嚴(yán)厲打擊了被認(rèn)為有誤導(dǎo)性的操縱媒體，并徹底禁止了Deepfake視頻。該公司繼續(xù)開(kāi)發(fā)深度學(xué)習(xí)工具，以檢測(cè)仇恨言論，導(dǎo)致偏見(jiàn)的模因以及有關(guān)Covid-19的錯(cuò)誤信息。

2、YouTube開(kāi)發(fā)了一個(gè)分類(lèi)器來(lái)識(shí)別違規(guī)內(nèi)容：包括仇恨言論、陰謀論、醫(yī)學(xué)錯(cuò)誤信息以及其它惡意視頻。

3、Facebook和Twitter關(guān)閉了他們認(rèn)為是擾亂國(guó)家宣傳活動(dòng)的賬戶。

4、這三家公司在含有美國(guó)大選誤導(dǎo)性信息內(nèi)容中均添加了免責(zé)聲明。 Twitter采取了最嚴(yán)格的政策，直接舉報(bào)了唐納德·特朗普總統(tǒng)的虛假推文。

不過(guò)，他們顯然沒(méi)有做出觸及底線的更改，而且其改革可能也不會(huì)持續(xù)很久，因?yàn)樗麄兊恼哂械囊呀?jīng)松懈，有的已經(jīng)發(fā)生了適得其反的效果。比如：

• 今年6月，《華爾街日?qǐng)?bào)》報(bào)道說(shuō)，一些Facebook高管已經(jīng)停止使用部分監(jiān)管工具。該公司后來(lái)撤銷(xiāo)了在選舉期間使用的修改算法，因?yàn)樗龠M(jìn)了某些新聞源的知名度。Facebook不夠誠(chéng)意的做法已經(jīng)導(dǎo)致了一些員工辭職。

• YouTube采用的算法成功減少了虛假信息內(nèi)容創(chuàng)作者的訪問(wèn)量。但它也增加了某些經(jīng)常傳播同樣可疑信息的大型實(shí)體的訪問(wèn)量，例如福布斯新聞。

我的立場(chǎng)：目前在這場(chǎng)貓和老鼠的游戲中，尚無(wú)明確的方法能夠贏得那些造謠者或虛假內(nèi)容傳播者，但是貓?jiān)谶@場(chǎng)游戲中必須保持領(lǐng)先的地位，否則將會(huì)失去公眾的信任，或者遭到監(jiān)管機(jī)構(gòu)的調(diào)查。           

AlphaFold預(yù)測(cè)蛋白質(zhì)三維結(jié)構(gòu)

AI在醫(yī)學(xué)制度上阻礙的減少，為深度學(xué)習(xí)在醫(yī)療設(shè)備和治療中的廣泛應(yīng)用奠定了基礎(chǔ)。

前不久，DeepMind的AlphaFold模型在短短幾個(gè)小時(shí)內(nèi)就確定了蛋白質(zhì)的三維結(jié)構(gòu)，其對(duì)研發(fā)新型藥物的承諾和對(duì)生物學(xué)的洞察迅速引起了人們的關(guān)注。據(jù)了解，醫(yī)療機(jī)構(gòu)已經(jīng)采取了行動(dòng)將此類(lèi)技術(shù)納入了主流醫(yī)學(xué)實(shí)踐中。

以下制度上的轉(zhuǎn)變提高了醫(yī)療AI的知名度，也讓它越來(lái)越受到認(rèn)可。

1、美國(guó)最大的醫(yī)療保險(xiǎn)公司已同意向某些使用了機(jī)器學(xué)習(xí)設(shè)備的醫(yī)生提供補(bǔ)償。

2、美國(guó)食品藥品監(jiān)督管理局（FDA）批準(zhǔn)了幾種新的基于AI的治療方法和設(shè)備，例如心臟超聲檢查系統(tǒng)。

3、一個(gè)跨學(xué)科的國(guó)際醫(yī)學(xué)專(zhuān)家小組介紹了兩個(gè)協(xié)議：Spirit和Consort，該協(xié)議旨在確?；贏I的臨床試驗(yàn)?zāi)軌蜃裱罴褜?shí)踐，同時(shí)，便于外部評(píng)審人驗(yàn)證試驗(yàn)成果并進(jìn)行報(bào)告。

我的立場(chǎng)：AI在醫(yī)學(xué)中的應(yīng)用要求醫(yī)生和醫(yī)院重新組織其工作流程，這在一定程度上延緩了AI應(yīng)用的進(jìn)度。一旦FDA和醫(yī)療保障制度變得更加明朗，臨床醫(yī)生就會(huì)獲得更大的動(dòng)力去做出改變以適應(yīng)它們。

更多信息：Deeplearning AI醫(yī)療專(zhuān)刊包括深度學(xué)習(xí)在診斷、預(yù)防和治療方面的應(yīng)用，以及AI醫(yī)學(xué)教父Eric Topol的獨(dú)家專(zhuān)訪。

https://blog.deeplearning.ai/blog/the-batch-ai-for-medicine-special-eric-topols-planetary-health-system-discovering-drugs-diagnosing-heart-disease-predicting-infections-alexa-for-doctors

GPT-3解鎖寫(xiě)作新方式

自然語(yǔ)言處理的神經(jīng)網(wǎng)絡(luò)體積越來(lái)越大，功能也越來(lái)越豐富、有趣。例如GPT-3可以用來(lái)寫(xiě)作畫(huà)圖敲代碼玩游戲等，被網(wǎng)友們玩出了50多種新用法。

GPT-3是OpenAI打造的包含1750億參數(shù)的文本生成器，它展示了自然語(yǔ)言處理方面的持續(xù)進(jìn)步。同時(shí)，它展現(xiàn)了機(jī)器學(xué)習(xí)領(lǐng)域的廣泛趨勢(shì)：模型參數(shù)呈指數(shù)增長(zhǎng)，無(wú)監(jiān)督學(xué)習(xí)成為主流，且越來(lái)越普遍。   

1、GPT-3的寫(xiě)作能力比上一代GPT-2更加強(qiáng)大，以至于用它來(lái)撰寫(xiě)博客文章和Reddit評(píng)論時(shí)，成功欺騙了很多人類(lèi)讀者。另外，也有很多人以不同的方式展現(xiàn)了GPT-3的創(chuàng)造性，例如撰寫(xiě)哲學(xué)文章、與歷史人物對(duì)話。 

 圖注：AI生成的哲學(xué)文章

2、語(yǔ)言模型促進(jìn)了商業(yè)工具的發(fā)展，例如幫助Apple自動(dòng)更正功能區(qū)分不同語(yǔ)言；讓Amazon的語(yǔ)音小助手Alexa能夠跟隨對(duì)話內(nèi)容切換；更新機(jī)器人律師，對(duì)非法稱呼美國(guó)公民的電話銷(xiāo)售商提起訴訟。

3、OpenAI的GPT-2訓(xùn)練Pixel數(shù)據(jù)生成iGPT，iGPT通過(guò)填充部分模糊的內(nèi)容以生成怪異的圖像。

我的立場(chǎng)：語(yǔ)言模型顯然越大越好，但它還不止于此。 iGPT預(yù)示著在圖像和文字上訓(xùn)練的模型，至少在OpenAI的工作中，它可能比2020年的巨型語(yǔ)言模型更聰明、更怪異。

更多信息：NLP特刊包括有關(guān)如何消除偏見(jiàn)，以及對(duì)NLP先驅(qū)Noam Shazeer的獨(dú)家采訪。

https://blog.deeplearning.ai/blog/the-batch-nlp-special-issue-powerful-techniques-from-amazon-apple-facebook-google-microsoft-salesforce