人工智能不再準(zhǔn)備著有朝一日改變世界，而是正在改變世界。在我們買入新的一年和十年之際，VentureBeat邀請了人工智能領(lǐng)域最敏銳的一些人，重新審視了2019年取得的成就，并展望了機(jī)器學(xué)習(xí)在2020年將如何成熟。
每個人都有對未來一年的預(yù)測，但這些人——在人工智能領(lǐng)域擁有權(quán)威的個人——正在塑造今天的未來，他們珍視科學(xué)追求，他們的經(jīng)歷為其贏得了信譽。盡管一些人預(yù)測在諸如半監(jiān)督學(xué)習(xí)和神經(jīng)符號方法等子領(lǐng)域會有進(jìn)步，但幾乎所有ML領(lǐng)域的杰出人士都表示，在2019年基于Transformer的自然語言模型方面取得了巨大進(jìn)步，并預(yù)計在面部識別等技術(shù)方面會繼續(xù)存在爭議。他們還希望看到人工智能領(lǐng)域發(fā)展出比準(zhǔn)確性更有價值的東西。
Soumith Chintala
PyTorch的負(fù)責(zé)人、首席工程師和創(chuàng)建者
不管你如何評價，PyTorch是當(dāng)今世界上最受歡迎的機(jī)器學(xué)習(xí)框架。 PyTorch是2002年引入的Torch開源框架的衍生產(chǎn)品，于2015年可用，并且在擴(kuò)展和庫中穩(wěn)步增長。
今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3，以及深度學(xué)習(xí)可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵ML從業(yè)者支持可重復(fù)性。
今年秋天在PyTorch開發(fā)大會上，Chintala在與VentureBeat的一次對話中表示，他在2019年的機(jī)器學(xué)習(xí)中幾乎沒有突破性進(jìn)展。
“實際上，我認(rèn)為我們沒有開創(chuàng)性的東西……基本上是從Transformer開始的。我們的ConvNets在2012年達(dá)到黃金時段，而Transformer在2017年左右。這是我的個人看法。”他說。
他繼續(xù)稱DeepMind的AlphaGo在強化學(xué)習(xí)方面的貢獻(xiàn)是開創(chuàng)性的，但是他說，這些成果很難應(yīng)用到現(xiàn)實世界的實際任務(wù)中。
Chintala還認(rèn)為，機(jī)器學(xué)習(xí)框架(如PyTorch和谷歌的TensorFlow)的發(fā)展已改變了研究人員探索思想和開展工作的方式，這些機(jī)器學(xué)習(xí)框架在當(dāng)今的ML從業(yè)者中廣受歡迎。
他說：“從某種意義上說，這是一個突破，它使他們移動的速度比以前快了一兩個數(shù)量級。”
今年，谷歌和Facebook的開源框架引入了量化，以提高模型訓(xùn)練的速度。在未來的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率“爆炸式增長”。
“借助PyTorch和TensorFlow，你已經(jīng)看到了框架的融合。出現(xiàn)量化的原因，以及其他一系列較低級別的效率，是因為下一場戰(zhàn)爭是框架的編譯器——XLA，TVM，PyTorch擁有Glow，許多創(chuàng)新正在等待發(fā)生。”他說，“在接下來的幾年中，你將看到……如何更智能地量化，如何更好地融合，如何更有效地使用GPU，以及如何自動為新硬件進(jìn)行編譯。”
像大多數(shù)其他行業(yè)領(lǐng)導(dǎo)者那樣，Chintala預(yù)測AI社區(qū)將在2020年之前將更多的價值放在AI模型性能上，而不僅僅是準(zhǔn)確性，并開始將注意力轉(zhuǎn)向其他重要因素，例如創(chuàng)建模型所需的權(quán)重，如何向人類解釋輸出，以及AI如何更好地反映人們想要建立的社會類型。
“如果思考一下過去的五、六年，我們只是關(guān)注準(zhǔn)確性，而原始數(shù)據(jù)如英偉達(dá)的模型是否更準(zhǔn)確? Facebook的模型更準(zhǔn)確嗎?'”他說， “我實際上認(rèn)為2020年將是我們開始(以更復(fù)雜的方式)進(jìn)行思考的一年，如果你的模型……沒有良好的互操作性機(jī)制(或滿足其他標(biāo)準(zhǔn))，你的模型是否比現(xiàn)在精確3%并不重要。”
塞萊斯特·基德(Celeste Kidd)
加州大學(xué)伯克利分校的發(fā)展心理學(xué)家
塞萊斯特·基德(Celeste Kidd)是加州大學(xué)伯克利分?；聦嶒炇业闹魅?，她和她的團(tuán)隊在這里探索孩子們的學(xué)習(xí)方式。他們的見解可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)建者，這些人正試圖以一種與養(yǎng)育孩子差不多的方式來訓(xùn)練模型。
她說：“人類嬰兒沒有被標(biāo)記的數(shù)據(jù)集，但它們管理得很好，對我們來說重要的是要了解這種情況。”
讓基德在2019年感到驚訝的一件事是，神經(jīng)網(wǎng)絡(luò)創(chuàng)建者的數(shù)量隨隨便便救貶低了自己或其他研究人員的工作，因為他們無法做嬰兒可以做的事情。
她說，當(dāng)你將嬰兒的行為平均化時，您會看到有證據(jù)表明他們了解某些東西，但他們絕對不是完美的學(xué)習(xí)者，而這種談話對嬰兒的能力描繪得過于樂觀。
她說：“人類嬰兒很棒，但他們犯了很多錯誤，而且我經(jīng)?？吹饺藗冸S便進(jìn)行的許多比較，都是把嬰兒行為在人口層面上理想化了。” “我認(rèn)為，對于目前了解的內(nèi)容與你接下來想要了解的內(nèi)容之間的聯(lián)系，人們很可能會越來越有辨別力。”
在人工智能中，“黑匣子”這個詞已經(jīng)存在多年了。它曾經(jīng)用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但基德認(rèn)為2020年可能意味著神經(jīng)網(wǎng)絡(luò)不可解釋的觀念的終結(jié)。
她說：“黑匣子的論點是虛假的……大腦也是黑匣子，我們在理解大腦如何工作方面取得了很大進(jìn)步。”
在揭開這種對神經(jīng)網(wǎng)絡(luò)的認(rèn)識的神秘面紗時，基德研究了像麻省理工學(xué)院- IBM沃森人工智能實驗室(MIT-IBM Watson AI Lab)執(zhí)行主任奧德·奧利瓦(Aude Oliva)這樣的人的工作。
“我們當(dāng)時在談?wù)撨@個問題，我說了有關(guān)該系統(tǒng)是黑匣子的事情，她合理地譴責(zé)了我，說他們當(dāng)然不是黑匣子。當(dāng)然，你可以將它們分解并將它們拆開，看看它們?nèi)绾喂ぷ鞑ζ溥M(jìn)行實驗，就像我們?yōu)槔斫庹J(rèn)知所做的一樣。”基德說。
上個月，基德在神經(jīng)信息處理系統(tǒng)(NeurIPS)會議上發(fā)表了開幕式主題演講，這是世界上最大的年度AI研究會議。她的演講重點關(guān)注人腦如何固守頑固的信念，注意力系統(tǒng)和貝葉斯統(tǒng)計。
她說，信息傳遞的“舒適區(qū)”介于一個人之前的興趣和理解與他們感到驚訝的東西之間。人們傾向于較少接觸那些過于令人驚訝的內(nèi)容。
然后她說，不存在中立的技術(shù)平臺，于是她把注意力轉(zhuǎn)向內(nèi)容推薦系統(tǒng)的制造商如何操縱人們的信念。為了追求最大程度的參與而構(gòu)建的系統(tǒng)會對人們?nèi)绾涡纬尚拍詈陀^點產(chǎn)生重大影響。
基德在演講中談到了機(jī)器學(xué)習(xí)中男性的誤解，即與女性同事獨自一人會導(dǎo)致性騷擾指控并結(jié)束男性職業(yè)。她說，這種誤解反而會損害女性在該領(lǐng)域的職業(yè)。
由于在羅切斯特大學(xué)發(fā)表有關(guān)性行為不端的言論，基德與其他女性一起被評為2017年度“年度人物”，這些女性幫助實現(xiàn)了我們現(xiàn)在所說的“平等對待婦女運動”。當(dāng)時，基德認(rèn)為大聲疾呼將結(jié)束她的職業(yè)生涯。
她希望在2020年看到人們越來越意識到技術(shù)工具和技術(shù)決策對現(xiàn)實生活的影響，并拒絕認(rèn)為工具制造商對人們的使用行為不負(fù)責(zé)任的觀點。
她說：“我聽到很多人試圖說'‘我不是真理的審判人’來為自己辯護(hù)。” “我認(rèn)為必須提高對這是不誠實立場的認(rèn)識。”
“在一個社會，尤其是作為使用這些工具的人們，我們真的需要直接意識到隨之而來的責(zé)任。”
杰夫·迪恩(Jeff Dean)
谷歌AI總監(jiān)
迪恩領(lǐng)導(dǎo)Google AI已有近兩年時間，但他已經(jīng)在谷歌工作了二十年，是谷歌早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員。
迪恩上個月在NeurIPS上與VentureBeat進(jìn)行了交談，在那里他就ASIC半導(dǎo)體設(shè)計的機(jī)器學(xué)習(xí)以及AI社區(qū)應(yīng)對氣候變化的方式進(jìn)行了演講，他說這是我們時代最重要的問題。在關(guān)于氣候變化的討論中，迪恩討論了AI可以努力成為零碳行業(yè)以及AI可以用來幫助改變?nèi)祟愋袨榈南敕ā?/p>
他預(yù)計到2020年，多模式學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M(jìn)展，這是一種依靠多種媒體進(jìn)行訓(xùn)練的AI，而多任務(wù)學(xué)習(xí)則涉及旨在一次完成多個任務(wù)的網(wǎng)絡(luò)。
毫無疑問，2019年最大的機(jī)器學(xué)習(xí)趨勢之一是基于Transformer的自然語言模型的持續(xù)增長和擴(kuò)散，此前模型Chintala被稱為近年來人工智能最大的突破之一。 谷歌于2018年開源了基于Transformer的模型BERT。根據(jù)GLUE排行榜，今年發(fā)布的許多性能最高的模型(例如Google的XLNet，微軟的MT-DNN和Facebook的RoBERTa)都基于Transformer。公司發(fā)言人告訴VentureBeat，XLNet 2將于本月晚些時候發(fā)布。
迪恩指出了已經(jīng)取得的進(jìn)展，他說：“ ...我認(rèn)為整個研究線程在實際產(chǎn)生機(jī)器學(xué)習(xí)模型方面非常富有成效，[現(xiàn)在讓我們]做的機(jī)器學(xué)習(xí)模型比過去能夠完成的復(fù)雜得多。但是他補充說，仍有增長空間。“我們?nèi)匀幌Ｍ軌騽?chuàng)建更多情境的模型。像現(xiàn)在這樣，BERT和其他模型可以很好地處理數(shù)百個單詞，但不能作為處理上下文的10,000個單詞。因此，這是[有趣的方向。”
迪恩說，他希望少強調(diào)一些最新技術(shù)，而傾向于創(chuàng)建更強大的模型。
Google AI還將努力推進(jìn)新的舉措，例如Everyday Robot，這是一個于2019年11月推出的內(nèi)部項目，旨在制造能夠在家庭和工作場所完成常見任務(wù)的機(jī)器人。
Anima Anandkumar
英偉達(dá)機(jī)器學(xué)習(xí)研究總監(jiān)
Anandkumar在擔(dān)任AWS首席科學(xué)家后加入了GPU制造商英偉達(dá)。在英偉達(dá)，人工智能研究在多個領(lǐng)域進(jìn)行，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動駕駛，超級計算機(jī)和圖形學(xué)。
英偉達(dá)和Anandkumar在2019年的重點領(lǐng)域之一是強化學(xué)習(xí)的仿真框架，這些框架越來越受歡迎且成熟。
在2019年，我們看到了英偉達(dá)的Drive autonomus駕駛平臺和Isaac機(jī)器人模擬器的興起，以及從模擬和生成對抗網(wǎng)絡(luò)或GAN生成綜合數(shù)據(jù)的模型的興起。
去年還迎來了AI的興起，例如StyleGAN(一種可以使人們分辨不出自己看到的是計算機(jī)生成的人臉還是真實的人的網(wǎng)絡(luò))和GauGAN(可以用畫筆生成風(fēng)景的網(wǎng)絡(luò))。 StyleGAN2上個月首次亮相。
GAN是可以模糊現(xiàn)實界限的技術(shù)，Anandkumar認(rèn)為，它們可以幫助AI社區(qū)嘗試解決的主要挑戰(zhàn)，例如抓握機(jī)械臂和自動駕駛。
Anandkumar還希望未來一年通過迭代算法、自我監(jiān)督和訓(xùn)練模型的自訓(xùn)練方法取得進(jìn)展，這些模型可以通過對未標(biāo)記數(shù)據(jù)進(jìn)行自我訓(xùn)練來改進(jìn)。
“我認(rèn)為各種不同的迭代算法都是未來，因為如果你只做一個前饋網(wǎng)絡(luò)，那么魯棒性就成為問題。”她說：“如果你嘗試進(jìn)行多次迭代，并根據(jù)所需的數(shù)據(jù)類型或精度要求對迭代進(jìn)行調(diào)整，那么實現(xiàn)這一目標(biāo)的機(jī)會就更多了。”
Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)，例如需要與各領(lǐng)域?qū)＜乙坏绖?chuàng)建專門針對特定行業(yè)的模型。決策者、個人和AI社區(qū)也將需要解決代表性問題，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠涵蓋不同人群的挑戰(zhàn)。
她說：“我認(rèn)為[面部識別問題]很容易掌握，但是在很多[其他領(lǐng)域]……人們沒有意識到使用數(shù)據(jù)存在隱私問題。”
Anandkumar說，面部識別得到了最大的關(guān)注，因為很容易理解面部識別如何侵犯個人隱私，但是AI社區(qū)在2020年還面臨許多其他道德問題。
“我們將在數(shù)據(jù)收集方式和使用方式方面進(jìn)行越來越嚴(yán)格的審查。這種情況正在歐洲發(fā)生，但是在美國，我們肯定會看到更多這樣的情況，而且出于正確的理由，我們會看到更多這樣的情況，比如國家運輸安全委員會和聯(lián)邦運輸管理局。”她說。
在Anandkumar看來，2019年的一大驚喜是文本生成模型的發(fā)展速度。
“ 2019年是語言模型之年，對嗎?現(xiàn)在，我們第一次在段落長度上達(dá)到了更加連貫的文本生成，這在以前是不可能的，但現(xiàn)在已經(jīng)很好了。”Anandkumar說。
2019年8月，英偉達(dá)推出了Megatron自然語言模型。Megatron擁有80億個參數(shù)，是全球最大的基于Transformer的AI模型。 Anandkumar說，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業(yè)的文本模型。
“我們還沒有達(dá)到產(chǎn)生對話的階段，這種對話是互動的，可以跟蹤并進(jìn)行自然的對話。所以我認(rèn)為，到2020年，在這個方向上將會有更多認(rèn)真的嘗試。”她說。
例如，開發(fā)用于控制文本生成的框架要比開發(fā)用于識別人或?qū)ο蟮膱D像的框架更具挑戰(zhàn)性。文本生成模型還可能面臨例如為神經(jīng)模型定義事實的挑戰(zhàn)。
最后，Anandkumar說，她很高興看到基德在NeurIPS上的演講獲得了起立鼓掌，并且被機(jī)器學(xué)習(xí)社區(qū)中越來越成熟和包容的跡象所鼓舞。
“我覺得現(xiàn)在是分水嶺。” 她說， “一開始甚至很難做些小改動，然后大壩就破裂了。我希望是這樣，因為在我看來，我希望保持這種勢頭，并進(jìn)行更大的結(jié)構(gòu)改革，并使所有小組，這里的每個人都蓬勃發(fā)展。”
達(dá)里奧·吉爾(Dario Gil)
IBM研究總監(jiān)
吉爾領(lǐng)導(dǎo)的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務(wù)。他認(rèn)為，2019年的重大飛躍包括圍繞生成模型的進(jìn)步，以及生成可信語言的質(zhì)量不斷提高。
他預(yù)測，在降低精度的體系結(jié)構(gòu)上，更有效的培訓(xùn)將繼續(xù)取得進(jìn)展。更高效的AI模型的開發(fā)是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學(xué)習(xí)技術(shù)。
他說:“我們用現(xiàn)有的硬件和GPU架構(gòu)來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，其效率仍然很低。”因此，對這個問題進(jìn)行根本性的反思是非常重要的。我們必須提高人工智能的計算效率，這樣我們才能做得更多。”
吉爾引用研究表明，對機(jī)器學(xué)習(xí)訓(xùn)練的需求每三個半月翻一番，這比摩爾定律所預(yù)測的增長快得多。
吉爾也對AI如何幫助加速科學(xué)發(fā)現(xiàn)感到興奮，但是IBM Research將主要專注于機(jī)器學(xué)習(xí)的神經(jīng)符號方法。
吉爾希望AI從業(yè)者和研究人員將專注于準(zhǔn)確性以外的指標(biāo)，以考慮生產(chǎn)中部署的模型的價值。將該領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是把準(zhǔn)確性放在首位，這將是繼續(xù)采用AI的中心支柱。
“社區(qū)中有些人可能會繼續(xù)說，‘不用擔(dān)心，只要提供準(zhǔn)確性。沒關(guān)系，人們會習(xí)慣這個東西有點像黑匣子，”或者他們會提出這樣的論點，即人們有時不會對我們做出的某些決定產(chǎn)生解釋。我認(rèn)為，非常重要的一點是，我們要集中社區(qū)的知識力量，在此方面做得更好。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用程序的黑匣子。”
吉爾相信要擺脫這樣的觀念，即只有少數(shù)機(jī)器學(xué)習(xí)向?qū)Р拍茏龅紸I，以確保更多的具有數(shù)據(jù)科學(xué)和軟件工程技能的人采用AI。
他說：“如果我們把它作為一個神秘領(lǐng)域，那就是AI的領(lǐng)域，只對從事這方面研究的博士開放，它并不能真正促進(jìn)人工智能的應(yīng)用。”
在來年，吉爾對神經(jīng)符號AI特別感興趣。 IBM將尋求神經(jīng)符號方法來增強諸如概率性編程之類的功能，其中AI將學(xué)習(xí)如何操作程序以及可共享其決策背后原因的模型。
他說:“通過采用這種混合的方法，一種新的當(dāng)代方法，通過這些神經(jīng)符號方法，把學(xué)習(xí)和推理結(jié)合在一起。在這種方法中，符號維度嵌入到學(xué)習(xí)程序中。我們已經(jīng)證明，你可用所需數(shù)據(jù)的一小部分來學(xué)習(xí)。”“因為你學(xué)了一個程序，你最終得到了一些可解釋的東西，并且因為你有了一些可解釋的東西，你得到了一些更可信的東西。”
他說，公平性，數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問題將繼續(xù)引起人們的廣泛關(guān)注，“與生物識別技術(shù)有關(guān)的任何事情也將如此”。面部識別得到了很多關(guān)注，但這僅僅是開始。語音數(shù)據(jù)以及其他形式的生物識別技術(shù)將越來越具有敏感性。他繼續(xù)引用了哥倫比亞大學(xué)教授Rafael Yuste的話，他從事神經(jīng)技術(shù)研究，并正在探索提取視覺皮層上神經(jīng)模式的方法。
吉爾說：“我以這個例子為例，所有與身份、人的生物特征以及人工智能在分析方面取得的進(jìn)步，將繼續(xù)處于前沿和中心位置。”
除了神經(jīng)符號和常識推理(MIT-IBM沃森實驗室的一項旗艦計劃外)，吉爾于2020年表示，IBM Research還將探索AI量子計算，以及AI模擬硬件，而不僅僅是降低精度的架構(gòu)。
總結(jié)
機(jī)器學(xué)習(xí)正在繼續(xù)塑造商業(yè)和社會，VentureBeat采訪的研究人員和專家看到了一些即將出現(xiàn)的趨勢:
隨著Transformers推動了巨大的飛躍，自然語言模型的進(jìn)步是2019年的主要故事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。
人工智能行業(yè)應(yīng)該尋找方法來評估模型輸出的準(zhǔn)確性。
諸如半監(jiān)督學(xué)習(xí)，機(jī)器學(xué)習(xí)的神經(jīng)符號方法之類的方法以及諸如多任務(wù)和多模式學(xué)習(xí)之類的子領(lǐng)域可能會在明年出現(xiàn)。
與生物統(tǒng)計數(shù)據(jù)(如語音記錄)相關(guān)的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。
