變大、變大、再變大：長此以往，AI研究是死路一條？
大數據文摘出品
來源：techtalks
編譯：木槿、曹培信、錢天培
計算機算力的增強為人工智能發(fā)展鋪平了道路。
通過強大的云計算平臺，人工智能研究人員已經能夠在較短的時間訓練更復雜的神經網絡，這使得AI能夠在計算機視覺、語音識別和自然語言處理等許多領域取得進展。
與此同時，很少有人提及這一趨勢對AI研究的負面意義。
目前，人工智能的進步主要體現在對深度學習模型和更多層和參數的神經網絡的研究。根據OpenAI的說法，自2012年以來最大規(guī)模人工智能訓練中使用的計算機數量一直呈指數增長，大概每3到4個月就翻一番，這意味著該指標在七年內增長了30萬倍。
這種趨勢嚴重限制了AI的研究，也產生了其他不好的影響。
目前來說，“大”即是好
OpenAI研究人員表示，當前許多領域中，更大的算力代表著更好的表現，并且通常也是對算法的補充。
我們可以在很多項目中看到，研究人員將取得的進步歸功于他們投入了更多的計算機去處理問題。
2018年6月，OpenAI推出了能夠玩Dota2專業(yè)水準的AI，Dota2是一款復雜的即時戰(zhàn)略游戲。
該AI叫OpenAIFive，它參加了一場大型的電子競技比賽，但在決賽中輸給了人類玩家。
OpenAI研究室今年推出的改良版本Open Five回歸賽季，最終戰(zhàn)勝了人類選手獲得冠軍。AI相關研究人員透露說，與周六在Open International 2018的失利相比，Open Five的勝利主要歸功于8倍的訓練計算量。
還有很多類似的例子表明，通過增加計算量可以更好的計算結果，這種方法對強化學習來說這確實是對的。目前，強化學習也是AI研究領域最熱門的方向之一。
訓練大型AI模型的財務成本
財務成本直接影響了訓練AI模型。OpenAI網站上的圖表顯示，該公司以1,800 petaflop/s-days的速度訓練DeepMind的圍棋AI——AlphaGoZero。
Flop代表浮點運算，petaflop/s-day (pfs-day)表示每天1020次運算。Google的TPU v3處理器是一個專門用于人工智能任務的處理器，它每天可以處理0.42 1020次運算，它每個小時花費2.4至8美元。這意味著大概需要246,800至822,800美元訓練AlphaGo模型，并且這個只是單純的計算操作的成本。
這一領域的其他顯著成就也付出了類似的代價，例如，根據DeepMind發(fā)布的數據，它旗下的玩星際爭霸AI由18部分組成，每一部分都使用16個Google的TPU v3處理器訓練了14天，這意味著按照目前的價格水平，這家公司花費了77.4萬美元訓練玩星球爭霸的人工智能。
AI研究的商業(yè)化
人工智能的計算需求對進入該領域的公司來說是一大門檻。
總部位于英國的著名人工智能實驗室DeepMind的成功主要是因為其母公司谷歌的巨大的資源投入。2014年，谷歌以6.5億美金收購DeepMind后，為其提供了足夠的資金支持和技術幫助。根據DeepMind向英國公司注冊處提交的文件顯示，今年早些時候，DeepMind在2018年虧損5.7億美金，高于2017年的3.41億美金。DeepMind今年還欠10.4億英鎊債券，其中8.83億英鎊來自Alphabet。
另一個是“燒錢大戶”是OpenAI。它最初是一個非盈利性人工智能研究實驗室，2016年獲得了薩姆•奧爾特曼和埃隆•馬斯克10億美元的資助。今年早些時候，OpenAI轉型為盈利性人工智能研究實驗室，以吸收投資者的資金。該實驗室支持其研究的資金已所剩無幾，今年微軟又宣布將在實驗室投資10億美元。
正如當前趨勢所示，由于AI研究(特別是強化學習)的成本，使得這些實驗室變得越來越依賴于有錢的公司，例如谷歌和微軟。
這種趨勢迫使人工智能研究商業(yè)化。隨著商業(yè)組織在為AI研究實驗室提供資金方面變得越來越重要，它們甚至可以影響研究方向。目前，像谷歌和微軟這樣的公司可以承受運行DeepMind和OpenAI等AI研究實驗室的財務費用，但是他們也希望在不久的將來獲得利潤。
問題是，OpenAI和DeepMind都在追求諸如通用人工智能(AGI)之類的科學項目。這是人類尚未完全理解的領域，更不用說實現了。大多數科學家都認為目前人類距實現通用人工智能至少還要一個世紀的時間，這樣的時間表使得最富有公司的耐心也得到了考驗。
對于AI研究實驗室來說，一種可能的情況是逐漸將目標從長期的學術和科學研究轉向能短期收益的面向商業(yè)的項目，這將使他們的投資者高興，但總體上卻不利于AI研究。
OpenAI研究人員表示：“我們對未來AI系統(tǒng)中計算機的使用非常不確定，但是也很難斷言算力快速增長的趨勢會停止，而且我們也看到了很多因素導致這種趨勢將繼續(xù)下去。根據這一分析，我們認為決策者應該考慮增加AI學術研究經費，顯而易見的是某些類型的AI研究所需的算力正在變得更高，因此費用會越來越高。”
AI研究的碳排放
訓練大型人工智能模型所需的計算資源消耗了大量的能源，這也造成了碳排放問題。
根據馬薩諸塞大學阿默斯特分校的研究人員發(fā)表的一篇論文，訓練一個帶有2.13億個參數的Transformer模型(常用于與語言相關的任務)所造成的污染相當于5輛汽車開到報廢的排放總量。Google著名的BERT語言模型和OpenAI的GPT-2分別有3.4億和15億個參數。
鑒于目前的AI研究被“越大越好”的口號所主導，人們對環(huán)境的擔憂只會日益加重。不幸的是，人工智能研究者很少報道或關注他們工作的這些方面。麻省理工大學的研究人員建議人工智能論文要公開他們的模型的環(huán)境成本，并讓公眾更好地了解他們的研究對環(huán)境的影響。
人工智能領域的慘痛教訓
對更大更復雜的神經網絡的最后一個擔憂，是它可能對AI研究的方向產生負面影響。目前，AI中一些障礙主要是通過使用更多數據并進行訓練來解決。與此同時，就人類大腦和AI處理一些相同的最簡單的任務來說，大腦所消耗的能量相比AI這小得多。
過于依賴不斷增加的算力，可能會使我們無法找到更有效的新的人工智能解決方案。
將神經網絡和符號派人工智能相結合的混合人工智能模型的開發(fā)是這一領域的一項有趣的領域。符號人工智能是經典的、基于規(guī)則的人工智能，與神經網絡不同，符號派人工智能不是通過增加計算資源和數據來擴展的。它也很難處理現實世界中混亂的、非結構化的數據，但它在知識表示和推理方面非常出色，而這兩個優(yōu)勢是神經網絡嚴重缺乏的。探索混合人工智能的想法可能會為發(fā)明資源效率更高的人工智能開辟新的途徑。
在此，我們不加贅述。感興趣的讀者可以閱讀加里馬庫斯和歐內斯特戴維斯的新書《重啟人工智能》(Rebooting AI)，以及計算機科學家朱迪亞·珀爾撰寫的《為什么》(The book of Why)。
“越大越好”的思想已經開始將AI研究帶向深淵?？茖W界不應該等到下一個人工智能寒冬才開始認真思考這些問題。
相關報道：
https://bdtechtalks.com/2019/11/25/ai-research-neural-networks-compute-costs/
【本文是51CTO專欄機構大數據文摘的原創(chuàng)譯文，微信公眾號“大數據文摘（ id: BigDataDigest）”】
