眾所周知，算力和數(shù)據(jù)非常重要，但只有它們就夠了嗎？ 

近日，一位reddit用戶發(fā)起一個(gè)討論帖：如果我們只有更多的數(shù)據(jù)和計(jì)算能力而停止理論工作的發(fā)展，今天的哪些問(wèn)題可以解決？哪些問(wèn)題絕對(duì)無(wú)法解決？ 

這個(gè)問(wèn)題引發(fā)了reddit網(wǎng)友的熱烈討論：

MrAcurite表示：我猜想任何涉及罕見(jiàn)疾病診斷的事情。我們沒(méi)有更多數(shù)據(jù)，因?yàn)閿?shù)據(jù)不存在。但這只是一個(gè)猜測(cè)，也許小樣本學(xué)習(xí)還是可以解決這個(gè)問(wèn)題的。

MichaelMMeskhi回復(fù)道：小樣本學(xué)習(xí)并不解決任何問(wèn)題。如果我們有數(shù)據(jù)，那么以往的的深度學(xué)習(xí)就可以了。但是從理論上講，小樣本學(xué)習(xí)可能能做到。

pm-me-your-covfefes表示： 

我想說(shuō)的是，有了足夠的數(shù)據(jù)，我們可以找到大多數(shù)問(wèn)題的解決方案，但這并不能使問(wèn)題解決（或更容易解決）。 

我是美國(guó)最大的醫(yī)療保健公司的高級(jí)數(shù)據(jù)科學(xué)總監(jiān)。我們很龐大。我們基本上有你想知道的任何事情的數(shù)據(jù)。我懷疑除了中國(guó)的醫(yī)療體系之外，沒(méi)有其他機(jī)構(gòu)擁有比我們更多的醫(yī)療數(shù)據(jù)。 

有了這些數(shù)據(jù)，我們就可以制作成千上萬(wàn)的生產(chǎn)模型，這些模型比我在公開(kāi)場(chǎng)合甚至私下里看到的任何東西都讓人印象深刻。這包括那些試圖進(jìn)入醫(yī)療行業(yè)的“性感”科技公司所做的一切。 

但是，這些模型對(duì)改善醫(yī)療保健并不重要。我們有一些模型可以很容易地預(yù)測(cè)出每種疾?。ㄉ踔潦亲詈币?jiàn)的疾病）。疾病預(yù)測(cè)模型根本不是新穎的。也許10到15年前。這些模型對(duì)改善醫(yī)療保健甚至沒(méi)有真正的幫助。 

以糖尿病預(yù)測(cè)模型為例。我不需要一個(gè)花哨的模型來(lái)告訴我，這個(gè)350磅重、每天吃?xún)蓚€(gè)漢堡的不聽(tīng)話的病人，將會(huì)得2型糖尿病。但是，即使當(dāng)他們被告知“嗨，你應(yīng)該改變你的飲食和生活方式”，他們的病情隨著時(shí)間的推移只會(huì)變得越來(lái)越嚴(yán)重和惡化（90%的概率）。這只會(huì)讓他們的健康狀況惡化，花更多的錢(qián)。 

長(zhǎng)話短說(shuō)，至少在醫(yī)療保健領(lǐng)域，即使沒(méi)有無(wú)限的數(shù)據(jù)，我們也可以創(chuàng)建我們想要的所有幻想模型，但這無(wú)助于解決問(wèn)題，因?yàn)樵诖蠖鄶?shù)情況下，問(wèn)題只是人（患者和providers）。我想對(duì)于其他依賴(lài)于人們做出他們可能不想做的改變的行業(yè)來(lái)說(shuō)，情況也是一樣的。

DoorsofPerceptron表示：“基本上，我認(rèn)為可以使用無(wú)限標(biāo)記的數(shù)據(jù)和近鄰取樣解決任何問(wèn)題。如果你有足夠的數(shù)據(jù)，那么你應(yīng)該已經(jīng)看過(guò)這一場(chǎng)景，你只需查找答案即可。 

我們也可以大幅改進(jìn)現(xiàn)有的深度學(xué)習(xí)方法，僅僅通過(guò)在問(wèn)題上拋出足夠的計(jì)算來(lái)找到最優(yōu)的架構(gòu)和在搜索空間上的brute forcing，而不是試圖想出一些聰明的東西。（在某種程度上，行業(yè)已經(jīng)做到了這一點(diǎn)，這就是為什么很多最好的架構(gòu)都來(lái)自谷歌這樣的地方）。 

如果你不需要擔(dān)心計(jì)算或數(shù)據(jù)，則可以通過(guò)關(guān)注探索/利用tradeoff的探索部分來(lái)最佳地進(jìn)行強(qiáng)化學(xué)習(xí)。 

因此，將需要更多地限制問(wèn)題。對(duì)于無(wú)限的數(shù)據(jù)和無(wú)限的計(jì)算，我認(rèn)為我們甚至不需要現(xiàn)代方法來(lái)解決所有問(wèn)題。”

m--w認(rèn)為：對(duì)于現(xiàn)代計(jì)算而言，大規(guī)模貝葉斯推理仍然過(guò)于昂貴。

談到哪些問(wèn)題是絕對(duì)解決不了的，Phylliida表示： 

我們甚至還沒(méi)有一個(gè)理論模型來(lái)解釋如何使技術(shù)奇點(diǎn)發(fā)生。例如，對(duì)于許多理論問(wèn)題，我們可以說(shuō)“如果我們有一個(gè)形式問(wèn)題X（如P=NP）的解決方案，我們就可以解決這個(gè)問(wèn)題”。對(duì)于奇點(diǎn)我們也不能說(shuō)，因?yàn)樗€沒(méi)有一個(gè)正式的定義。即使我們能夠以某種方式解決halting問(wèn)題，我們也沒(méi)有一條清晰的路徑去達(dá)到技術(shù)奇點(diǎn)（不，AIXI不是這樣的理論，AIXI描述了一個(gè)在一個(gè)有明確行動(dòng)和回報(bào)的環(huán)境中的optimal agent）。 

對(duì)于AGI來(lái)說(shuō)也是如此，盡管在AGI的情況下，至少具有足夠的計(jì)算能力和數(shù)據(jù)，我們可以通過(guò)試圖復(fù)制人類(lèi)行為來(lái)制作人類(lèi)智能的“duck typed”（如果它看起來(lái)像鴨子，并且行為像鴨子，那就是鴨子）模型。我們認(rèn)為這是使用talktoatransformer進(jìn)行的小規(guī)模操作，尚不足以進(jìn)行對(duì)話，但是subreddit模擬器GPT2非常逼真，而這正是我們目前擁有的計(jì)算能力和數(shù)據(jù)。

Turings_Ego則認(rèn)為：我認(rèn)為我們應(yīng)該走另一條路。該領(lǐng)域在很大程度上受到數(shù)據(jù)集/基準(zhǔn)測(cè)試的經(jīng)驗(yàn)支持。如果我們真的想解決更復(fù)雜的問(wèn)題，就需要做大量的工作來(lái)理解收斂性和什么不是收斂性。我預(yù)感到拓?fù)鋽?shù)據(jù)分析將提供這些證明的一些關(guān)鍵方面。

人工智能進(jìn)步來(lái)自計(jì)算力？周志華：絕對(duì)錯(cuò)誤！

再來(lái)看看國(guó)內(nèi)的AI大佬們是如何看待算力和數(shù)據(jù)的。

對(duì)于“人工智能進(jìn)步是計(jì)算能力帶來(lái)的”這種觀點(diǎn)，南大周志華教授曾表示：這個(gè)說(shuō)法絕對(duì)錯(cuò)誤的！周老師將IBM深藍(lán)和AlphaGo做對(duì)比，深藍(lán)下國(guó)際象棋每秒需要評(píng)估6億個(gè)位置，而AlphaGo面對(duì)更加復(fù)雜的圍棋，每秒也僅需評(píng)估2萬(wàn)個(gè)位置，“從6億到2萬(wàn)，這是機(jī)器學(xué)習(xí)算法帶來(lái)的提高，更不用說(shuō)是計(jì)算過(guò)程的目標(biāo)方向已經(jīng)有了根本的改變”。

對(duì)此，中科院計(jì)算所先進(jìn)計(jì)算機(jī)系統(tǒng)研究中心主任包云崗回應(yīng)，算法起到了至關(guān)重要的作用，而計(jì)算力的進(jìn)步也不可或缺。包云崗用“登月”來(lái)類(lèi)比兩者相輔相成的關(guān)系。“AI進(jìn)步中算法的作用是導(dǎo)航+一級(jí)火箭，計(jì)算能力的作用相當(dāng)于二級(jí)+三級(jí)火箭”，對(duì)于登月缺一不可。包云崗還表示，周老師提供的數(shù)據(jù)，從IBM評(píng)估6億個(gè)位置到AlphaGo評(píng)估2萬(wàn)個(gè)，“20年算法效率提高了3萬(wàn)倍”，客觀展示了算法的進(jìn)步。

對(duì)此，周志華教授表示，不是說(shuō)計(jì)算能力的提升不重要，而是說(shuō)人工智能技術(shù)取得的進(jìn)展，絕對(duì)不是單純由于“計(jì)算能力的提升造成的”。周老師做了進(jìn)一步闡釋?zhuān)悍较蛐缘霓D(zhuǎn)變，不是能靠計(jì)算能力的提升實(shí)現(xiàn)的。如果算法沒(méi)有取得突破，仍然依靠專(zhuān)家規(guī)則，哪怕是研發(fā)出量子計(jì)算機(jī)來(lái)加速也沒(méi)有用。 

此外，關(guān)于6億和2萬(wàn)的位置評(píng)估，兩者取得的結(jié)果并不一致。因此，不能簡(jiǎn)單地拿6億除以2萬(wàn)來(lái)計(jì)算加速比。周志華教授說(shuō)，算法的改變可能改變求解過(guò)程的性質(zhì)，今天人工智能取得的進(jìn)步恰恰是通過(guò)這一點(diǎn)，而且這是僅通過(guò)計(jì)算能力的提升無(wú)法實(shí)現(xiàn)的。

Hinton 認(rèn)為未來(lái)的 AI 系統(tǒng)將主要是無(wú)監(jiān)督的。無(wú)監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，可以從未標(biāo)記、未分類(lèi)的測(cè)試數(shù)據(jù)中提取知識(shí) —— 在學(xué)習(xí)共性和對(duì)共性是否存在做出反應(yīng)的能力方面，無(wú)監(jiān)督學(xué)習(xí)的能力幾乎達(dá)到人類(lèi)水平。

Hinton 說(shuō)：“如果你采用一個(gè)擁有數(shù)十億參數(shù)的系統(tǒng)，對(duì)某個(gè)目標(biāo)函數(shù)執(zhí)行隨機(jī)梯度下降，它的效果會(huì)比你想象的好得多…… 規(guī)模越大，效果越好。”

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)在幾十年前失敗，但是現(xiàn)在卻成功了，原因是什么？而它的局限又在什么地方？賈揚(yáng)清曾談到：

• 成功的原因，一點(diǎn)是大數(shù)據(jù)，一點(diǎn)是高性能計(jì)算。
• 局限的原因，一點(diǎn)是結(jié)構(gòu)化的理解，一點(diǎn)是小數(shù)據(jù)上的有效學(xué)習(xí)算法。

阿里巴巴副總裁賈揚(yáng)清認(rèn)為：“大量的數(shù)據(jù)，比如說(shuō)移動(dòng)互聯(lián)網(wǎng)的興起，以及 AWS 這樣低成本獲得標(biāo)注數(shù)據(jù)的平臺(tái)，使機(jī)器學(xué)習(xí)算法得以打破數(shù)據(jù)的限制；由于 GPGPU 等高性能運(yùn)算的興起，又使得我們可以在可以控制的時(shí)間內(nèi)（以天為單位甚至更短）進(jìn)行 exaflop 級(jí)別的計(jì)算，從而使得訓(xùn)練復(fù)雜網(wǎng)絡(luò)變得可能。要注意的是，高性能計(jì)算并不僅限于 GPU ，在 CPU 上的大量向量化計(jì)算，分布式計(jì)算中的 MPI 抽象，這些都和 60 年代就開(kāi)始興起的 HPC 領(lǐng)域的研究成果密不可分。

但是，我們也要看到深度學(xué)習(xí)的局限性。今天，很多深度學(xué)習(xí)的算法還是在感知這個(gè)層面上形成了突破，可以從語(yǔ)音、圖像，這些非結(jié)構(gòu)化的數(shù)據(jù)中進(jìn)行識(shí)別的工作。在面對(duì)更加結(jié)構(gòu)化的問(wèn)題的時(shí)候，簡(jiǎn)單地套用深度學(xué)習(xí)算法可能并不能達(dá)到很好的效果。有的同學(xué)可能會(huì)問(wèn)為什么 AlphaGo 和 Starcraft 這樣的算法可以成功， 一方面，深度學(xué)習(xí)解決了感知的問(wèn)題，另一方面，我們也要看到還有很多傳統(tǒng)的非深度學(xué)習(xí)算法，比如說(shuō) Q-learning 和其他增強(qiáng)學(xué)習(xí)的算法，一起支撐起了整個(gè)系統(tǒng)。而且，在數(shù)據(jù)量非常小的時(shí)候，深度學(xué)習(xí)的復(fù)雜網(wǎng)絡(luò)往往無(wú)法取得很好的效果，但是很多領(lǐng)域，特別是類(lèi)似醫(yī)療這樣的領(lǐng)域，數(shù)據(jù)是非常難獲得的，這可能是接下去的一個(gè)很有意義的科研方向。

接下去，深度學(xué)習(xí)或者更廣泛地說(shuō)，AI 這個(gè)方向會(huì)怎么走？我個(gè)人的感覺(jué)，雖然大家前幾年一直關(guān)注 AI 框架，但是近年來(lái)框架的同質(zhì)化說(shuō)明了它不再是一個(gè)需要花大精力解決的問(wèn)題，TensorFlow 這樣的框架在工業(yè)界的廣泛應(yīng)用，以及各種框架利用 Python 在建模領(lǐng)域的優(yōu)秀表現(xiàn)，已經(jīng)可以幫助我們解決很多以前需要自己編程實(shí)現(xiàn)的問(wèn)題，因此，作為 AI 工程師，我們應(yīng)該跳出框架的桎梏，往更廣泛的領(lǐng)域?qū)ふ覂r(jià)值。”