[[432064]]

長(zhǎng)期以來(lái)，深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)的靈感被很多學(xué)者認(rèn)為是來(lái)自人類的大腦。

比如，神經(jīng)元之間的連接在人工神經(jīng)網(wǎng)絡(luò)中，是用節(jié)點(diǎn)之間的權(quán)重表示的。正值表示興奮性連接，負(fù)值表示抑制性連接。

所有輸入都通過(guò)權(quán)重進(jìn)行加權(quán)并求和（線性組合），然后，通過(guò)激活函數(shù)控制值域輸出。例如，可接受的輸出范圍通常在0和1之間，也可以在-1和1之間。

在某種意義上，人工神經(jīng)網(wǎng)絡(luò)確實(shí)粗淺地模仿了大腦底層神經(jīng)元的活動(dòng)。

算力「陷阱」

2016年，AlphaGo橫空出世，以4:1擊敗了李世石，技驚四座。但不能忽視的是，DeepMind訓(xùn)練AlphaGo時(shí)，大概花費(fèi)了3500萬(wàn)美元！

后來(lái)，DeepMind想訓(xùn)練一個(gè)玩《星際爭(zhēng)霸II》游戲的模型（后來(lái)的AlphaStar），就嘗試了非常多的方式構(gòu)建模型，但最后的訓(xùn)練成本還是太高了。

近年來(lái)，在自然語(yǔ)言處理領(lǐng)域又開啟了一股「大模型」的熱潮。

2018年，谷歌提出3億參數(shù)BERT模型驚艷四座，將自然語(yǔ)言處理推向了一個(gè)前所未有的新高度。

緊接著，OpenAI在2019年初推出15億參數(shù)的GPT-2，英偉達(dá)推出威震天（Megatron-LM）83億參數(shù)，谷歌T5模型110億參數(shù)，微軟圖靈Turing-NLG模型170億參數(shù)。

這些模型一次次不斷地刷新參數(shù)規(guī)模的數(shù)量級(jí)，而2020年GPT-3的出現(xiàn)成為這一數(shù)量級(jí)的分界線。

GPT-3，1750億參數(shù)，參數(shù)規(guī)模達(dá)到千億級(jí)別，直逼人類神經(jīng)元的數(shù)量，能作詩(shī)、聊天、生成代碼等等。

就在近日，微軟和英偉達(dá)聯(lián)手發(fā)布了Megatron-Turing自然語(yǔ)言生成模型(MT-NLG)，5300億參數(shù)，同時(shí)奪得單體Transformer語(yǔ)言模型界「最大」和「最強(qiáng)」兩個(gè)稱號(hào)。

這種對(duì)于模型參數(shù)和訓(xùn)練算力的極致追求，究竟是通往AGI的「必經(jīng)之路」，還是大公司強(qiáng)調(diào)技術(shù)實(shí)力的「趨之若鶩」呢？

MIT一項(xiàng)最新的研究可能給出了答案。

計(jì)算=認(rèn)知？No!

人類的認(rèn)知可能與計(jì)算沒(méi)有任何關(guān)系。

心智的計(jì)算理論（The Computational Theory of Mind）是一個(gè)根深蒂固的理論，從上世紀(jì)40年代早期芝加哥的 Warren McCulloch 和 Walter Pitts 的工作開始，后來(lái)在MIT，Jerome Lettvin 和 Humberto 也加入對(duì)這個(gè)問(wèn)題的研究。

大腦的判斷是基于計(jì)算，很多人都會(huì)這么認(rèn)為。

但在人類歷史的進(jìn)程中，許多錯(cuò)誤理論有時(shí)會(huì)流行長(zhǎng)達(dá)數(shù)十年之久。

你以為的就是你以為的嗎？

比如燃燒的「燃素」理論。從 1667 年起的一個(gè)多世紀(jì)里，大多數(shù)科學(xué)家都認(rèn)為，不同物質(zhì)之所以能夠燃燒，是因?yàn)橐环N常見的物質(zhì)，這種物質(zhì)后來(lái)被稱為「燃素」。

燃素可以通過(guò)火消散到空氣中?？諝馕杖妓氐哪芰κ怯邢薜模匀绻挥猩倭靠諝饪捎?，火就會(huì)熄滅。

直到 19 世紀(jì)末，在解釋和描述宇宙中可以直接觀察的對(duì)象的運(yùn)動(dòng)規(guī)律上，牛頓的經(jīng)典物理學(xué)還占據(jù)著統(tǒng)治地位。但到了 20 世紀(jì)初，愛因斯坦的理論引發(fā)了兩次革命，相對(duì)論和能量都被量子化了，并產(chǎn)生了新的學(xué)科：量子力學(xué)。

100 多年后，基于量子力學(xué)的成果仍在不斷出現(xiàn)，比如量子計(jì)算機(jī)和量子通信，可能讓今天的最先進(jìn)的數(shù)據(jù)加密技術(shù)變得一文不值。

在過(guò)去的 30 年里，人們一直認(rèn)為阿爾茨海默病的機(jī)制是淀粉樣蛋白斑塊在大腦中的積累，因?yàn)橛^察發(fā)現(xiàn)，患阿爾茨海默病的人的大腦中總是有這種斑塊。

直到最近，人們才發(fā)現(xiàn)，使用降低淀粉樣蛋白斑塊的藥物進(jìn)行的試驗(yàn)并未緩解阿爾茨海默病的病情。

現(xiàn)在認(rèn)為，淀粉樣斑塊是阿爾茨海默病的副作用，而不是病因。過(guò)去對(duì)阿爾茨海默病病因研究的替代方法投入不夠，此類研究經(jīng)常在同行評(píng)議中被視為「非主流」。

長(zhǎng)期存在的科學(xué)理論可能經(jīng)常被取代，隨著時(shí)間的推移，任何特定科學(xué)領(lǐng)域的理論，有時(shí)都會(huì)因?yàn)榇嬖诟惧e(cuò)誤而被淘汰。

意識(shí)來(lái)源新假說(shuō)：「自我組織」

我們現(xiàn)在都假設(shè)智能、思想、認(rèn)知，這些都是計(jì)算的產(chǎn)物。

神經(jīng)科學(xué)計(jì)算目前是人類理解這些現(xiàn)象的最普遍方式。神經(jīng)科學(xué)的對(duì)應(yīng)研究對(duì)象就是人工智能，而要構(gòu)建一個(gè)智能系統(tǒng)，就要編寫計(jì)算機(jī)程序。

1956年，約翰·麥卡錫 (John McCarthy) 在達(dá)特茅斯人工智能研討會(huì)上首次提出了「人工智能」一次，他在會(huì)議報(bào)告的第一頁(yè)就明確提出了這一立場(chǎng)。

也許有意識(shí)的體驗(yàn)來(lái)自某種「自我組織」。而計(jì)算主義，可能根本不是我們應(yīng)該專注的技術(shù)核心。

新的衛(wèi)星發(fā)射企業(yè)并不能主要通過(guò)編程將人們送入太空。雖然在發(fā)射過(guò)程中會(huì)涉及到很多計(jì)算機(jī)程序，但核心機(jī)制是在助推器中用氧氣燃燒不含燃素的火箭燃料，并化為對(duì)火箭的推力。

Python 腳本本身無(wú)法完成工作。同樣，只憑計(jì)算機(jī)計(jì)算出原子應(yīng)該所處的位置和狀態(tài)，并不會(huì)產(chǎn)生結(jié)晶，結(jié)晶是作為「自我組織」的原子在相互作用力下的產(chǎn)物。

人的大腦內(nèi)部大量存在二維神經(jīng)元。研究人員很久以前就確定，這些地方的神經(jīng)活動(dòng)可以非常準(zhǔn)確地與感官刺激相對(duì)應(yīng)。許多研究人員將這些神經(jīng)行為描述為「計(jì)算的結(jié)果」。

他們認(rèn)為，這些計(jì)算是我們能夠有意識(shí)地體驗(yàn)世界的原因。

但也許這都是錯(cuò)誤的。也許這些有意識(shí)的體驗(yàn)來(lái)自某種「自我組織」（self-organization）。我們與這些感覺(jué)相關(guān)的計(jì)算可能只是我們自己的發(fā)明，用來(lái)解釋感覺(jué)機(jī)制，但實(shí)際上并不是產(chǎn)生感覺(jué)的主要原因。

當(dāng)然，以目前的思維方式來(lái)說(shuō)，這個(gè)說(shuō)法聽起來(lái)確實(shí)挺讓人毛骨悚然的。