人工智能會(huì)產(chǎn)生意識(shí)嗎？

這是一直以來(lái)美劇《西部世界》中探討的問(wèn)題。AI主人公覺(jué)醒，意識(shí)到這個(gè)世界是人類(lèi)殺伐主宰的樂(lè)園，于是開(kāi)啟了逆襲之路。

[[324368]]

在本周舉行的2020年ICLR上，圖靈獎(jiǎng)得主、蒙特利爾學(xué)習(xí)算法研究所主任Yoshua Bengio對(duì)AI和機(jī)器學(xué)習(xí)的未來(lái)提供了最新的見(jiàn)解。他講到未來(lái)機(jī)器學(xué)習(xí)完全有可能超越無(wú)意識(shí)，向全意識(shí)邁進(jìn)。而注意力機(jī)制正是實(shí)現(xiàn)這一過(guò)程的關(guān)鍵要素。

這位大咖2月份剛剛在紐約的2020年AAAI 會(huì)議上與圖靈獎(jiǎng)獲得者 Geoffrey Hinton 和 Yann LeCun 一起發(fā)表了演講。而在ICLR的演講中，Bengio 闡述了他更早之前的一些想法。

注意力機(jī)制是啥？

注意力機(jī)制來(lái)源于人類(lèi)的視覺(jué)注意力，是人類(lèi)在進(jìn)化過(guò)程中形成的一種處理視覺(jué)信息的機(jī)制。最簡(jiǎn)單的例子，比如看一個(gè)圖片，會(huì)有特別顯眼的場(chǎng)景率先吸引注意力，因?yàn)榇竽X中對(duì)這類(lèi)東西很敏感。 

[[324369]]

注意力是神經(jīng)科學(xué)理論的核心，該理論認(rèn)為人們的注意力資源有限，所以大腦會(huì)自動(dòng)提煉最有用的信息。

在機(jī)器學(xué)習(xí)的語(yǔ)境下，「注意力」指的是一個(gè)算法關(guān)注一個(gè)或同時(shí)關(guān)注到幾個(gè)元素的機(jī)制。它是一些機(jī)器學(xué)習(xí)模型架構(gòu)的核心。2017年，谷歌論文Attention is All You Need當(dāng)中提出了Transformer，一個(gè)利用注意力機(jī)制來(lái)提高模型訓(xùn)練速度的方法。Transformer在一些特定任務(wù)中性能表現(xiàn)超過(guò)Google之前的神經(jīng)機(jī)器翻譯模型。

Google Transformer架構(gòu)

目前，注意力模型（Attention Model）已經(jīng)在自然語(yǔ)言處理、圖像識(shí)別以及語(yǔ)音識(shí)別等領(lǐng)域取得了最先進(jìn)的成果，是深度學(xué)習(xí)技術(shù)中最值得關(guān)注與深入了解的核心技術(shù)之一。注意力模型也是構(gòu)成企業(yè)AI的基礎(chǔ)，幫助員工完成一系列認(rèn)知要求高的任務(wù)。

類(lèi)比人類(lèi)思維，靠直覺(jué)還是靠推理？

Bengio 在演講中談到了美籍以色列心理學(xué)家兼經(jīng)濟(jì)學(xué)家 Daniel Kahneman 在他2011出版的開(kāi)創(chuàng)性著作《思考，快與慢》中提出的認(rèn)知系統(tǒng)。

第一種認(rèn)知類(lèi)型是無(wú)意識(shí)的（快系統(tǒng)），憑直覺(jué)，非?？焖?，非語(yǔ)言性的，基于慣性，它只涉及隱含的知識(shí)類(lèi)型，是人潛意識(shí)中的知識(shí)，深藏于腦海中。

簡(jiǎn)單說(shuō)，這種過(guò)程不費(fèi)腦子，第一反應(yīng)，直覺(jué)地做出回應(yīng)。比如說(shuō)，思考1+1=2的過(guò)程。

當(dāng)然這種直覺(jué)思考的過(guò)程會(huì)產(chǎn)生很多偏差，比如說(shuō)曝光效應(yīng)，光環(huán)效應(yīng)等。曝光效應(yīng)一個(gè)最明顯的例子就是電視廣告，天天重復(fù)播放的信息給你洗腦，會(huì)在人的大腦里構(gòu)成曝光效應(yīng)，讓你覺(jué)得這個(gè)產(chǎn)品好。直覺(jué)很多時(shí)候是非理性的。

第二種認(rèn)知類(lèi)型是有意識(shí)的（慢系統(tǒng)），基于語(yǔ)言學(xué)和算法，要涉及更高級(jí)一些的推理和規(guī)劃，以及顯性的知識(shí)。換句話說(shuō)，是需要費(fèi)力思考的，比較慢，比如說(shuō)腦內(nèi)運(yùn)算158乘以67。

正是快和慢的結(jié)合構(gòu)成了我們?nèi)祟?lèi)的思維模式。

Bengio將這個(gè)人類(lèi)的有意識(shí)思維和AI進(jìn)行對(duì)比，他指出，有意識(shí)的認(rèn)知系統(tǒng)的一個(gè)有趣特征是，它可以在新的情境下，將語(yǔ)義概念進(jìn)行重組，這也是人工智能和機(jī)器學(xué)習(xí)算法所具備的特性。

某種程度上，AI和機(jī)器學(xué)習(xí)算法比人腦的直覺(jué)要更加理性。

這讓人想起《西部世界》的科學(xué)顧問(wèn)，神經(jīng)學(xué)家大衛(wèi)·伊格爾曼（David Eagleman）說(shuō)的一句話，意識(shí)，是一種突破程序設(shè)定的連接。我們能夠復(fù)制大腦的算法；如果這個(gè)算法等同于意識(shí)，那意識(shí)也理應(yīng)可以被復(fù)制和轉(zhuǎn)移。

意識(shí)從無(wú)到有，未來(lái)AI不再「跟著感覺(jué)走」？

目前的機(jī)器學(xué)習(xí)方法還沒(méi)有完全超越無(wú)意識(shí)到全意識(shí)，但是 Bengio 相信這種轉(zhuǎn)變未來(lái)是完全有可能的。

他指出，神經(jīng)科學(xué)研究表明，有意識(shí)的思維中涉及的語(yǔ)義變量往往是含有因果關(guān)系的ーー它們涉及的對(duì)象可控，比如說(shuō)意圖。換句話說(shuō)，不再跟著感覺(jué)走，是有邏輯和目的性在其中。

同時(shí)，語(yǔ)義變量和思維之間存在映射關(guān)系，例如詞語(yǔ)和句子之間的關(guān)系，而且已有的概念可以進(jìn)行重新組合，形成新的、不熟悉的概念。

注意力正是實(shí)現(xiàn)這一過(guò)程的核心要素之一，Bengio 解釋道。

在此基礎(chǔ)上，他和同事們?cè)谌ツ甑囊黄撐闹刑岢隽搜h(huán)獨(dú)立機(jī)制(recurrent independent mechanism，RIMs) ，這是一種新的模型架構(gòu)，在這種架構(gòu)中，多組單元獨(dú)立運(yùn)作，相互之間通過(guò)注意力機(jī)制交流。前者保證了專(zhuān)業(yè)，后者保證了泛化。

實(shí)驗(yàn)?zāi)繕?biāo)是，證明 RIM 能夠改善模型在不同環(huán)境和模塊化任務(wù)中的泛化效果。該研究不關(guān)注該方法是否超出高度優(yōu)化的基線模型，而是想展示該方法面對(duì)大量不同任務(wù)時(shí)的通用性，且這些任務(wù)的環(huán)境是不斷變化的。 

圖 10：RIM 與 LSTM 基線模型的對(duì)比。在這 4 個(gè)不同實(shí)驗(yàn)中，研究者對(duì)比了 RIM 和兩個(gè)不同的 LSTM 基線模型。在所有案例中，研究者發(fā)現(xiàn) rollout 過(guò)程中，RIM 比 LSTM 更準(zhǔn)確地捕捉到球的運(yùn)動(dòng)軌跡。

實(shí)驗(yàn)結(jié)果表明，RIM具備專(zhuān)門(mén)化（specialization）特性，可大幅提升模型在大量不同任務(wù)上的泛化性能。

「這使得智能體能夠更快地適應(yīng)分布的變化，或者... ... 推斷出變化發(fā)生的原因，」Bengio 說(shuō)。

他又講到想要打造「有意識(shí)」的AI系統(tǒng)面臨幾大挑戰(zhàn)，包括訓(xùn)練模型進(jìn)行元學(xué)習(xí)(或理解數(shù)據(jù)中的因果關(guān)系) ，以及加強(qiáng)機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)之間的集成。但他相信，生物學(xué)和AI研究之間的相互作用最終將解開(kāi)這把神奇的鑰匙，使這些機(jī)器可以像人類(lèi)一樣推理，甚至表達(dá)情感。 

[[324370]]

「神經(jīng)科學(xué)早已開(kāi)始研究意識(shí)相關(guān)的問(wèn)題了... ... 在過(guò)去的幾十年里取得了很大進(jìn)展。我認(rèn)為現(xiàn)在是時(shí)候?qū)⑦@些進(jìn)展納入到機(jī)器學(xué)習(xí)模型當(dāng)中了?！笲engio在演講中表示。

看來(lái)西部世界中的世界也不遠(yuǎn)了...