本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

毫無(wú)疑問(wèn)，人類有自己的意識(shí)。在某種意義上，這種「意識(shí)」甚至可以被視為人類智能的內(nèi)涵之一。

隨著「人工智能」（Artificial Intelligence）的深入發(fā)展，「AI 能否擁有意識(shí)」也漸漸成為科學(xué)家們心中的一個(gè)疑問(wèn)，「意識(shí)」也被視為衡量 AI 是否智能的標(biāo)準(zhǔn)之一。

例如，2月中旬，OpenAI 的首席科學(xué)家 IIya Sutskever 就曾在推特上發(fā)起對(duì) AI 意識(shí)的討論。當(dāng)時(shí)，他說(shuō)：

如今的大型神經(jīng)網(wǎng)絡(luò)可能已初具意識(shí)。

他的觀點(diǎn)立即引起了一眾 AI 大咖的討論。針對(duì) IIya Sutskever 的見(jiàn)解，圖靈獎(jiǎng)得主、Meta AI 首席科學(xué)家 Yann LeCun 首先就拋出了反對(duì)意見(jiàn)，給出一個(gè)直截了當(dāng)?shù)挠^點(diǎn)：「Nope.」（不。）Judea Pearl 也力挺 Lecun，表示現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)還無(wú)法「深度理解」某些領(lǐng)域。

唇槍舌戰(zhàn)幾回合后，Judea Pearl 稱：

……事實(shí)上我們都沒(méi)有一個(gè)關(guān)于「意識(shí)」的正式定義。我們唯一能做的也許就是向歷代研究意識(shí)的哲學(xué)家請(qǐng)教...

這是一個(gè)關(guān)于源頭的問(wèn)題。如果需要討論「AI 意識(shí)」，那么：什么是「意識(shí)」？擁有「意識(shí)」意味著什么？要回答這些問(wèn)題，光有計(jì)算機(jī)知識(shí)是遠(yuǎn)遠(yuǎn)不夠的。

事實(shí)上，關(guān)于「意識(shí)」的討論最早可以追溯到古希臘「軸心時(shí)代」。自那時(shí)起，「意識(shí)」作為人的認(rèn)識(shí)論的本質(zhì)就已成為后代哲學(xué)家們無(wú)法回避的議題。關(guān)于 AI 意識(shí)的討論興起后，曾任 OpenAI 研究科學(xué)家的學(xué)者 Amanda Askell 也就該話題作了一番有趣的見(jiàn)解。

圖注：Amanda Askell，她的研究方向是 AI 與哲學(xué)的交叉

在她的最新博文《My mostly boring views about AI consciousness》中，Askell 探討了現(xiàn)象學(xué)意義上的「現(xiàn)象意識(shí)」（phenomenal consciousness），而非「自覺(jué)意識(shí)」（access consciousness）。

現(xiàn)象意識(shí)強(qiáng)調(diào)主體的體驗(yàn)過(guò)程，側(cè)重感覺(jué)、經(jīng)驗(yàn)，被動(dòng)注意；而自覺(jué)意識(shí)則強(qiáng)調(diào)主體的主觀能動(dòng)性，它強(qiáng)調(diào)主體在主觀上的主動(dòng)留意。比如，你在輕松的音樂(lè)下寫作業(yè)，你可以感受到背景中的音樂(lè)（現(xiàn)象意識(shí)），但不會(huì)留意它的具體內(nèi)容；作業(yè)對(duì)你而言是主觀留意的（自覺(jué)意識(shí)），你真切地知道你到底在做什么。

這有點(diǎn)像計(jì)算機(jī)視覺(jué)和認(rèn)知科學(xué)中常用到的兩種不同的注意力機(jī)制?，F(xiàn)象意識(shí)對(duì)應(yīng)「bottom-up」，而自覺(jué)意識(shí)對(duì)應(yīng)「top-down」。

圖注：一眼就可以注意到書本的大字部分是「現(xiàn)象意識(shí)」

意識(shí)到其中的細(xì)節(jié)則屬于「自覺(jué)意識(shí)」。Askell 認(rèn)同更高級(jí)的智能和自覺(jué)意識(shí)更相關(guān)，這也可以將人類和其它動(dòng)物有效地區(qū)分開(kāi)來(lái)，但她「更感興趣的是老虎與巖石的區(qū)別，而不是人與老虎的區(qū)別」，而現(xiàn)象意識(shí)足以完成這樣的區(qū)分。

而且她認(rèn)為，如果出現(xiàn)了「現(xiàn)象意識(shí)」，就意味著一些道德和倫理問(wèn)題也將隨之出現(xiàn)。這也是她認(rèn)為研究意識(shí)具有重要意義的原因所在。

1 當(dāng)下的AI系統(tǒng)是否有意識(shí)？

Askell 提出一個(gè)有趣的觀察：

當(dāng)下的 AI 系統(tǒng)比椅子更有可能具有現(xiàn)象意識(shí)，但遠(yuǎn)不如老鼠有意識(shí)，甚至還沒(méi)有昆蟲(chóng)、魚(yú)或雙殼類動(dòng)物有更多意識(shí)。

她把 AI 系統(tǒng)大致類比為植物的區(qū)域——由于植物的行為方式似乎需要規(guī)劃，并且可以做出一些看似需要內(nèi)部和外部交流的事情。AI 系統(tǒng)似乎也有類似的行為。

不過(guò)她也確信，AI 系統(tǒng)作為一個(gè)整體在未來(lái)會(huì)比植物或雙殼類動(dòng)物具有更大的意識(shí)潛力。尤其未來(lái)有更多受生物啟發(fā)的神經(jīng)網(wǎng)絡(luò)的AI研究可能會(huì)產(chǎn)生更多與意識(shí)相關(guān)的架構(gòu)、行為和認(rèn)知系統(tǒng)。

圖注：有研究已經(jīng)表明，植物也具有意識(shí)和智能，它們也可以感知疼痛，并與環(huán)境很好地交流互動(dòng)

那么考慮AI到底有無(wú)意識(shí)，該從哪些方面考慮證據(jù)呢？Askell 列出了四個(gè)類型的證據(jù)：架構(gòu)、行為、功能和理論。

• 架構(gòu)證據(jù)是指系統(tǒng)的物理結(jié)構(gòu)與人類的相似程度，例如大腦的結(jié)構(gòu)要遠(yuǎn)比指頭的更加像有意識(shí)。
• 行為證據(jù)是實(shí)體做出與意識(shí)、認(rèn)知等相關(guān)的行為，例如可以意識(shí)到周圍環(huán)境，對(duì)外部刺激的反應(yīng)，或更復(fù)雜的行為，如言語(yǔ)和推理。
• 功能性證據(jù)考慮它的目標(biāo)以及這些目標(biāo)與環(huán)境的關(guān)系。例如桌子或椅子并沒(méi)有真正受到環(huán)境的演化壓力，因此它沒(méi)有任何理由形成像老鼠對(duì)環(huán)境所擁有的的那種意識(shí)。
• 理論證據(jù)包括理論本身的連貫性、說(shuō)服力等。

現(xiàn)在研究心智的哲學(xué)家大致有兩方面的理論傾向：一是包容派，例如認(rèn)為原子都可以擁有意識(shí)的泛心派；二是機(jī)械主義派，他們否認(rèn)非人類實(shí)體擁有意識(shí)。但無(wú)論是哪種傾向，都可以從上述的四種不同證據(jù)中討論 AI 的意識(shí)問(wèn)題。

2 AI 是否有意識(shí)重要嗎？

絕大多數(shù) AI 從業(yè)者都不會(huì)將意識(shí)這一特性考慮進(jìn)去，AI 和意識(shí)似乎還只存在于某些科幻電影對(duì)未來(lái)的想象中。不過(guò)在安全、倫理、偏見(jiàn)與公正性方面，意識(shí)與 AI 的結(jié)合已在學(xué)術(shù)界和工業(yè)界中引起越來(lái)越多的重視。

Askell 認(rèn)為，AI 具有現(xiàn)象意識(shí)，這就意味著它很有可能發(fā)展出倫理觀，而這與它的創(chuàng)作者之間有莫大關(guān)系。尤其是當(dāng) AI 犯了錯(cuò)誤或者受到「虐待」的時(shí)候，它的創(chuàng)造者應(yīng)該承擔(dān)一定的責(zé)任。

Askell 討論了道德倫理學(xué)中的兩個(gè)重要概念：道德行為體（moral agent）和道德關(guān)懷對(duì)象（moral patient）。其中，「道德行為體」是具有分辨善惡對(duì)錯(cuò)能力、并可以承擔(dān)后果的行為體，如成年人；而「道德關(guān)懷對(duì)象」則無(wú)法分辨善惡是非，即無(wú)法從道德上進(jìn)行約束、一般不會(huì)承擔(dān)后果的實(shí)體，如動(dòng)物或者幼小的嬰兒。

道德關(guān)懷對(duì)象

Askell 認(rèn)為，實(shí)體一旦擁有類似快樂(lè)和痛苦的知覺(jué)（sentisent）就極可能成為道德關(guān)懷對(duì)象。而如果發(fā)現(xiàn)道德關(guān)懷對(duì)象（比如一只貓）受到痛苦，而普通人卻沒(méi)有試圖去盡道德義務(wù)減輕其痛苦，這是不合理的。她同時(shí)認(rèn)為，現(xiàn)象意識(shí)是感知的必要條件，因而進(jìn)一步，現(xiàn)象意識(shí)是成為道德關(guān)懷對(duì)象的先決條件。

可能的爭(zhēng)論是某些群體是否具有道德地位（moral status），或者是否擁有更高的道德地位。道德地位來(lái)自倫理學(xué)，是指一個(gè)群體是否可以從道德意義上討論它們的過(guò)失。例如，多數(shù)生物具有道德地位，而無(wú)生命物體則沒(méi)有。過(guò)分強(qiáng)調(diào)某一群體具有這一地位似乎在暗示這一群體更加重要，其他群體沒(méi)那么重要。這就像「給予動(dòng)物、昆蟲(chóng)、胎兒、環(huán)境等更多道德地位的論點(diǎn)一樣讓人擔(dān)憂」。

Askell 指出，幫助一個(gè)群體并不需要以犧牲其他群體為代價(jià)。例如，食用素食對(duì)動(dòng)物和人類健康都有好處。「團(tuán)隊(duì)通常不會(huì)競(jìng)爭(zhēng)相同的資源，我們通常可以使用不同的資源來(lái)幫助兩個(gè)團(tuán)隊(duì)，而不是強(qiáng)迫在它們之間進(jìn)行權(quán)衡。如果我們想增加用于全球脫貧的資源，將現(xiàn)有的捐款從慈善事業(yè)中拿出來(lái)并不是唯一的選擇——我們還可以鼓勵(lì)更多的人捐款和捐款?！?/p>

所以，當(dāng)未來(lái)有感知能力的 AI 系統(tǒng)成為道德關(guān)懷體時(shí)，并不意味著我們對(duì)其它人類的福祉不再關(guān)心，也不意味著我們需要轉(zhuǎn)移現(xiàn)有資源來(lái)幫助他們。

道德行為體

道德行為體因?yàn)槎蒙茞菏欠?，他們傾向以好的方式行事，避免以壞的方式行事。當(dāng)做了道德或法律上不允許的事情的時(shí)候，他們會(huì)受到相應(yīng)的懲罰。

道德行為體中最弱的部分只需要對(duì)積極和消極的激勵(lì)做出反應(yīng)。這就是說(shuō)，另外的實(shí)體可以懲罰該行為體的不良行為或獎(jiǎng)勵(lì)其良好行為，因?yàn)檫@將改善行為體今后的行為。

值得注意的是，Askell 指出：接收刺激并得到反饋似乎并不要求現(xiàn)象意識(shí)。當(dāng)前的 ML 系統(tǒng)在某種意義上已經(jīng)符合這一規(guī)律，比如模型需要降低損失函數(shù)，或者強(qiáng)化學(xué)習(xí)中更明顯的「獎(jiǎng)勵(lì)」和「懲罰」。

圖注：強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)反饋機(jī)制

那么對(duì)于更強(qiáng)的道德行為體呢？我們通常認(rèn)為，只有當(dāng)行為體有能力理解是非對(duì)錯(cuò)，并沒(méi)有被糊弄采取其它行為時(shí)，Ta 才能對(duì)他們的行為負(fù)有道德責(zé)任。比方說(shuō)，一個(gè)人說(shuō)服他的朋友在森林放火，如果這位朋友被抓到，不管他怎么辯解自己是受到別人教唆才放火的，承擔(dān)道德責(zé)任的都是引發(fā)火災(zāi)的人（即朋友本人），而不是說(shuō)服他的人。但是，如果一個(gè)人訓(xùn)練他的狗去放火，在這種情況下，我們會(huì)將大部分的道德責(zé)任放在這位訓(xùn)練師而不是他的寵物身上。

為什么我們讓人類縱火犯承擔(dān)道德責(zé)任，而不是訓(xùn)練有素的狗？首先，人類縱火犯有能力考慮他們的選擇，并選擇不聽(tīng)從朋友的勸說(shuō)，而狗則缺乏這種能力來(lái)推理他們的選擇。其次，狗從不明白自己的行為是錯(cuò)誤的，也從不表現(xiàn)出做錯(cuò)事的意圖（disposition）——它只是做了它受過(guò)訓(xùn)練的事情。

假設(shè)先進(jìn)的機(jī)器學(xué)習(xí)系統(tǒng)在這種更強(qiáng)的意義上成為道德行為體，即它完全有能力理解是非，充分考慮可行的選項(xiàng)，并按照自己的意愿行事，那么這是否意味著：如果機(jī)器學(xué)習(xí)系統(tǒng)做錯(cuò)了事，那些創(chuàng)建該系統(tǒng)的人應(yīng)該被免除道德責(zé)任？

對(duì)此，Askell 持反對(duì)意見(jiàn)。為了更加細(xì)致地考慮這一問(wèn)題，她認(rèn)為可以詢問(wèn)創(chuàng)造者們以下幾個(gè)問(wèn)題：

• 創(chuàng)造特定的實(shí)體（如AI）預(yù)期的影響是什么？
• 創(chuàng)造者為獲得有關(guān)其影響的證據(jù)付出了多少努力？
• 他們對(duì)他們創(chuàng)造實(shí)體的行為可以在多大程度上進(jìn)行控制（無(wú)論是直接影響其行為還是間接影響其意圖）？
• 在他們力所能及的范圍內(nèi)，他們?yōu)楦纳茖?shí)體的行為付出了多少努力？

即使創(chuàng)造者盡一切努力確保 ML 系統(tǒng)運(yùn)行良好，它們還是可能會(huì)失敗。有時(shí)這些失敗還是由于創(chuàng)造者的錯(cuò)誤或疏忽而導(dǎo)致的。Askell 認(rèn)為：創(chuàng)造道德行為體肯定會(huì)使事情復(fù)雜化，因?yàn)榈赖滦袨轶w比自動(dòng)機(jī)（automata）更難預(yù)測(cè)，比方自動(dòng)駕駛對(duì)于路況的判斷。但這并不能免除創(chuàng)作者為其創(chuàng)造的 AI 系統(tǒng)的安全問(wèn)題負(fù)責(zé)的義務(wù)。

3 研究 AI 意識(shí)的工作有多重要？

目前 AI 領(lǐng)域?qū)ｉT針對(duì)意識(shí)（甚至其它哲學(xué)方面的思考）的研究非常少，但也已經(jīng)有學(xué)者在針對(duì)該話題進(jìn)行跨領(lǐng)域的合作研究。比如，GPT-3問(wèn)世后，專注哲學(xué)問(wèn)題探討的博客 Daily Nous 就專門開(kāi)辟了一個(gè)板塊討論語(yǔ)言哲學(xué)在 AI 上的思考。

但同時(shí)，Askell 強(qiáng)調(diào)，對(duì) AI 意識(shí)的討論不應(yīng)僅僅停留在哲學(xué)式的抽象思辨上，還要致力于發(fā)展相關(guān)的實(shí)用框架，比如為機(jī)器意識(shí)和感知建立一系列高效的評(píng)估。目前已經(jīng)有一些方法可以用于檢測(cè)動(dòng)物疼痛，似乎可以從那里獲得一些靈感。

反過(guò)來(lái)說(shuō)，我們對(duì) AI 意識(shí)的理解多一分，對(duì)人類本身的理解就多一分。因此，對(duì) AI 意識(shí)的討論雖暫未達(dá)成統(tǒng)一的共識(shí)，但討論本身已是一種進(jìn)步。期待更多的 AI 意識(shí)研究工作。