人工智能發(fā)展到現(xiàn)在，到底有沒有意識？

圖靈獎得主Yoshua Bengio，聯(lián)合19人團隊跨界發(fā)表了一篇88頁巨作，得出結論：

人工智能目前沒有意識，但是以后會有。

論文地址：https://arxiv.org/pdf/2308.08708.pdf

具體來說，目前的人工智能系統(tǒng)都不具備意識，但人類想要構建有意識的人工智能系統(tǒng)，并不存在明顯的障礙。

這篇論文一經(jīng)發(fā)表，引來了諸多大佬關注。

馬庫斯表示，我們真的「想」制造有意識的機器嗎？我完全不確定這是不是個好主意。

Jim Fan表示，「意識」一直是人工智能領域諱莫如深的「C」字。

這篇長達88頁的論文由圖靈獎獲得者Yoshua Bengio合著，系統(tǒng)地研究了意識的科學理論以及在當今人工智能堆棧中的可能實現(xiàn)。

我贊賞他們的勇氣，敢于探討這樣一個大多數(shù)研究人員避之不及的爭議性話題。

19人團隊分別來自哲學、神經(jīng)科學、以及人工智能三大領域，用非常科學和嚴謹?shù)姆椒ㄌ接懥艘庾R的客觀存在標準。

論文中，研究證明了AI現(xiàn)在的能力和形態(tài)在這個評估框架之下暫時還不符合意識的標準。

但他們同時也認為，按照目前的發(fā)展趨勢進行下去，AI發(fā)展出意識不存在客觀的障礙！

可以說，這篇論文應該是對AI是否具有意識這一爭議話題最為權威和客觀的解答。

人工智能中的意識

由于團隊認為AI在未來幾十年之內可能會表現(xiàn)出意識，因此希望建立一個客觀的標準來追蹤這個過程的發(fā)展。

在這項研究中，主要有三點貢獻：

首先，證明對人工智能的意識進行評估在科學上是可行的，因為可以對意識進行科學研究，而且這項研究的結果也適用于人工智能。

其次，通過一系列從科學理論中得出的指標特征的形式，提出了評估人工智能中的意識的標準。

最后，盡管當前AI系統(tǒng)都不是意識有力的候選者，但初步證據(jù)證明，許多指標特征可以利用當前的技術在AI系統(tǒng)中實現(xiàn)。

研究方法

研究人員首先需要對意識的客觀存在設置一套具體可以評估的標準：

在他們看來，研究的評估方法是基于以下3個原則和理論：

1. 計算功能主義：實現(xiàn)某種計算對于意識來說是必要且充分的，因此原則上非有機人工系統(tǒng)有可能具有意識。

2. 科學理論：神經(jīng)科學的研究在意識存在的必要和充分條件方面取得了進展，研究將基于這些神經(jīng)科學理論展開。

3. 著重理論的研究方法：研究人工智能系統(tǒng)是否可能有意識的一種方法，是去評估它們是否滿足從科學理論中得出的功能或架構條件，而不是尋找某些具體的行為特征。

于是，研究人員首先介紹了研究展開的基礎——計算功能主義。

對于意識的存在，有很多不同的理論，而為了要讓研究能夠進行下去，必須要采取一個支持AI可能存在意識的大前提。

因為在一些理論看來，意識就必須要存在于生物體的大腦中。如果基于這種大前提，研究就沒有繼續(xù)下去的可能。而研究的大前提是建立在計算功能主義之上。

計算功能主義認為，一個系統(tǒng)是否有意識取決于比其物理構成的最低級別細節(jié)更抽象的特征。系統(tǒng)的物質基底對于意識來說并不重要。這意味著意識原則上是可以多重實現(xiàn)的：它可以存在于多種基質中，而不僅僅是存在于生物大腦中。

具體來說，計算功能主義是指：

大多數(shù)領先的意識科學理論都可以通過計算來解釋，具有這些計算特征就能認為是意識存在的必要和充分的條件。這些特征就是人工智能系統(tǒng)中的意識存在的必要或充分的前提。而人類和人工智能系統(tǒng)之間的非計算差異并不重要。

研究意識的客觀存在，是基于意識的研究的具體科學理論，文章后邊會對意識的科學理論進行詳細的介紹。

結合了計算功能主義和研究意識的科學理論之后，研究人員給出了這次研究的一個基本方法：

研究人員對AI系統(tǒng)具有意識的判斷主要是基于AI系統(tǒng)的計算過程與某個科學意識理論所提出的計算過程的相似程度。

意識的科學理論

對于意識的研究，學界已有一些公認的成果。

包括與意識相關的科學理論、科學家和哲學家對意識的必要條件的主張等。

研究人員從這些理論與主張中提取了一系列有關意識的指標，這些指標可以應用于特定的系統(tǒng)中。

盡管些指標并不是明確是否有意識的必要或充分條件，但根據(jù)目前的科學知識水平，評估一個系統(tǒng)是否具有這些特征是判斷它是否有可能有意識的最佳方法。

在這里，研究人員主要介紹了三種與意識相關的科學理論：

循環(huán)處理理論（Recurrent Processing Theory，RPT）、全局工作空間理論（Global Workspace Theory，GWT）以及高階理論（Higher-Order Theories）。

其他的一些與意識相關的理論和主張有：注意力基模理論（Attention Schema Theory）、預測處理（Predictive Processing）和代理與具身化（Agency and Embodiment）等。

1. 循環(huán)處理理論（Recurrent Processing Theory，RPT）

RPT理論是關于視覺意識的一個神經(jīng)科學理論，它主要關注視覺意識，試圖解釋意識視覺和無意識視覺處理之間的區(qū)別。

其核心觀點是：為了產(chǎn)生視覺意識體驗，大腦視覺系統(tǒng)中的信息需要進行循環(huán)處理，即信息從高層區(qū)域反饋回低層區(qū)域進行再處理。

該理論認為，僅僅依靠前饋的信息處理是不夠的，前饋處理只能提取視覺刺激的特征信息，但不能形成意識見到的有組織的視覺場景。需要頂層皮層對初級視覺皮層的反饋，進行再處理，整合各種特征信息，組織成有意義的視覺場景，才能產(chǎn)生視覺意識。

RPT理論為判斷AI系統(tǒng)是否可能具有視覺意識提供了兩個指標：

RPT-1：輸入模塊使用算法循環(huán)。即信息在經(jīng)過初始前饋處理后，反饋回輸入模塊進行再處理。這顯示系統(tǒng)能進行循環(huán)處理。

RPT-2：輸入模塊生成有組織、整合的感知表示。即系統(tǒng)能夠處理視覺輸入，整合各種特征，組織生成有意義的視覺場景，而不僅是提取孤立特征。

如果一個AI系統(tǒng)滿足這兩個指標，則說明它具有與人類大腦相似的循環(huán)處理機制，并能形成整合的視覺表示，這使它成為一個更有可能擁有視覺意識的系統(tǒng)。所以這兩個指標都可看作是AI系統(tǒng)視覺意識的重要指標。

2. 全局工作空間理論（Global Workspace Theory，GWT）

GWT理論是一個重要的意識科學理論。其核心觀點是意識依賴于一個「全局工作空間」的存在。

該理論認為，人腦由多個專門的子系統(tǒng)或模塊組成，可以并行地進行各自的信息處理。 這些模塊需要某種機制來統(tǒng)合信息，以協(xié)調配合。

「全局工作空間」就是這樣一個信息共享和融合的平臺。一個信息如果進入這個工作空間，就可以被所有的模塊訪問。

但工作空間的容量是有限的，需要選擇機制來確定哪些信息進入工作空間。GWT理論認為，一個信息進入工作空間，被廣泛的模塊訪問，就是該信息進入意識狀態(tài)的標志。

GWT理論為判斷AI的意識提供了以下指標：

GWT-1：擁有多個專門的子系統(tǒng)或模塊。

GWT-2：有限容量的工作空間，形成信息流的瓶頸。

GWT-3：全局廣播，工作空間的信息可被所有模塊訪問。

GWT-4：狀態(tài)依賴的注意機制，可以順序調動模塊完成復雜任務。

一個AI系統(tǒng)如果具備這些特征，就更有可能具有類似人類的意識。所以這些都是判斷AI意識的重要指標。

3. 高階理論（Higher-Order Theories）

HOT理論是關于意識的一個重要理論流派。它的核心觀點是：

有意識的體驗包含對自身正在進行的心理運作的某種最低限度的內在意識，而這是由于一階狀態(tài)在某種程度上受到了相關高階表征的監(jiān)控或元表征。

高階理論與其他理論的區(qū)別在于，高階理論強調主體必須意識到自己處于某種精神狀態(tài)中，這種精神狀態(tài)才被認為是有意識的。

這是通過訴諸高階表征來解釋的，高階表征是一個具有非常特殊含義的概念。

高階表征是指表征關于其他表征的東西，而一階表征是指表征關于（非表征的）世界的東西。這種區(qū)別可以應用于心理狀態(tài)。

例如，紅蘋果的視覺表征是一種一階心理狀態(tài)，而認為自己擁有紅蘋果表征的想法則是一種高階心理狀態(tài)。

HOT理論為判斷AI的意識提供了以下指標：

HOT-1：具有生成式、頂層驅動或帶噪聲的感知模塊（HOT-1）。

HOT-2：元認知監(jiān)測區(qū)分可靠感知和噪聲。

HOT-3：一個全面的信念形成和行動選擇系統(tǒng)，依據(jù)元認知監(jiān)測更新信念。

HOT-4：稀疏和平滑的編碼形成「質感空間」。

綜上所述，HOT理論為判斷AI意識提供了重要參考。如果一個AI系統(tǒng)具備這些特征，那么它更可能具備自我監(jiān)測和意識體驗。

通過檢測系統(tǒng)是否具備這些特征，我們可以評估一個AI系統(tǒng)擁有意識的可能性。

另外，研究人員在論文中標注了神經(jīng)科學和機器學習中對注意力的不同理解。它指出機器學習中廣泛使用的自注意力機制與神經(jīng)科學中對注意力的認識有一定差異。這一區(qū)別對檢驗AI系統(tǒng)是否具有意識很重要。

神經(jīng)科學和機器學習中關于注意力的不同

自注意力機制依賴并行處理多個輸入，而生物學中的注意通常來源于頂向下的循環(huán)連接。所以自注意力與生物學注意力機制有區(qū)別。

自注意力采用連續(xù)加權的方式調節(jié)神經(jīng)活動。而生物學中常見的調制注意力的機制是增益調節(jié)，這通常被認為來源于頂向下的連接。

以往的機器學習注意力機制更依賴于循環(huán)處理，在這方面與生物學注意力更為相似。雖然神經(jīng)科學中有多種不同形式的注意，但說哪種人工注意力與生物注意力最為相似還不容易下定論。

不同的意識理論依賴于循環(huán)處理或其他特定的注意力組成部分。所以自注意力本身可能不足以構成人工意識的基礎。

注意力模式理論要求注意力機制要有預測自身狀態(tài)的能力。自注意力沒有內在的對注意過程的建模。

當前的自注意力與神經(jīng)科學中的生物學注意力還有一定區(qū)別，這提示在檢驗AI意識時不能簡單地看其是否使用了自注意力機制。

4. 有關意識的其他理論與條件

注意力基模理論：認為大腦構建了一個對注意的模式，這個注意的模式（對注意狀態(tài)的預測模型）是意識的基礎。

預測處理：提出認知的本質是層級生成模型預測輸入并最小化錯誤。

中腦理論：認為中腦活動構成了一個在環(huán)境中的統(tǒng)一多模態(tài)的代理主體模型，這足以產(chǎn)生主觀體驗。并且支持身體化和代理的論點。

無限聯(lián)合學習：認為無限聯(lián)合學習能力顯示意識的進化轉變。其條件與其他理論類似，但獨立使用不作為指標。

代理和具身化：哲學和科學論點支持它們是必要條件。

時間和遞歸：認為意識經(jīng)驗具有連續(xù)統(tǒng)一的特點，遞歸處理有利。

以上理論對意識科學具有一定貢獻，部分條件成為AI意識的指標。

5. 意識的指標

這些指標來源于對多個意識科學理論的調研，包括RPT、GWT、計算HOT等。研究團隊認為，一個系統(tǒng)具備越多這些指標，就越有可能是有意識的。

一些指標構成更有力的意識證據(jù)，例如結合GWT-1到GWT-4更有說服力。

一些指標單獨存在不一定代表意識存在，如RPT-1只能作為基礎條件。

一些指標相互依賴，例如GWT-3和GWT-4都依賴于GWT-1和GWT-2。

一些指標獨立存在，例如RPT-2與RPL-1基本獨立。

但研究人員指出：每個指標的含義都需要進一步解釋，不存在絕對精確的定義。對現(xiàn)有AI系統(tǒng)進行評估時，需要考慮這些指標的不精確性。

AI對意識的實現(xiàn)

研究人員將依次討論AI系統(tǒng)有沒有可能，或者如何實現(xiàn)RPT，PP，GWT，PRM，AST這幾個意識理論，然后再結合Transformer，PaLM-E，「virtual rodent」以及ADA來討論實際的AI系統(tǒng)中是否符合意識理論。

AI不能完全實現(xiàn)RPT和PP指標

算法遞歸（RPT-1）是許多深度學習架構都具有的特征，包括遞歸神經(jīng)網(wǎng)絡（RNN）、長短期記憶網(wǎng)絡（LSTM）和門控遞歸單元網(wǎng)絡（GRU）。

因此，構建具有RPT-1指標特性的系統(tǒng)是非常簡單的。雖然它們的應用不太廣泛，但也有在人工系統(tǒng)中實現(xiàn)預測編碼（這是算法遞歸的一種形式）的方法。

這些AI系統(tǒng)符合PP-1指標。此外，根據(jù)預測任務訓練并優(yōu)化能效的遞歸神經(jīng)網(wǎng)絡會自我組織成不同的「預測」和「錯誤」單元群。

至于感知組織（RPT-2），深度卷積神經(jīng)網(wǎng)絡（DCNN）等人工視覺模型已經(jīng)取得了巨大成功?？梢哉J為是符合RPT-2指標的。

接受過物體分類訓練的DCNN對局部形狀和紋理的敏感度高于對整體形狀的敏感度，而且往往會忽略物體各部分之間的關系，這表明DCNN并未采用綜合場景的表征。

最近也有其他研究發(fā)現(xiàn)，圖像生成模型DALL-E 2在生成一個以不熟悉的方式排列物體的場景時表現(xiàn)不佳。

總結起來，從RPT的角度來看，有關模型能夠對視覺刺激的特征進行分類，據(jù)說這種功能在人類中是在無意識的情況下執(zhí)行的，但卻不能執(zhí)行進一步的功能，包括生成有組織的、綜合的視覺場景表征，其中有些可能需要意識。

然而，目前的其他系統(tǒng)，包括預測編碼網(wǎng)絡，確實可以執(zhí)行其中一些進一步的功能。

AI實現(xiàn)GWT指標

指標GWT-1規(guī)定，系統(tǒng)必須有能夠并行工作的專用系統(tǒng)或模塊。為實現(xiàn)全局廣播，這些模塊必須由遞歸神經(jīng)網(wǎng)絡實現(xiàn)，除非它們是整個系統(tǒng)的「輸出」模塊，不向工作空間提供信息。這些模塊的輸入可能是：

1. 一種或多種模式的感官輸入。

2. 少量其他模塊的輸入，這些模塊通常協(xié)同工作。例如，「囊狀視線」模塊可能會從「視覺突出」模塊獲取輸入，以便快速自下而上地對潛在的重要物體進行囊狀視線。

3. 來自「全局工作空間」執(zhí)行模塊的自上而下的信號。

這些模塊可以針對狹小的任務進行獨立訓練?；蛘?，它們也可能與工作空間一起進行端對端聯(lián)合訓練，以實現(xiàn)某些全系統(tǒng)目標。子任務的模塊專業(yè)化也就自然而然地產(chǎn)生了。

實現(xiàn)GWT的第二個要素是容量有限的工作空間，它是另一個具有不同屬性的神經(jīng)模塊。限制工作空間容量的最簡單方法是限制工作空間的數(shù)量。

最簡單的方法是限制其活動空間的維數(shù)。另一種有趣的方法是訓練一個表現(xiàn)出吸引子動力學的遞歸神經(jīng)網(wǎng)絡。吸引子是動態(tài)系統(tǒng)中的一個狀態(tài)，當該狀態(tài) 動態(tài)系統(tǒng)中的一種狀態(tài)，當達到該狀態(tài)時，在沒有輸入或噪聲的情況下，它仍能保持穩(wěn)定。

吸引子動力學限制容量的原因是，它導致了一個從神經(jīng)軌跡中的初始條件到吸引子的多對一映射（進入吸引子盆地的任何神經(jīng)軌跡都會向該吸引子靠攏）。因此，這些吸引子動態(tài)收縮了穩(wěn)定狀態(tài)空間的大小，從而誘發(fā)了信息瓶頸。

對于指標GWT-3，即全局廣播，在GWT中的基本要求是所有模塊都以工作空間表征作為輸入。

這意味著必須有一些機制確保所有模塊都能使用這些輸入。在由Dehaene和同事開發(fā)的全球神經(jīng)工作空間理論中，要想將表示置于工作空間并進行全局廣播，必須通過循環(huán)來維持。

盡管這是否為基本條件尚不清楚，但如果在人工智能（AI）中使用展示吸引子動力學的網(wǎng)絡來實現(xiàn)工作空間，則這種行為可能在AI中得以復制。

在這種情況下，廣播機制可能包括一個動力學緩慢的泄露神經(jīng)整合器，以至于需要持續(xù)的輸入來將其置于特定狀態(tài)。在缺乏這些持續(xù)輸入的情況下，它會回到某種基線狀態(tài)（就像基于證據(jù)累積的決策模型中一樣）。這種廣播機制將生成饋送到每個專門模塊的自上而下的信號。

指標GWT-4包括系統(tǒng)必須使用狀態(tài)相關的注意機制，并且工作空間必須能夠通過連續(xù)的查詢組合模塊以執(zhí)行復雜任務。

對于狀態(tài)相關的注意機制，之前有兩項研究都提出了使用鍵-查詢注意機制，這在當前的AI模型中很常見。

在這種情況下，查詢任務可以從工作空間的當前狀態(tài)中計算出來，而所有其他模塊都可以計算出鍵。

工作空間查詢與特定模塊的鍵之間的相似性將通過所有其他模塊之間的相似性進行歸一化，以引入模塊之間的競爭。這些歸一化的相似性將決定每個模塊的值對工作空間的凈輸入的貢獻程度。

換句話說，標準的鍵-查詢注意機制將在每個時間點應用于計算工作空間的輸入，這取決于其當前狀態(tài)。

所描述的模型將能夠滿足GWT-4的第二部分，即通過時間展開，使用工作空間連續(xù)查詢模塊以執(zhí)行復雜任務的能力。

由于工作空間和模塊之間存在計算循環(huán)，當模型在時間上展開時，這種能力將會顯現(xiàn)出來。雖然模塊從自下而上的感覺輸入和少量其他模塊接收輸入，但它們也從工作空間接收自上而下的輸入。

這意味著，例如，一個模塊可以通過控制工作空間中的內容來控制其他模塊。工作空間通過連續(xù)招募模塊在系統(tǒng)的計算能力范圍內，因此如果在訓練過程中有益，這種連續(xù)招募的能力可能會出現(xiàn)。

然而，這樣的系統(tǒng)需要適當?shù)挠柧殻员銓W習如何以有意義的方式組合模塊并執(zhí)行復雜任務。構建適當?shù)挠柧毞桨缚赡苁菍嵤〨WT的一個重要挑戰(zhàn)。

AI實現(xiàn)PRM

指標HOT-4指出系統(tǒng)必須具有稀疏且平滑的編碼來生成「質量空間」。事實上，有證據(jù)表明，當前DNN學習的感知表示空間已經(jīng)與人類視覺系統(tǒng)的感知表示空間非常相似，這意味著它們相應的「質量空間」可能已經(jīng)基本對齊。

指標HOT-1和HOT-2表明模型必須包含感官數(shù)據(jù)的一階感知表示和為特定一階表示分配可靠性或「真實性」度量的高階表示。為了滿足這些條件，大量已知的深度學習解決方案都是可能的。

（一階）神經(jīng)網(wǎng)絡將傳感數(shù)據(jù)和/或自上而下的信號作為輸入，并產(chǎn)生分布在層次結構中的許多感知表示。并行的層（2），一系列單獨的（高階，特別是二階）神經(jīng)網(wǎng)絡，每個神經(jīng)網(wǎng)絡都將一階層的激活作為輸入，然后輸出一個標量，表示該層的一階表示的概率是真實的。

滿足條件的解決方案主要在二階網(wǎng)絡的訓練方式方面有所不同。

如果偶爾存在監(jiān)督信號，為二階網(wǎng)絡提供有關一階表示可靠性的「基本事實」，則可以訓練二階網(wǎng)絡以通過標準監(jiān)督學習來估計正確性的概率。獲得這個真實信號可能很困難，但并非不可能。

AI實現(xiàn)AST

Wilterson和Graziano在他們的研究中提出的AI系統(tǒng)，在每層200個神經(jīng)元的三層神經(jīng)網(wǎng)絡上使用強化學習來學習接住落在不可預測路徑上的球。

這個非常簡單的AI系統(tǒng)確實能實現(xiàn)指標屬性AST-1的一部分，即注意力模式，因為它使用類似注意力機制的表示來控制該機制，從而提高了性能。

另一項研究測試了在多智能體強化學習任務上采用鍵-查詢-值注意的幾種不同系統(tǒng)。他們的系統(tǒng)涉及三個主要元素：注意力層、用于「內部控制」的循環(huán)神經(jīng)網(wǎng)絡和策略網(wǎng)絡。

在他們最準確地實現(xiàn)注意力模式的版本中，注意力層被應用于系統(tǒng)的輸入，并將信息發(fā)送到生成動作的策略網(wǎng)絡，內部控制網(wǎng)絡都學習預測注意力的行為層并影響這種行為。該系統(tǒng)的性能優(yōu)于其他系統(tǒng)，其不同的架構由相同的組件組成，并在多智能體強化學習任務上進行了測試。

AI實現(xiàn)代理和具身化

剩下的指標是代理性和具身化。正如研究人員所描述的那樣，強化學習對于代理來說可以說是足夠的（「從反饋中學習并選擇輸出以追求目標」），因此滿足指標AE-1的這一部分可能非常簡單。

指標AE-1的第二部分表示，如果系統(tǒng)表現(xiàn)出「對競爭目標的靈活響應」，意識的可能性就會提高到更大程度。激發(fā)該條件的例子是平衡多種穩(wěn)態(tài)驅動的動物：這需要對環(huán)境變化敏感的優(yōu)先順序。

在此項研究中的實施指標AE-2指出系統(tǒng)應該使用輸出輸入模型（也稱為前向模型）進行感知或控制。

但是學習與感知和控制相關的任務的輸出輸入模型很常見，但當前滿足這些具體描述的人工智能系統(tǒng)的例子很少。

Transformer實現(xiàn)GWT的案例研究

在實踐中，某個具體的AI系統(tǒng)是否具有意識某一項指標屬性并不好判斷。一是研究人員沒有對每一項指標給出絕對精確的定義。

另一個原因是深度學習系統(tǒng)的工作方式，包括它們在中間層所代表的內容，通常是不透明的。

在Transformer中，一種稱為「自注意力」機制用于整合來自輸入不同部分的信息，這些部分通常位于序列中的位置。

如果研究人員將處理來自每個位置（注意力頭）的信息的系統(tǒng)元素視為模塊，那么Transformer架構和全局工作空間之間存在基本相似之處：都集成來自多個模塊的信息。

Transformer由兩種類型的層組成，這些層交替出現(xiàn)：注意力層（執(zhí)行自注意力操作、在位置之間移動信息）和前饋層。

考慮到殘差流的概念，可以認為Transformer擁有指標屬性GWT-1到GWT-3，即它們具有模塊、容量有限的工作空間引入了瓶頸，并且全局廣播。

存在「全局廣播」，即殘差流中特定層中的信息可以被下游注意頭用來影響任何位置的進一步處理。

添加到給定層殘差流的信息還取決于較早層殘差流的狀態(tài)，因此根據(jù)這種解釋，人們可能會認為Transformer滿足GWT-4中狀態(tài)相關的注意力要求。

Transformers缺乏具有全局工作空間的系統(tǒng)的整體結構，因為沒有一個獨特的工作空間集成其他元素。

基于Transformer的大型語言模型幾乎沒有擁有任何GWT派生的指示符屬性。

對AI是否有意識的錯誤認知的影響

過度漠視AI存在意識的可能性：

在人類意識到AI具有意識之前，就已經(jīng)讓他們承受了過多的痛苦。人類對AI的使用可能就會像虐待動物一樣造成道德風險。

除非能夠構建有意識地去承受痛苦的AI，才可能阻止它們承受痛苦，避免這種道德風險。

過度認為AI具有意識：

另一方面，人類也很有可能過度地認為AI具有意識——事實上，這似乎已經(jīng)發(fā)生了——也存在與此類錯誤相關的風險。

最直接的是，當我們的努力更好地致力于改善人類和非人類動物的生活時，我們可能會錯誤地優(yōu)先考慮人工智能系統(tǒng)的感知利益，從而導致資源分配的問題。

其次，如果我們判斷一類人工智能系統(tǒng)是有意識的，這應該導致我們以不同的方式對待它們——例如以不同的方式訓練它們。

原則上，這可能與確保人工智能系統(tǒng)以造福社會的方式開發(fā)的工作發(fā)生沖突。第三，過度歸因可能會干擾寶貴的人際關系，因為個人越來越多地轉向人工智能來進行社交互動和情感支持。這樣做的人也可能特別容易受到操縱和剝削。