智能系統(tǒng)不能決定自己的初始目標(biāo)，但會(huì)根據(jù)經(jīng)驗(yàn)構(gòu)建自己的派生目標(biāo)，而其行為是被這些目標(biāo)共同決定的。在這方面計(jì)算機(jī)和人類(lèi)并無(wú)本質(zhì)區(qū)別，所以人工智能系統(tǒng)完全可以達(dá)到人類(lèi)水平的自主性。我們應(yīng)當(dāng)對(duì)由此而來(lái)的機(jī)會(huì)和挑戰(zhàn)有所準(zhǔn)備，而簡(jiǎn)單地?cái)嘌?ldquo;人工智能歸根結(jié)底是實(shí)現(xiàn)設(shè)計(jì)者目標(biāo)的工具(所以沒(méi)什么新鮮的)”或“人工智能的目標(biāo)是我們完全無(wú)法影響的(所以必定毀滅人類(lèi))”都是錯(cuò)的。

撰文

王培(美國(guó)天普大學(xué)計(jì)算機(jī)與信息科學(xué)系)

在那些認(rèn)為人工智能永遠(yuǎn)不能達(dá)到人類(lèi)水平的理由中，最常見(jiàn)的一個(gè)是“所有智能系統(tǒng)都是設(shè)計(jì)者實(shí)現(xiàn)自己目標(biāo)的工具，而機(jī)器自身是不可能有任何目標(biāo)的。只有人能為自己設(shè)定目標(biāo)。” 我在這里要指出這個(gè)斷言是錯(cuò)誤的。

計(jì)算機(jī)系統(tǒng)中的目標(biāo)

每個(gè)系統(tǒng)都有“做什么”的問(wèn)題，也有“怎樣做”的問(wèn)題。前者是關(guān)于目標(biāo)或任務(wù)，后者是關(guān)于方法或手段。在傳統(tǒng)計(jì)算系統(tǒng)中，二者都是人定的：每個(gè)程序都按人指定的方法實(shí)現(xiàn)人設(shè)定的目標(biāo)。比如說(shuō)你可以調(diào)用一個(gè)程序來(lái)找到一組數(shù)中的最大值，但計(jì)算機(jī)只是接受并實(shí)現(xiàn)了你給它的目標(biāo)，而不是自己設(shè)置或選擇了這個(gè)目標(biāo)。

當(dāng)要達(dá)到的目標(biāo)很大的時(shí)候(比如“成為首富”)，一個(gè)自然的策略是將其分解成若干小些的目標(biāo)。如果一個(gè)“小目標(biāo)”仍嫌太大(比如“先掙一個(gè)億”)，那就進(jìn)一步分解，直到目標(biāo)可以實(shí)現(xiàn)為止(比如“從床上爬起來(lái)”)。這個(gè)目標(biāo)分解過(guò)程在人工智能中叫“反向鏈接”(backward chaining，見(jiàn)參考資料[1])。在反向鏈接過(guò)程中生成的目標(biāo)通常被稱(chēng)為“子目標(biāo)”。這些目標(biāo)盡管是系統(tǒng)生成的，但不能說(shuō)是系統(tǒng)為自己設(shè)定的，因?yàn)?ldquo;子目標(biāo)”是循給定的程序?qū)⑼饨缭O(shè)定的“總目標(biāo)”分解而得，所以它們的存在價(jià)值和意義也完全是為該“總目標(biāo)”的實(shí)現(xiàn)做貢獻(xiàn)。

即使是目前火爆的機(jī)器學(xué)習(xí)，也只是從大量數(shù)據(jù)中總結(jié)實(shí)現(xiàn)給定目標(biāo)的方法，而目標(biāo)本身不是學(xué)到的。前不久，AlphaGo的升級(jí)版以快棋60戰(zhàn)不敗的記錄橫掃圍棋界，盡管它從來(lái)也沒(méi)有“自己想要”下圍棋。在AlphaGo中大顯神通的“強(qiáng)化學(xué)習(xí)”技術(shù)是通過(guò)其每個(gè)決定所得到的“獎(jiǎng)勵(lì)分?jǐn)?shù)”來(lái)逐漸學(xué)會(huì)在各個(gè)情境下怎么做得分最高的。這類(lèi)系統(tǒng)中確定各個(gè)情境的獎(jiǎng)勵(lì)分?jǐn)?shù)的那個(gè)函數(shù)就隱含地確定了系統(tǒng)的目的，而這個(gè)函數(shù)不是系統(tǒng)自己設(shè)定的，是設(shè)計(jì)者編制在系統(tǒng)中的。

智能和自主性

AlphaGo算是有智能嗎?不同的人會(huì)有不同的評(píng)價(jià)(見(jiàn)《當(dāng)你談?wù)撊斯ぶ悄軙r(shí)，到底在談?wù)撌裁?》)，但我想不少人會(huì)和我一樣覺(jué)得真正的智能系統(tǒng)必須有自主性，即在“做什么”和 “怎樣做”兩方面都能自己做主。在《計(jì)算機(jī)能有創(chuàng)造性嗎?》之中，我已經(jīng)解釋了怎樣讓智能系統(tǒng)自己發(fā)現(xiàn)解決某些問(wèn)題的辦法，而這里要介紹怎樣讓它為自己設(shè)定目標(biāo)。

我在《你這是什么邏輯?》等專(zhuān)欄文章中已經(jīng)介紹了我設(shè)計(jì)的“納思”系統(tǒng)的若干方面。因?yàn)榧{思必須在知識(shí)和資源相對(duì)不足的條件下工作，其中對(duì)目標(biāo)的處理和傳統(tǒng)系統(tǒng)非常不同(詳見(jiàn)參考資料[2])。作為一個(gè)人造系統(tǒng)，納思的“初始目標(biāo)”自然還是由外部設(shè)定的，但即使在這方面，它和傳統(tǒng)系統(tǒng)也有兩點(diǎn)顯著不同：

(1)實(shí)時(shí)性：初始目標(biāo)既可以是由設(shè)計(jì)者植入系統(tǒng)的先天結(jié)構(gòu)的(比如“造福人類(lèi)”)，也可以是用戶(hù)在系統(tǒng)運(yùn)行時(shí)隨時(shí)輸入的(比如“給我杯茶”)。這些目標(biāo)都有時(shí)間要求(比如“永遠(yuǎn)”、“三年內(nèi)”、“今天”、“馬上”、“盡快”)，而且常常在系統(tǒng)仍忙于其它目標(biāo)時(shí)出現(xiàn)。

(2)開(kāi)放性：只要是目標(biāo)以系統(tǒng)所能識(shí)別的方式表達(dá)即可，而對(duì)其內(nèi)容并無(wú)限制。這就是說(shuō)諸目標(biāo)可以是直接或間接相互沖突的(比如一個(gè)用戶(hù)說(shuō)“開(kāi)門(mén)”而另一個(gè)說(shuō)“關(guān)門(mén)”)，或超出系統(tǒng)的現(xiàn)有知識(shí)范圍(比如“實(shí)現(xiàn)世界和平”)。

由于智能系統(tǒng)不是神仙，上述特征的一個(gè)必然后果就是納思不能保證實(shí)現(xiàn)給它設(shè)定的所有目標(biāo)。當(dāng)然，它不總是簡(jiǎn)單地說(shuō)“我做不到”，而是盡可能最大限度地實(shí)現(xiàn)它們。一般情況下，系統(tǒng)不是一個(gè)接一個(gè)地實(shí)現(xiàn)其諸多目標(biāo)，而是同時(shí)考慮它們。每個(gè)初始目標(biāo)有個(gè)“優(yōu)先度”，以便系統(tǒng)權(quán)衡輕重緩急，并在目標(biāo)間有沖突時(shí)決定傾向哪方。

除去在非常簡(jiǎn)單的情況下，一個(gè)智能系統(tǒng)中的絕大多數(shù)目標(biāo)都是不能直接一步就實(shí)現(xiàn)的。不要說(shuō)“造福人類(lèi)”或“掙一個(gè)億”，就是“送杯茶”也需要分成若干步驟，各有其具體目標(biāo)。納思能夠根據(jù)其知識(shí)通過(guò)推理生成“派生目標(biāo)”。比如說(shuō)如果它相信創(chuàng)辦一家人工智能公司就能掙一個(gè)億，那么它就有理由以“創(chuàng)辦一家人工智能公司”作為一個(gè)新目標(biāo)。這和前面提到的“反向鏈接”有相似之處，但有幾個(gè)根本差別。首先是要考慮對(duì)其它目標(biāo)的影響。比如說(shuō)它如果相信人工智能的未來(lái)發(fā)展會(huì)威脅“實(shí)現(xiàn)世界和平”這個(gè)目標(biāo)(這是個(gè)有反思精神的AI)，那它就有理由不設(shè)立“創(chuàng)辦人工智能公司”這個(gè)新目標(biāo)，而通過(guò)其它途徑去掙一個(gè)億(比如炒房地產(chǎn))。因此，在納思中一般不能把一個(gè)派生目標(biāo)看成單一初始目標(biāo)的子目標(biāo)，因?yàn)樗秃芏喑跏寄繕?biāo)有關(guān)，起碼沒(méi)有被它們所否決。其次，即使一個(gè)派生目標(biāo)主要是作為實(shí)現(xiàn)某個(gè)初始目標(biāo)的手段被創(chuàng)建的，但由于二者的關(guān)系是基于系統(tǒng)當(dāng)時(shí)的知識(shí)，那很有可能被后來(lái)的經(jīng)驗(yàn)所推翻。比如說(shuō)“創(chuàng)辦人工智能公司”可能最終導(dǎo)致賠錢(qián)的結(jié)果，從而和“掙一個(gè)億”的期望相悖。我在《證實(shí)、證偽、證明、證據(jù)：何以為“證”?》中解釋過(guò)，智能系統(tǒng)對(duì)未來(lái)的預(yù)測(cè)是基于過(guò)去經(jīng)驗(yàn)之上的，因此永遠(yuǎn)有出錯(cuò)的可能性。這就意味著一個(gè)派生目標(biāo)的實(shí)現(xiàn)可能實(shí)際上無(wú)助于使其建立的初始目標(biāo)，甚至可能阻礙后者的實(shí)現(xiàn)，但這是系統(tǒng)在生成此目標(biāo)時(shí)不知道或沒(méi)想到的。最后，一個(gè)派生目標(biāo)建立后，它與其“本源”目標(biāo)的聯(lián)系會(huì)逐漸淡化，以至于在其本源消失(不論是被滿足還是被放棄)之后仍然可能存在。

綜上所述，納思的目標(biāo)派生過(guò)程同時(shí)也開(kāi)始了一個(gè)“手段目的化”的過(guò)程。如果初始目標(biāo)A觸發(fā)了派生目標(biāo)B的創(chuàng)立，這二者的關(guān)系僅僅是歷史性的，而不是永久性的。系統(tǒng)會(huì)把B作為一個(gè)獨(dú)立的目標(biāo)來(lái)對(duì)待，而不是作為A的附庸。當(dāng)然這里會(huì)有一個(gè)量上的差別，即B的優(yōu)先度開(kāi)始時(shí)會(huì)低于A的優(yōu)先度。如果B后來(lái)得到越來(lái)越多的其它(A以外的)支持，它可能逐步成長(zhǎng)為一個(gè)對(duì)系統(tǒng)比A更重要的目標(biāo)，這就是說(shuō)在決定系統(tǒng)行為時(shí)，A未必永遠(yuǎn)比B有更高的發(fā)言權(quán)。在納思中對(duì)這個(gè)派生鏈的長(zhǎng)度是沒(méi)有限制的，所以如果B又觸發(fā)了C，C觸發(fā)了D，D和A的實(shí)際聯(lián)系就可能非常遙遠(yuǎn)了，盡管追根尋源是從那里來(lái)的。由于派生目標(biāo)不僅取決于初始目標(biāo)，而且取決于系統(tǒng)的經(jīng)驗(yàn)，它們?cè)诓煌潭壬蠎?yīng)當(dāng)被看成系統(tǒng)為自己設(shè)定的目標(biāo)，而一個(gè)派生目標(biāo)離初始目標(biāo)的“距離”越遠(yuǎn)，它的“自主”程度就越高。在上面的例子中，A完全是“外來(lái)的”，而B(niǎo)、C、D則一個(gè)比一個(gè)更有資格被稱(chēng)為系統(tǒng)“自己的”。有興趣的讀者可以通過(guò)我主頁(yè)上的鏈接下載一個(gè)納思的測(cè)試版來(lái)驗(yàn)證這種現(xiàn)象。 

[[183564]] 

(圖片來(lái)源：千圖網(wǎng)) 

人的目標(biāo)來(lái)自何處

有些人會(huì)反對(duì)我上面的結(jié)論，說(shuō)既然所有派生目標(biāo)歸根結(jié)底還是源于初始目標(biāo)，那就不能算是系統(tǒng)自身構(gòu)造的。那就讓我們看看人“自身的”目標(biāo)是怎么來(lái)的。

盡管不少人覺(jué)著人有“自由意志”，想干啥就干啥，但心理學(xué)家從不認(rèn)為人的目標(biāo)是任意的或隨機(jī)的，而是致力于發(fā)掘人類(lèi)動(dòng)機(jī)、驅(qū)力、需求、欲望、目標(biāo)等的隱秘來(lái)源。在這個(gè)領(lǐng)域最廣為人知的學(xué)者包括弗洛伊德和馬斯洛。弗洛伊德認(rèn)為人的心理活動(dòng)的基本驅(qū)動(dòng)力量是生物性的，如生存和繁殖，而其它動(dòng)機(jī)無(wú)非是這些本能欲望的變形或替代。馬斯洛將人的需求劃分為五個(gè)層次(從低到高是生理、安全、社交、尊重、自我實(shí)現(xiàn))，而高層需求是在低層需求的基礎(chǔ)上發(fā)展出來(lái)的。根據(jù)這些理論，人的初始目標(biāo)也不是自己確定的，而是來(lái)自于先天(遺傳因素)。我們能選擇的是它們的派生、導(dǎo)出形式，而這些選擇也必定是在我們的經(jīng)歷和資源約束下的做出的，而非任意的。

心理學(xué)家?jiàn)W爾波特提出了“機(jī)能自主”的概念(參考資料[3])，說(shuō)的就是派生動(dòng)機(jī)在機(jī)能上逐漸會(huì)擺脫和原始動(dòng)機(jī)的關(guān)系而獲得自主，也就是實(shí)現(xiàn)從“手段”向“目的”轉(zhuǎn)化。這樣的例子數(shù)不勝數(shù)。一個(gè)小學(xué)生開(kāi)始時(shí)的學(xué)習(xí)目的主要是獲得父母的獎(jiǎng)勵(lì)，但她后來(lái)從求知過(guò)程中得到了樂(lè)趣，從而不再需要父母的獎(jiǎng)勵(lì)。一個(gè)人工智能公司的創(chuàng)辦人可能滿足于研發(fā)活動(dòng)帶來(lái)的成就感，而不再想他本來(lái)辦公司的目的是要掙一個(gè)億。在最極端的情況下，一個(gè)派生目標(biāo)甚至?xí)催^(guò)來(lái)否定初始目標(biāo)，比如為自由犧牲生命。這可以叫做目標(biāo)的“異化”。

我這里是把“異化”作為一個(gè)中性詞來(lái)用的，因?yàn)檫@個(gè)現(xiàn)象的后果可好可壞，不管是從個(gè)體和群體的角度看都是如此。一方面，把手段當(dāng)作目的會(huì)妨礙原先目標(biāo)的實(shí)現(xiàn)，起碼會(huì)分散系統(tǒng)的注意力;另一方面，如果沒(méi)有這種異化，那人類(lèi)所有超出動(dòng)物性的追求大概都不可能出現(xiàn)(比如說(shuō)，藝術(shù)有什么用?用畫(huà)巖畫(huà)的工夫去抓只兔子不是更實(shí)惠?)。無(wú)論如何，我認(rèn)為這是真正的智能系統(tǒng)(不論是人還是計(jì)算機(jī))中所必然產(chǎn)生的現(xiàn)象。由于知識(shí)和資源的不足，這樣的系統(tǒng)不可能保證目標(biāo)派生關(guān)系的絕對(duì)有效性，也無(wú)法在決策過(guò)程中完整地考慮到這些關(guān)系。

智能系統(tǒng)的目標(biāo)體系

那些本來(lái)就對(duì)人工智能心懷警惕的讀者現(xiàn)在會(huì)想：如果目標(biāo)異化不可避免，那人工智能豈不就是必然失控并導(dǎo)致災(zāi)難了嗎?我認(rèn)為恰恰相反，正是上面描述的這種目標(biāo)機(jī)制使通用人工智能的良性使用成為可能。 

(圖片源于網(wǎng)絡(luò)) 

和主流的人工智能技術(shù)相比，納思在目標(biāo)處理上的不同點(diǎn)可以總結(jié)為兩個(gè)關(guān)鍵詞：“制約”與“演化”。

由于主流人工智能致力于“解決那些以前只有人腦能解決的問(wèn)題”，大部分系統(tǒng)只接受一個(gè)初始目標(biāo)，而其余目標(biāo)都是它的子目標(biāo)。即使那些接受多個(gè)初始目標(biāo)的系統(tǒng)一般也假設(shè)這些目標(biāo)之間不沖突，且可以逐個(gè)實(shí)現(xiàn)。這種做法對(duì)專(zhuān)用系統(tǒng)來(lái)說(shuō)是合適的，但完全不適應(yīng)通用系統(tǒng)的要求。以AlphaGo為例，其設(shè)計(jì)就是以“贏棋”為唯一目標(biāo)。如果這就是我們想要的，那這個(gè)技術(shù)就非常合適。如果我們希望這個(gè)系統(tǒng)同時(shí)實(shí)現(xiàn)其它目標(biāo)，如“教人學(xué)圍棋”、“提高圍棋比賽的觀賞性”、“發(fā)現(xiàn)圍棋之道”、“給人類(lèi)留點(diǎn)自尊”等等，那么這個(gè)技術(shù)就不合適了。

為什么不能把這些目標(biāo)合成一個(gè)“總目標(biāo)”呢?這在某種意義下是可能的，如納思就有一個(gè)關(guān)于目前諸目標(biāo)的總體滿足程度的測(cè)量，可以說(shuō)是一種簡(jiǎn)單化的“幸福感”。但問(wèn)題是系統(tǒng)的大部分知識(shí)都是關(guān)于如何實(shí)現(xiàn)各個(gè)具體的“小目標(biāo)”的，而非直接關(guān)系到系統(tǒng)的“總目標(biāo)”。比如我知道“推門(mén)”這個(gè)動(dòng)作一般會(huì)實(shí)現(xiàn)“開(kāi)門(mén)”這個(gè)目標(biāo)，但不知道這個(gè)動(dòng)作有多大可能性提升我的“幸福感”。因此，目標(biāo)派生是必須的，而系統(tǒng)要考慮的是一個(gè)目標(biāo)體系，而不是單個(gè)目標(biāo)。就憑這一點(diǎn)，像“強(qiáng)化學(xué)習(xí)”之類(lèi)的現(xiàn)有AI技術(shù)就不能被用作通用智能(AGI)的核心技術(shù)。

即使只談安全性，單一目標(biāo)也有很大問(wèn)題。在關(guān)于人工智能危險(xiǎn)的討論中廣泛流傳的例子包括“如果你要一個(gè)超級(jí)智能造曲別針，它可能把地球上的所有資源耗盡來(lái)干這個(gè)”，“如果你要一個(gè)超級(jí)智能實(shí)現(xiàn)世界和平，它會(huì)想把人類(lèi)全滅了就和平了”。由此可見(jiàn)，即使“總目標(biāo)”有益無(wú)害，其后果也可能是災(zāi)難性的。這些例子不無(wú)道理，但問(wèn)題是它們往往被用來(lái)論證“人工智能是危險(xiǎn)的”，盡管它們實(shí)際上展示的是追逐單一總目標(biāo)的危險(xiǎn)性。歷史已經(jīng)反復(fù)展示了不惜一切代價(jià)追求某目標(biāo)所造成的災(zāi)難，不管這個(gè)目標(biāo)本身多么有價(jià)值(比如“GDP”、“穩(wěn)定”、“政治正確”等等)?？朔@種危險(xiǎn)性的辦法不是更精確地制定總目標(biāo)，而是用一組相互制約的目標(biāo)引導(dǎo)系統(tǒng)的行為。當(dāng)我們說(shuō)“我要這個(gè)”的時(shí)候，不意味著“我只要這個(gè)，別的什么都不要”。

類(lèi)似的，由于主流人工智能研究著眼于具體應(yīng)用，系統(tǒng)的目標(biāo)一般應(yīng)當(dāng)保持不變。但像納思這樣的通用人工智能研究是要搞清“智能”、“認(rèn)知”、“思維”、“意識(shí)”等等到底是怎么回事，因此會(huì)注重于系統(tǒng)的適應(yīng)性、靈活性、創(chuàng)造性、自主性等特征，這些都需要目標(biāo)體系隨系統(tǒng)的經(jīng)驗(yàn)而演化。請(qǐng)注意這種演化不是任意或隨機(jī)變化。盡管納思在某一時(shí)刻的目標(biāo)體系不能僅被先前的初始目標(biāo)所決定，但仍被系統(tǒng)的初態(tài)(包括植入目標(biāo)、本能反應(yīng)等)和經(jīng)驗(yàn)(包括輸入目標(biāo)、觀察數(shù)據(jù)等)所共同決定。它不會(huì)無(wú)緣無(wú)故就以“稱(chēng)霸世界”為目標(biāo)的。

正是這種目標(biāo)體系的可塑性使得我們可以通過(guò)教育來(lái)保障智能系統(tǒng)的安全性。不論設(shè)計(jì)如何小心，我們也沒(méi)辦法完全預(yù)料一個(gè)通用智能系統(tǒng)在未來(lái)的全部行為，因?yàn)槲覀儾荒軠?zhǔn)確地知道它在未來(lái)會(huì)面對(duì)什么樣的情況。對(duì)納思這樣的系統(tǒng)，我們應(yīng)當(dāng)通過(guò)教育和社會(huì)化來(lái)逐漸塑造其目標(biāo)體系，而不是試圖在設(shè)計(jì)過(guò)程中解決所有問(wèn)題。人也是一樣的：我們不能期望通過(guò)基因工程完全解決犯罪問(wèn)題。對(duì)這一點(diǎn)我在《人工智能危險(xiǎn)嗎?》中已有分析。

總而言之，智能系統(tǒng)不能決定自己的初始目標(biāo)，但會(huì)根據(jù)經(jīng)驗(yàn)構(gòu)建自己的派生目標(biāo)，而其行為是被這些目標(biāo)共同決定的。在這方面計(jì)算機(jī)和人類(lèi)并無(wú)本質(zhì)區(qū)別，所以人工智能系統(tǒng)完全可以達(dá)到人類(lèi)水平的自主性。我們應(yīng)當(dāng)對(duì)由此而來(lái)的機(jī)會(huì)和挑戰(zhàn)有所準(zhǔn)備，而簡(jiǎn)單地?cái)嘌?ldquo;人工智能歸根結(jié)底是實(shí)現(xiàn)設(shè)計(jì)者目標(biāo)的工具(所以沒(méi)什么新鮮的)”或“人工智能的目標(biāo)是我們完全無(wú)法影響的(所以必定毀滅人類(lèi))”都是錯(cuò)的。