在這個(gè)星球上，我們是當(dāng)下最有智慧的物種，其他所有的生命都要仰賴我們的善意來繼續(xù)生存下去。我們的命運(yùn)會(huì)不會(huì)繼而就要仰賴這些優(yōu)越、超智慧機(jī)器的善意?接下來所要談的問題就是，超智慧機(jī)器可不可能直接把我們消滅掉?它會(huì)不會(huì)成為人類的末日?

電影里通常都把機(jī)器描繪得很邪惡。但無能為力似乎才是比較可能的風(fēng)險(xiǎn)，而不是心懷不軌。當(dāng)然，我們必須考慮到的可能性是，超智慧機(jī)器或許會(huì)在無意間使人類走入末日。而且可能發(fā)生這件事的情境有好幾種。

電影《魔鬼終結(jié)者》中，天網(wǎng)為首的人工智能正試圖消滅所有幸存的人類

點(diǎn)金術(shù)

第一種風(fēng)險(xiǎn)情境是，超智能機(jī)器的目標(biāo)或許會(huì)設(shè)計(jì)得很糟糕。邁達(dá)斯國王的希臘神話就闡述了這點(diǎn)。有人實(shí)現(xiàn)了他的愿望，使他所摸到的一切都會(huì)變成黃金。但對(duì)于自己真正想要的東西，國王卻指定得很糟糕：他并不想要食物或女兒變成黃金。

神話故事中，邁達(dá)斯碰到女兒之后，誤把她變成了黃金雕塑

有人可能會(huì)主張說，人工智能已經(jīng)在某些微小和不是非常危險(xiǎn)的方面顯示出這點(diǎn)。舉例來說，在 2017 年由研究人員所通報(bào)的實(shí)驗(yàn)中，他們教會(huì)了計(jì)算機(jī)去玩賽船的電玩游戲《賽艇大亨》。人工智能并沒有去完成比賽路線，而是學(xué)會(huì)了繞小圈去撞別的船，因?yàn)檫@樣所增加的分?jǐn)?shù)比實(shí)際完賽要快。

由于超智能機(jī)器這么聰明，它達(dá)成目標(biāo)的方式或許會(huì)把我們嚇一跳。假定我們要超智慧機(jī)器治療癌癥。要做到這點(diǎn)，有一個(gè)辦法是把可能藏有癌癥的宿主全部消滅掉，于是就使人類走入了末日。跟我們要它治療癌癥時(shí)所想要的不盡相符。

類似的例子是以相當(dāng)晦暗的看法來設(shè)想超智慧。假如我把治療癌癥的差事交給你，你就開始?xì)⑷?，我大概就?huì)判定你并不是那么有智慧。我們所設(shè)想有智慧的人是學(xué)過良好的價(jià)值，并懂得他人的苦難，尤其是敏感和感性的人。超智慧不是就該明智得恰如其分又有智慧嗎?

到處都是回形針

第二種風(fēng)險(xiǎn)情境是，即使目標(biāo)經(jīng)過適當(dāng)指定，或許仍會(huì)有不利的副作用使人類群體受害。凡是為一些計(jì)算機(jī)程序碼除錯(cuò)過的人都知道，計(jì)算機(jī)在解讀指令時(shí)，一板一眼到有多令人氣餒。伯斯特隆姆所提出的著名思想實(shí)驗(yàn)就是在探討這種風(fēng)險(xiǎn)。

假定我們打造出超智慧機(jī)器，給它的目標(biāo)是要盡可能多做回形針。由于機(jī)器是超智慧，所以它會(huì)非常善于制造回形針。機(jī)器可能會(huì)開始興建愈來愈多的回形針工廠。到最后，整個(gè)星球都會(huì)變成做回形針的工廠。機(jī)器完全是奉命行事，但結(jié)局卻對(duì)人類不利。

他們還是我們?

第三種風(fēng)險(xiǎn)情境是，任何超智慧都會(huì)有跟人類群體的持續(xù)生存可能有所抵觸的子目標(biāo)。假定超智能有某個(gè)總體目標(biāo)，像是增進(jìn)人類的幸福或保護(hù)這個(gè)星球。你所能想象到任何像這樣的目標(biāo)，幾乎都必須靠超智慧開發(fā)資源來讓它的舉動(dòng)付諸實(shí)行。它也必須容許超智慧持續(xù)操作，好讓它能達(dá)成目標(biāo)。

但人類可能會(huì)把機(jī)器關(guān)掉。此外，人類會(huì)去消耗用來讓超智能本身的目標(biāo)更好的資源。所以說，合乎邏輯的結(jié)論就是，超智慧會(huì)想要把我們消滅掉。如此一來，我們就無法把它關(guān)掉，或是去消耗運(yùn)用在它的目標(biāo)上可能會(huì)更好的資源。

在電影《2001:太空漫游》里，HAL 9000 計(jì)算機(jī)就代表了人工智能在自衛(wèi)驅(qū)力上或許是最為人所知的遠(yuǎn)景。HAL 不惜一切企圖要阻止在發(fā)現(xiàn)一號(hào)宇宙飛船上的航天員把計(jì)算機(jī)關(guān)機(jī)，于是就開始加以殺害。

電影《2001：太空漫游》中最經(jīng)典的場(chǎng)景之一，暗示著由人類創(chuàng)造的機(jī)器，已逐漸擺脫人類的控制

移動(dòng)靶

第四種風(fēng)險(xiǎn)情境是，任何超智慧都可能自我修改，開始運(yùn)作得有所不同，甚至是為自己指派新的目標(biāo)。

假如我們給它的目標(biāo)是把自己變得更有智慧，尤其有可能會(huì)這樣。我們?nèi)绾文艽_定，經(jīng)過重新設(shè)計(jì)的超智慧機(jī)器依舊符合人類的價(jià)值?新系統(tǒng)或許會(huì)把原本某個(gè)無害的地方給放大，并可能對(duì)我們非常有害。

移動(dòng)靶不見得只有超智能，它在操作時(shí)所處的更大系統(tǒng)也是。我們?cè)谌祟惖捏w制里就已看過這種現(xiàn)象：所用的名稱則是「使命偏離」。你決定派一些軍事顧問去越南，十年后卻有數(shù)十萬軍人在戰(zhàn)場(chǎng)上打一場(chǎng)贏不了的全面戰(zhàn)爭(zhēng)。

無感

第五種風(fēng)險(xiǎn)情境是，任何超智慧都可能對(duì)我們的命運(yùn)完全無感，就如同我對(duì)某些較低智慧生命形式的命運(yùn)無感。假如我在散步，對(duì)于踩死了路上的螞蟻，我不見得會(huì)特別擔(dān)心，甚至一無所知。我不會(huì)特地把螞蟻給滅掉，但它們正好就在我的散步路線上。

同樣地，超智慧不見得會(huì)對(duì)我們的生存大為關(guān)切。假如我們正好妨礙了它的目標(biāo)，我們可能會(huì)直接被消滅掉。超智慧并不是對(duì)我們心懷不軌，我們只是遭到了池魚之殃。

我們?cè)摀?dān)心嗎?

這些生存風(fēng)險(xiǎn)有部分要靠超智慧非常迅速地衍生。假如這件事發(fā)生，我們就沒什么機(jī)會(huì)看到問題出現(xiàn)并加以矯正了。但就如我們所見，假定不會(huì)有科技奇點(diǎn)的原因有很多。假如是這樣的話，超智慧就比較有可能是慢慢衍生，因?yàn)槲覀儠?huì)費(fèi)心把系統(tǒng)建造得愈來愈好。我的同事大部分都相信，超智慧要過好幾十年、甚至是好幾世紀(jì)才會(huì)降臨;假如他們說得對(duì)，我們應(yīng)該會(huì)有不少時(shí)間來采取預(yù)防措施。

知道在過去十年間，有聚焦于人工智能安全性的研究社群成立，各位或許也會(huì)松一口氣。在特斯拉CEO伊隆·馬斯克千萬美元補(bǔ)助款的部分資助下，現(xiàn)在美國、英國和其他地方都有研究團(tuán)體，在為我剛才所勾勒出的這種風(fēng)險(xiǎn)尋求技術(shù)上的解決之道。我還滿有把握，憑著這些努力，人工智能不會(huì)很快就把人類消滅掉。

不過，我們并不能完全摒除超智慧所構(gòu)成的生存威脅。但我們八成應(yīng)該把注意力集中在比較眼前的生存威脅上，還有人工智能所構(gòu)成比較眼前的非生存威脅。而且對(duì)于人工智能很可能不會(huì)是人類所面臨最大的生存風(fēng)險(xiǎn)，各位不需要聽我的一面之詞。

2017 年 9 月時(shí)，《泰晤士高等教育》針對(duì)五十位諾貝爾獎(jiǎng)得主做了調(diào)查，氣候、人口增長、核戰(zhàn)、疾病、自私、無知、恐怖主義、基本教義和時(shí)任美國總統(tǒng)川普，在排名上對(duì)人類群體的威脅，都比人工智能要大。

所以，關(guān)系A(chǔ)I只能消滅人類更多是杞人憂天，你認(rèn)可嗎?