反對“超級人工智能毀滅人類”這個想法的觀點不在少數(shù)，其中一個反對觀點出乎意料地常見，而我卻覺得十分荒唐。它不是說超級人工智能本身不可能，也不是說我們無法阻止邪惡的機器毀滅我們。這個天真爛漫的反對觀點竟然認為，一臺無比聰明的計算機壓根沒有終結(jié)人類的手段或動機。

控制和理解的缺失

想象一下我們有這樣一些系統(tǒng)，無論是生物的還是人工的，它的智慧水平相當于或遠高于人類智慧。通過基因工程、納米技術(shù)、信息技術(shù)和認知科學(xué)的融合，我們可以從根本上增強人類的大腦（甚至于非人類的動物大腦），而超越人類的機器智能十分有可能來自于計算機科學(xué)、認知科學(xué)和全腦仿真的進步。

接著，這些系統(tǒng)中的一個出了問題，或者它們被故意用作武器。遺憾的是，一旦這些系統(tǒng)出現(xiàn)，我們大概率沒有辦法控制它們，也無法預(yù)測這些系統(tǒng)響應(yīng)我們請求的方式。

蘇珊·施奈德是未來心靈中心的主任，也是“Artificial You： AI and the Future of the Mind”一書的作者。她在郵件中解釋說：“這就是我們常說的控制問題。簡單來說就是，如何控制一個比我們聰明得多的人工智能。”

施奈德提到了著名的回形針場景，作為類比?；匦吾槇鼍?，即一家回形針制造商有一個編程上很糟糕的人工智能，準備最大化自己的回形針生產(chǎn)效率。結(jié)果卻是，這個人工智能把地球上的一切都變成了回形針，從而毀滅了地球。牛津大學(xué)哲學(xué)家尼克·博斯特羅姆在他2014年的著作“Superintelligence： Paths， Dangers， Strategies”中將這類風(fēng)險命名為“反常實例化”。或者用施奈德的話更簡單地來說，即有一個古老的魔法精靈故事，故事里三個愿望的實現(xiàn)“永遠不會順利”。在這里，普遍的擔憂是，我們想讓超級智能去做一些事情，而由于我們自己都不太了解要做的這些事情的細節(jié)，超級智能將嚴重曲解我們的愿望，從而導(dǎo)致一些我們不愿意看到發(fā)生的事情發(fā)生。

例如，我們可以“許愿”實現(xiàn)一種有效提取太陽能的方法，結(jié)果卻是超級智能篡奪我們整個地球的資源去建造一個超大型的太陽能陣列。正如博斯特羅姆推測的那樣，要求超級智能“最大化人類幸福感”，可能會迫使超級智能重新連接我們大腦中的快樂中心，或把我們的腦子上傳到超級計算機上，強迫我們永生永世體驗?zāi)俏迕腌姷目鞓费h(huán)。一旦超級人工智能出現(xiàn)，厄運將會以某種離奇且意想不到的方式降臨。

人工智能機器研究所的人工智能理論家埃利澤·尤德科夫斯基在他的論文中，將超級人工智能視為優(yōu)化過程，或“在大型搜索空間中擊中小目標以產(chǎn)生合乎邏輯的現(xiàn)實世界效果的系統(tǒng)”。問題是，這些過程往往傾向于探索廣闊的可能性空間，其中很多是我們壓根無法想象的。尤德科夫斯基寫道：

“我正在訪問一座遙遠的城市，一位當?shù)嘏笥阎鲃犹岢鲩_車送我去機場。我不知道附近情況。當朋友來到十字路口時，我無法預(yù)測他會超哪個方向拐彎。但是我仍然可以預(yù)測朋友的一系列不可預(yù)測行為的最后結(jié)果：我們會抵達機場。即便我朋友的家在這座城市的其他地方，因此他可能會做一系列完全不同的拐彎，但我仍然可以自信地預(yù)測我們的目的地。從科學(xué)角度來將，這難道不是一個奇怪的場景嗎？我可以預(yù)測過程的結(jié)果，卻無法預(yù)測這個過程中的任何一個中間步驟。”

脫離了人類環(huán)境，并受到其基于目標的編程驅(qū)動，機器在嘗試從A到B的過程中，可能會造成相當嚴重的附帶傷害。可怕的是，人工智能也可能在嘗試實現(xiàn)自己的目標時，利用和濫用預(yù)先存在的強大資源——人類，并且怎么利用和濫用，又是我們無法預(yù)測的。

讓人工智能對人類友好

用一組預(yù)先確定的道德考量進行編程的人工智能或許可以避免某些陷阱，但尤德科夫斯基指出，我們幾乎無法預(yù)測人工智能可能遵循的所有路徑。

針對控制問題的一個可能解決方案是向人工智能灌輸兼容人類的道德準則。根據(jù)這個思路，如果我們能成功，一臺強大的機器或許可以避免造成傷害，或避免以違反我們倫理道德感的方式做它自己的事情。施奈德說，但問題在于，我們?nèi)绻胍?ldquo;按照道德準則進行編程，那我們就需要一個良好的道德理論，然而在倫理道德領(lǐng)域，我們有太多太多的分歧”。

十分有道理。人類從來沒有達成一個人人都認同的共同道德準則。但凡對列車問題稍有一點了解的人都會告訴你，倉促之下，道德問題會變得超級復(fù)雜。通過向超級智能傳授人類道德，來達到使超級智能變得安全和可控的目的，這個想法，可能行不通。

方式和方法

路易斯維爾大學(xué)計算機科學(xué)和工程教授羅曼•揚波爾斯基解釋說：“如果我們可以預(yù)測超級智能的行為，那我們自己就是那個超級智能。根據(jù)定義，超級智能比任何一個人類都更加聰明，所以它可以想出一些未知的未知解決方案”，去完成我們交代它的任務(wù)，無論這個任務(wù)是設(shè)計一種治療瘧疾的新藥、制定戰(zhàn)場策略還是管理本地電網(wǎng)。盡管如此，揚波爾斯基相信，我們或許可以通過觀察聰明人會如何設(shè)法統(tǒng)治世界或摧毀世界，來預(yù)測超級智能的惡意行為。

他說：“比如，蛋白質(zhì)折疊問題的解決方案”，即使用氨基酸序列來確定蛋白質(zhì)的三維形狀，“這個解決方案可能被用于創(chuàng)建一支生物納米機器人軍隊。當然，還有很多不那么新奇的辦法可以利用。人工智能可以完成一些股票交易、或打撲克、或?qū)懽?，然后用獲得的收益雇傭人類聽它差遣。鑒于最近加密貨幣的流行，這樁買賣可以大規(guī)模地暗中進行。”

揚波爾斯基說，如果有足夠的財政資源，你可以輕易地從云端獲取計算資源，并通過社會工程來影響現(xiàn)實世界，或者，像揚波爾斯基說的那樣，雇傭一支“人類勞動力大軍”。超級智能或許可以通過財富的積累、CPU性能、存儲能力以及影響范圍的提升，逐漸變得更加強大、更有影響力。

西班牙馬德里自治大學(xué)的計算科學(xué)家曼努埃里•阿方索卡解釋說，令人恐懼的是，超級智能可以就如何在我們的指令之外采取行動，做出一些判斷。

他說，超級人工智能可能“得出結(jié)論，即沒有人類，這個世界會更美好，并消滅我們”。他還補充說，有些人引用這一可怕的可能性來解釋我們?yōu)槭裁吹侥壳盀橹谷詻]有找到外星智慧生命；也許，阿方索卡說，“所有外星智慧都已被超級人工智能所取代，而人類在這些超級人工智能看來，不過是一種低等的生命形式，因此它們無意與我們交流”。

對于想要故意毀滅人類的超級智能來說，成功的最簡單之道就是利用我們的生物弱點。人類在沒有食物的情況下可以生存大約30天，沒有水的話只能生存3到4天，但是缺了氧氣，我們連幾分鐘都撐不下去。一臺足夠智能的機器很有可能會發(fā)現(xiàn)一種方法，來徹底清除我們大氣中的氧氣，也許它可以通過某種自我復(fù)制的納米技術(shù)群來實現(xiàn)這個操作。未來主義者對此有一個專門的描述，叫做全球生態(tài)吞噬，或可怕的“灰蠱情景”。在這種情景下，大量精心設(shè)計的分子機器將尋找特定的資源，然后把它們變成其他東西，包括自身的副本。這種資源不一定是氧氣，只要清除對人類生存至關(guān)重要的關(guān)鍵資源就行了。

非科幻小說

這一切聽起來都極具科幻色彩，但阿方索卡說，帶有猜測性質(zhì)的虛構(gòu)故事有助于強調(diào)潛在的風(fēng)險，特指《黑客帝國》。施奈德也相信虛構(gòu)故事的力量，她提到了反烏托邦短片《屠戮機器》。在這部短片中，武裝無人機襲擊了一間教室。施奈德說，人們對于危險的人工智能和自主殺人機器的擔憂越來越“接近當下”。例如，無人機技術(shù)可以利用現(xiàn)有的面部識別軟件來瞄準人類。施奈德說：“這是一個嚴重的問題。”因此，她認為，《屠戮機器》非常值得一看。

麻省理工學(xué)院的機器學(xué)習(xí)研究員馬克思•泰格馬克在他一本2017年出版的書中寫道，諸如《終結(jié)者》這類影片雖然呈現(xiàn)了模糊的未來可能情景，但也“讓人們的關(guān)注點偏離了人工智能帶來的真正風(fēng)險和機遇”。泰格馬克設(shè)想了一個更微妙、甚至更陰險的情景。在他的設(shè)想中，機器通過狡猾的社會工程和詭計以及穩(wěn)定地收集有價值的資源，來統(tǒng)治全世界。在他的書中，泰格馬克提到了“普羅米修斯”。這是一種假設(shè)的通用人工智能（AGI），使用其自適應(yīng)智能和多功能性，從而“以多種方式控制人類”，而那些反抗的人也沒辦法“簡單地用關(guān)掉普羅米修斯的方式”來擺脫控制。

就其本身而言，通用機器智能的出現(xiàn)注定是意義深遠的，且十分可能成為人類歷史的一個轉(zhuǎn)折點。一個通用人工智能“將有能力遞歸地設(shè)計出更優(yōu)的通用人工智能。最終，物理定律將成為這個不斷改進的通用人工智能的唯一限制。當然，物理定律范圍內(nèi)允許的智慧，似乎遠在人類智慧水平之上，”泰格馬克寫道。換句話說，人工智能可以用來發(fā)明超級智能。這樣一個時代，即我們?nèi)祟惢驅(qū)⒂幸娮C“智能爆炸”的時代，將出現(xiàn)一些嚴重的、我們不希望發(fā)生的后果。

泰格馬克寫道：“如果有一群人成功控制了智能爆炸，那么這群人可能會在幾年內(nèi)統(tǒng)治全球。如果人類無法控制智能爆炸，那么人工智能自己將會更快地統(tǒng)治世界。”

永遠的旁觀者

另一個關(guān)鍵漏洞與人類越來越被排斥在技術(shù)循環(huán)之外的方式有關(guān)。眾所周知，算法如今掌管著大部分的股票交易；也許更臭名昭著的是，算法如今也可以在近距離空戰(zhàn)中擊敗人類的F-16飛行員。越來越多的人工智能被要求在無人類干預(yù)的情況下做出重大決策。

施奈德?lián)模?ldquo;軍隊中已經(jīng)存在人工智能軍備競賽”，以及“對人工智能的日益依賴將導(dǎo)致人類的感知和認知能力無法以足夠快的方式應(yīng)對軍事挑戰(zhàn)”。施奈德說，我們會要求人工智能去為我們完成這些任務(wù)，但我們?nèi)圆恢涝撊绾卫^續(xù)讓人類處于這個技術(shù)循環(huán)之中。她還解釋說，可以想象，面對軍事攻擊時，人工智能將最終代表我們?nèi)祟惾?yīng)戰(zhàn)——甚至在我們?nèi)祟愡€未來得及合成傳入的數(shù)據(jù)之前。

人類容易犯錯，特別是在戰(zhàn)場上處于壓力之下時，但人工智能的誤判可能會帶來額外的風(fēng)險。這樣我們不禁想起1983年曾發(fā)生的一次事故。當時，蘇聯(lián)的預(yù)警系統(tǒng)差點引發(fā)一場核戰(zhàn)爭。

科幻作家艾薩克•阿西莫夫已然預(yù)見到這一天的到來。在他的小說中，盡管受到機器人三大定律的約束，但他筆下的機器人依然遇到了各式各樣的麻煩，哪怕我們?nèi)祟愐呀?jīng)盡了最大的努力。如果我們試圖去做一些類似的事情的話，相似的問題或?qū)⒏‖F(xiàn)。盡管，施奈德表示，想要就指導(dǎo)我們機器人同胞的道德準則達成一致，這本身就很難。

但是，我們除了一試別無選擇?？紤]到這其中的利害關(guān)系，對落敗一笑置之不是一個真正的選擇。正如博斯特羅姆所說，我們的“智慧必須優(yōu)于我們的技術(shù)”。

眼下十分要緊的是一系列潛在的全球災(zāi)難，這些問題甚至出現(xiàn)在超級人工智能問世以先。而我們?nèi)祟愶@然一點也不擅長應(yīng)對全球性災(zāi)難，這一點已經(jīng)毋庸置疑。

新冠病毒及其棘手的變異體幾乎不具備什么智慧，但這種病毒仍能夠利用我們的弱點——無論是生物上的弱點還是社交上的弱點——被動地運作。這種導(dǎo)致了全球疫情的病毒可以適應(yīng)我們的防范措施，不過只能通過隨機突變和選擇的過程，而這些過程始終受生物學(xué)的約束。更不祥的是，一個邪惡的人工智能可以設(shè)計自己的“低智慧”病毒，并不斷地調(diào)整該病毒以創(chuàng)造更致命的新變異體，來應(yīng)對我們的防范措施。

在疫情初期，揚波爾斯基曾說：“這個病毒智商幾乎為0，卻讓我們焦頭爛額。人工智能安全（部分地）相當于計算機病毒，但智商卻高達1000以上。”

遺憾的是，正如我們所知，超級人工智能不缺終結(jié)人類文明的辦法，不是通過簡單的蠻力，而是通過自適應(yīng)的設(shè)計、強化的形勢感知和迅捷的計算反應(yīng)，以更有效的方式來終結(jié)人類文明。那么，是不是有可能創(chuàng)建一個安全、有益且有道德的人工智能呢？唯一的選擇或許在于在全球范圍內(nèi)禁止開發(fā)近乎超級智能的人工智能。這雖然不太可能，但確實十分有必要。（勻琳）