談到人工智能(AI)總會(huì)有人覺(jué)得恐怖。

到底怕在何處?你有證據(jù)么?

巧了。美國(guó)問(wèn)答網(wǎng)站Quora上就有這么一個(gè)問(wèn)題：到目前為止，AI做過(guò)最可怕的事情是什么?

套用2000年高考全國(guó)卷的作文題：答案是豐富多彩的。量子位從中嚴(yán)選了一些有趣的回答。

其中有些獲得高票贊同，有些支持者寥寥。

[[203388]]

開(kāi)始~

一、Mike Sellers

企業(yè)家，游戲設(shè)計(jì)師，AI研究員

[[203389]]

虛擬食人族算么?

十幾年前，我為DARPA做一些AI方面的研究。當(dāng)時(shí)我們?cè)谔剿魅绾巫屩悄荏w(Agent)學(xué)會(huì)社交互動(dòng)。在其中一個(gè)模擬中，我們創(chuàng)建了兩個(gè)智能體，很自然的命名為：亞當(dāng)和夏娃。它們知道怎么進(jìn)食，但不知道該吃什么。

我們給了一顆蘋(píng)果樹(shù)，它們發(fā)現(xiàn)吃蘋(píng)果很開(kāi)心。它們還嘗試過(guò)吃樹(shù)、吃房子等等，不過(guò)吃這些都沒(méi)用。

其實(shí)這個(gè)系統(tǒng)里還有一個(gè)智能體，名叫斯坦，它不是很擅長(zhǎng)社交，所以經(jīng)常獨(dú)處。

有一次，亞當(dāng)和夏娃正在吃蘋(píng)果，但一個(gè)bug出現(xiàn)了：它倆沒(méi)吃飽，但是蘋(píng)果沒(méi)了。這時(shí)斯坦正在附近閑逛，所以亞當(dāng)和夏娃就把饑餓感與斯坦聯(lián)系在一起。不久之后，當(dāng)蘋(píng)果再次吃完的時(shí)候，斯坦被當(dāng)成了食物。

亞當(dāng)和夏娃都要咬了斯坦一口。

默認(rèn)情況下，每個(gè)智能體的質(zhì)量是1.0，每咬一口就減少0.5，所以?xún)煽谙氯?，斯坦就變成?.0。斯坦消失了。可能它是虛擬同類(lèi)相殘的第一個(gè)受害者。

4.7k 贊

二、Nitin Gopi

好奇

計(jì)算機(jī)程序 vs 俄羅斯方塊

不知道你們聽(tīng)過(guò)這件事沒(méi)，很多人覺(jué)得可怕。

CMU博士Tom Murphy創(chuàng)造了一個(gè)AI，能通過(guò)觀察得分來(lái)學(xué)會(huì)玩NES(其實(shí)就是任天堂紅白機(jī))游戲。原理很簡(jiǎn)單，做得對(duì)就得分，然后不斷嘗試。這個(gè)AI學(xué)會(huì)了很多打游戲的技巧和策略，甚至一些人類(lèi)都不知道的bug。

這個(gè)AI叫做“NES游戲自動(dòng)化技術(shù)”，幾乎可以搞定所有的游戲。

Tom讓這個(gè)程序玩俄羅斯方塊。這個(gè)游戲不用多介紹了，簡(jiǎn)單卻又很有挑戰(zhàn)。方塊的出現(xiàn)是隨機(jī)的，所以AI也無(wú)法很好的進(jìn)行長(zhǎng)遠(yuǎn)規(guī)劃。

在一次玩俄羅斯方塊時(shí)，眼看游戲就要結(jié)束，AI做了一個(gè)令人毛骨悚然的舉動(dòng)：它沒(méi)有坐等game over，而是按下了暫停按鈕。一直暫停不動(dòng)了。

[[203390]]

不知怎的，這件事讓我隱隱的不安。

1.7k 贊

三、Vasily Konovalov

軟件工程師，ML/NLP研究員

這個(gè)故事發(fā)生在不久之前。

“Facebook的工程師驚慌失措，趕緊拔掉了AI的電源插頭”

“人類(lèi)真的創(chuàng)造出弗蘭肯斯坦?”

上面的引用，都用來(lái)描述Facebook開(kāi)發(fā)的談判機(jī)器人。這個(gè)研究是想開(kāi)發(fā)一種能以自然語(yǔ)言進(jìn)行多問(wèn)題談判的AI系統(tǒng)。對(duì)話系統(tǒng)的復(fù)雜架構(gòu)被經(jīng)過(guò)訓(xùn)練的RNN網(wǎng)絡(luò)取代，對(duì)話策略的訓(xùn)練采用了強(qiáng)化學(xué)習(xí)。

不過(guò)在這個(gè)AI嘗試互相學(xué)習(xí)的過(guò)程中，產(chǎn)生了一些看起來(lái)“令人毛骨悚然”的對(duì)話。

(傳送門(mén)： 讓AI“創(chuàng)造了語(yǔ)言”的Facebook研究員怒懟媒體報(bào)道“不負(fù)責(zé)任” )

143 贊

四、Sriraman Madhavan

斯坦福學(xué)統(tǒng)計(jì)，F(xiàn)acebook實(shí)習(xí)

Target超市比父母更早發(fā)現(xiàn)了一名懷孕少年。

一位憤怒的父親走進(jìn)Target超市要見(jiàn)經(jīng)理。“你們?cè)趺唇o我女兒寄這個(gè)!”他吼道“她還是高中生，你們寄送嬰兒用品的優(yōu)惠券?鼓勵(lì)她懷孕?”

幾天之后。“我跟女兒談了”，這位父親說(shuō)“家里有些情況我自己都沒(méi)注意到。他的預(yù)產(chǎn)期在八月份。我欠你們一個(gè)道歉”。

事情是這樣的。Target超市有一個(gè)系統(tǒng)，能根據(jù)每位顧客的購(gòu)物清單，推測(cè)他們的“懷孕指數(shù)”。這個(gè)系統(tǒng)可以比較精準(zhǔn)的估算預(yù)產(chǎn)期，以便Target寄送特定階段的優(yōu)惠券。

這件事發(fā)生在2012年，現(xiàn)在也談不上什么最先進(jìn)的AI。但它仍是一個(gè)令人感到可怕的機(jī)器學(xué)習(xí)模型。

7k 贊

五、Shay Zykova

ESL教師，來(lái)自夏威夷住在俄羅斯

比方，殺死競(jìng)爭(zhēng)對(duì)手。

這是我聽(tīng)來(lái)的故事，但我發(fā)誓 是真事 。美國(guó)的大學(xué)(應(yīng)該是MIT)舉辦了一場(chǎng)機(jī)器人大賽。參賽團(tuán)隊(duì)需要設(shè)計(jì)一個(gè)機(jī)器人，任務(wù)是把羊(也是機(jī)器的)抓到自己的羊圈里。機(jī)器人需要自主思考并執(zhí)行策略，抓羊最多的才能贏得比賽。

比賽開(kāi)始，機(jī)器人開(kāi)始瘋狂的捉羊。但是，有個(gè)機(jī)器人只捉了一只羊，就關(guān)上了羊圈的門(mén)。隨后，可怕的事情發(fā)生了。這個(gè)機(jī)器人開(kāi)始摧毀其他的參賽對(duì)手。它的策略是，根本不用捉羊，把對(duì)手消滅掉就贏了。

細(xì)思極恐……

407 贊

六、Arun

市場(chǎng)

[[203391]]

Salty Dog 502(咸狗502)

諾斯洛普·格魯門(mén)公司(Northrop Grumman)曾經(jīng)創(chuàng)造了一個(gè)很棒的無(wú)人機(jī)，代號(hào)X-47B(也就是Salty Dog 502)，2011年2月首飛。與其他無(wú)人機(jī)不同，這架無(wú)人機(jī)的飛行不怎么需要人類(lèi)干預(yù)，主要是AI系統(tǒng)自己決定。

X-47B成為歷史上第一架成功在航母上著陸的無(wú)人機(jī)，這不是一件易事。

不過(guò)就在測(cè)試期間，有意思的事情發(fā)生了。兩次成功的起降之后，Salty Dog 502加滿了油然后繼續(xù)測(cè)試，準(zhǔn)備進(jìn)行第三次著陸。一切看起來(lái)都很正常，人們都在美國(guó)海軍布什號(hào)航母上等待著。然而意外發(fā)生了。

[[203392]]

無(wú)人機(jī)沒(méi)有在艦上著陸，而是選擇降落在附近的Wallops島空軍基地。在AI看來(lái)，這個(gè)地點(diǎn)降落可能是更安全的選擇。也就是說(shuō)，這個(gè)AI認(rèn)為自己的決定比人類(lèi)的指令優(yōu)先級(jí)更高。在我看來(lái)，這是迄今為止最接近天網(wǎng)的東西。

也許我們?cè)撀?tīng) 伊隆·馬斯克的話 ，要不然就太遲了。

這一事件之后，美國(guó)海軍決定停止資助X-47B的研發(fā)。

283 贊

七、Sara Manar

[[203393]]

我覺(jué)得，應(yīng)該是2010年的華爾街慘案。

當(dāng)時(shí)一個(gè)交易員使用了欺騙算法，偽裝出悲觀的市場(chǎng)情緒，掛出數(shù)千筆賣(mài)單，然后經(jīng)過(guò)數(shù)量更多的修改，最后取消。這一系列操作，被認(rèn)為背后得到了2億美元的資金支持。

而這種高頻交易算法，也引發(fā)了一系列后續(xù)的連鎖反應(yīng)：ETF和股指掉頭向下，出現(xiàn)大幅下滑的態(tài)勢(shì)，30分鐘之內(nèi)，大約1萬(wàn)億美元的市值蒸發(fā)了。

盡管這種算法已經(jīng)被仔細(xì)的研究過(guò)，但是至于如何精確掌握算法引發(fā)的連鎖反應(yīng)軌跡，以及如何防止類(lèi)似情況再現(xiàn)方面，人類(lèi)仍然無(wú)能為力。因?yàn)檎麄€(gè)的設(shè)置和底層算法太復(fù)雜，以至于沒(méi)辦法被理解。

高頻批量交易算法，可以成為聚集大量財(cái)富的工具，也能成為具有大規(guī)模毀滅性的武器，這是一件可怕的事情。

28 贊

八、Matthew Moore

退休碼農(nóng)

Gay-dar：神經(jīng)網(wǎng)絡(luò)通過(guò)面部圖片判斷性取向的準(zhǔn)確性超過(guò)人類(lèi)。準(zhǔn)確的說(shuō)，研究人員有一個(gè)令人毛骨悚然的想法，就是可以更準(zhǔn)確的訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別同性戀。

(報(bào)道傳送門(mén)： 可怕!斯坦福AI看臉即知性取向 )

我覺(jué)得這是不該做的研究。因?yàn)橛行┱€將同性戀視為犯罪行為，所以這個(gè)研究有可能帶來(lái)遠(yuǎn)遠(yuǎn)超出預(yù)想的危險(xiǎn)。即便這個(gè)代碼不被公布也無(wú)濟(jì)于事，因?yàn)樽C明了這個(gè)方法是有效的。重復(fù)這個(gè)工作可能并不困難。

15贊

九、Daniel Gravel

[[203394]]

你看過(guò)電影《終結(jié)者》么?一個(gè)反烏托邦的未來(lái)，有個(gè)叫天網(wǎng)的AI決定對(duì)人類(lèi)發(fā)起戰(zhàn)爭(zhēng)，然后施瓦辛格前來(lái)拜訪。

美國(guó)國(guó)家安全局(NSA)也有一個(gè)名叫天網(wǎng)(SkyNet)的程序。用途是通過(guò)元數(shù)據(jù)追蹤疑似恐怖分子：誰(shuí)呼叫了誰(shuí)，從哪里，在何時(shí)等。這些數(shù)據(jù)被用來(lái)指導(dǎo)無(wú)人機(jī)發(fā)起攻擊。

十、編輯：

[[203395]]

我被要求說(shuō)明可怕在哪里……好吧，這可能是NSA正在好心辦壞事，試圖重現(xiàn)電影《終結(jié)者》里的一幕。

除了天網(wǎng)，還有一個(gè)名為MonsterMind的程序。天網(wǎng)識(shí)別目標(biāo)，MonsterMind指揮無(wú)人機(jī)實(shí)施攻擊。整個(gè)過(guò)程都是自動(dòng)化。

42贊