AI攻擊會先確定目標，然后獲得反饋，不斷優(yōu)化提升。如果某一天AI能開發(fā)出完全新穎的解決方案，甚至開始優(yōu)化方案，那其殺傷力將是巨大的。

系統(tǒng)模糊性是當前防御AI黑客的屏障

對于圍棋之類的游戲，規(guī)則、目標、反饋都算是簡單的，確定的，沒有什么外在的東西攪局，輸或者贏就是反饋。GPT-3 AI可以寫連貫文章，因為它所在的世界只有文本。正因如此，當前的黑客獎勵活動有許多是在模擬環(huán)境下進行的，全是人為、全都受約束，所有規(guī)則都是為AI準備的。

系統(tǒng)的模糊性才是關(guān)鍵所在。我們可以將全球的稅法全部輸入AI，因為稅法里有公式，用來確定欠了多少稅。即使如此，所有法律都有模糊性。模糊很難轉(zhuǎn)化為代碼，AI處理起來很棘手。所以即使有了AI，在可預(yù)見的未來還是需要大量稅務(wù)律師。

大多的人類系統(tǒng)模糊性更強。AI能不能成為現(xiàn)實世界體育比賽黑客（比如曲棍球比賽）？恐怕很難。AI必須理解游戲的規(guī)則，但還遠遠不夠，它還要理解人體生理學、球桿和球的空氣動力學，等等。當然我們不能說絕對不可能，但肯定比應(yīng)付圍棋要難得多。

在短期內(nèi)，正因為社會系統(tǒng)極為復(fù)雜，存在模糊性，增強了系統(tǒng)對AI黑客的防御力。未來一段時間不太可能會有AI體育黑客出現(xiàn)。如果機器人親自參與比賽，或者未來某一天AI極為先進，能從所有維度理解廣闊世界，那時也許會有AI體育黑客誕生。

同樣的，賭場AI黑客、法律程序AI黑客也不太容易開發(fā)。AI想模擬個體或者群體工作還需要很長時間，暫時做不到。

但不要低估AI的非線性進化能力

世界到處是AI黑客，這是一個科幻問題，但它并不是愚蠢的科幻問題。AI飛速提升，它的進步是不穩(wěn)定、不連貫的。我們原本認為很難的問題可能是容易的，認為容易的也可能被證明是很難的。幾十年前我們可能會嘲笑AI，認為它不可能征服圍棋，因為圍棋太復(fù)雜：不是說規(guī)則復(fù)雜，而是棋步的可能性太多?，F(xiàn)在呢？AI已經(jīng)拿下圍棋。

所以說，我們應(yīng)該提前思考AI黑客問題，早早準備預(yù)案。

首先我們應(yīng)該重視的可能是金融系統(tǒng)中的AI黑客，因為金融系統(tǒng)的規(guī)則容易被算法利用。高頻率交易算法就是一個好例子，未來它會變得更復(fù)雜。我們可以用全球的金融實時信息武裝AI，加上全球的法律法規(guī)，加上新聞信息，加上其它相關(guān)信息，然后指派AI完成一個目標，追求“最大的合法利潤”或者“盡可能獲得最大的利潤”。到時可能會有一些黑客行為超出人類的理解，也就是說人類根本意識不到黑客行為發(fā)生了。當然，這樣的事情現(xiàn)在看來還有些遙遠。

在短期內(nèi)，AI可能會配合人類完成黑客攻擊。AI可以尋找漏洞，有經(jīng)驗的會計師或稅務(wù)律師協(xié)作，利用豐富經(jīng)驗判斷是否可以利用漏洞牟利。

成熟AI黑客的殺傷力不可估量

縱觀人類歷史，黑客攻擊一般都是人類行為。AI如果開始發(fā)起攻擊，一切都會改變。AI不會限定于相當?shù)姆绞?，不會像人一樣受到諸多限制。AI根本不休息，它們像外星人一樣思考，它可以以人類無法預(yù)料的方式黑掉系統(tǒng)。

計算機會在四個維度增強攻擊：速度、規(guī)模、范圍和復(fù)雜度。AI可以將攻擊力增強很多倍。

速度：人類發(fā)起攻擊可能要幾個月甚至幾年，AI不需要，幾天、幾小時甚至幾秒都有可能。例如，如果你把整個美國稅法全部輸入AI，命令它找出一套方案，將某個人的稅款降到最低，會怎樣？如果是跨國公司，可能會讓AI分析全球的稅法，給企業(yè)降稅。

規(guī)模：一旦AI找到了漏洞，它可能會以超大規(guī)模利用漏洞。當AI開始闖入金融系統(tǒng)，它們會統(tǒng)治整個行業(yè)。到時信貸市場、稅法、普通法律都可能向富人傾斜。AI會讓不平等加劇。最先出現(xiàn)的AI金融黑客可能不是追求平等的研究人員開發(fā)的，而是跨國銀行、對沖基金、管理顧問。

范圍：社會的確有一套方案應(yīng)對黑客，但應(yīng)付的主要是人類黑客，是人類速度的攻擊。如果AI可以快速從稅法中找到幾百個漏洞，國家如何應(yīng)付，修正稅法的速度根本跟不上。

復(fù)雜度：在AI的輔助下，人類黑客可以發(fā)起復(fù)雜攻擊，其復(fù)雜度超過無輔助人類的理解水平。人工智能的復(fù)雜統(tǒng)計分析可以揭示變量之間的關(guān)系，找到隱藏漏洞，即使是最好的戰(zhàn)略家和專家也可能沒有意識到漏洞的存在。

當AI以超快速度、超大規(guī)模、超廣范圍、超高復(fù)雜度發(fā)起攻擊時，社會可能根本無法處理。AI會不會突破人類的限制甚至統(tǒng)治社會？一些AI研究人員的確感到擔憂。雖然現(xiàn)在聽起來像是猜測，但人類早早預(yù)防還是有必要的。（曉歌）