當(dāng)AI融入生活：能力越大，管理越難！
2019年，OpenAI發(fā)布了Safety Gym(https://openai.com/blog/safety-gym/)，這是一套用于開發(fā)遵守某些“安全約束”的AI模型工具。當(dāng)時，OpenAI聲稱可以通過Safety Gym，比較人工智能算法的安全性，以及這些算法避免犯錯誤的能力。
從那時起，Safety Gym就被用于衡量OpenAI、加州大學(xué)伯克利分校、多倫多大學(xué)研究人員提出的算法性能。但一些專家質(zhì)疑人工智能“安全工具”是否有效，或者說，它們是否使人工智能系統(tǒng)更安全?
倫敦瑪麗皇后大學(xué)人工智能研究員庫克指出：“正如OpenAI指出的，他們試圖為AI系統(tǒng)不能做的事情制定規(guī)則，然后讓AI代理在規(guī)則內(nèi)找到解決方案，但前提是你需要很多規(guī)則。當(dāng)然，我們可以添加更多規(guī)則和更多約束，但如果不能確切地知道AI會提出什么解決方案，總會出現(xiàn)不受歡迎的優(yōu)化。”
庫克舉了自動駕駛汽車避免碰撞的例子，他指出，如果缺乏相關(guān)規(guī)則，人工智能可能會讓車距保持在兩厘米左右，或者做任何其他不安全的事情，然后基于此再在規(guī)則內(nèi)優(yōu)化。這對于自動駕駛汽車的乘坐人員來說，這種“試錯”成本難以接受。
英特爾Mobileye 以及英偉達(Nvidia)等公司提出一些模型，來保證人工智能決策的安全和“合乎邏輯”，特別是在自動駕駛汽車領(lǐng)域。
2017年10月，Mobileye發(fā)布了一個名為責(zé)任敏感安全(RSS)的框架，這是一個“確定性公式”，其中包含“邏輯上可證明”的道路規(guī)則，旨在防止自動駕駛汽車引發(fā)事故。Mobileye聲稱，RSS為道路決策提供了一種常識性方法，可將良好習(xí)慣編入法典，例如保持安全的跟車距離，并為其他車輛提供先行權(quán)。
英偉達對這一概念的理解是安全力場(Safety Force Field)，即通過分析傳感器數(shù)據(jù)，做出預(yù)測來監(jiān)控不安全的行為，目標(biāo)是最大限度地減少傷害和潛在危險。安全力場利用Nvidia已在現(xiàn)實世界、合成高速公路及城市場景中驗證的數(shù)學(xué)計算，可以同時考慮制動和轉(zhuǎn)向約束條件，使其能夠識別由兩者引起的異常。
這些工具的目標(biāo)是安全(Safety)，從表面上看似乎很好。但正如庫克指出的那樣，圍繞“安全”以及誰來定義什么是安全，存在很多社會學(xué)問題。FICO報告顯示，有65%的員工無法解釋其公司如何做出 AI 模型決策或預(yù)測，更不用說他們是否“安全”了。
“作為一個社會，我們在某種程度上就風(fēng)險水平達成共識，有時我們會將這些寫入法律，比如預(yù)計每年會發(fā)生一定數(shù)量的車輛碰撞。但是當(dāng)談到人工智能時，我們可能希望提高這些標(biāo)準(zhǔn)，因為這些系統(tǒng)是可以完全控制的，與人不同。”庫克繼續(xù)說道，“對安全的擔(dān)憂是可以理解的，但我們最終需要接受這樣一個事實，人工智能的安全性不可能讓所有人都能滿意。”
例如，雖然今天的自動駕駛和ADAS系統(tǒng)，可以說比人類駕駛員更安全，但它們?nèi)匀粫稿e——特斯拉最近的困境證明了這一點。庫克認(rèn)為，如果人工智能公司對其產(chǎn)品行為，承擔(dān)更多法律和財務(wù)責(zé)任，該行業(yè)將采取不同的方法，來評估其系統(tǒng)的安全性，而不是試圖“事后解決問題”。
佐治亞理工學(xué)院數(shù)字媒體副教授納西姆·帕文 (Nassim Parvin) 認(rèn)為，圍繞自動駕駛汽車的討論過于樂觀，也許對車禍中喪失生命的“真正關(guān)懷”可以作為重新思考的起點。她表示：“AI系統(tǒng)設(shè)計應(yīng)該超越錯誤的二元權(quán)衡，過分強調(diào)意圖和目標(biāo)，會導(dǎo)致人們直奔快速的技術(shù)解決方案，而忽略對社會系統(tǒng)復(fù)雜性的考慮。‘意外后果’這個詞是深刻討論人工智能設(shè)計的重大障礙，而不是促進因素……”
單一工具不太可能阻止人工智能系統(tǒng)中的不安全決策，這需要產(chǎn)品所有者、風(fēng)險評估人員和用戶，共同參與人工智能潛在缺陷和風(fēng)險的對話，以便創(chuàng)建一個能夠暴露、測試和緩解人工智能風(fēng)險和缺陷的流程。
【本文是51CTO專欄作者“安全牛”的原創(chuàng)文章，轉(zhuǎn)載請通過安全牛（微信公眾號id:gooann-sectv）獲取授權(quán)】
