使用谷歌人工智能開源框架 TensorFlow 的人都要瑟瑟發(fā)抖了，這次是該框架本身的問題。

　　12 月 15 日，雷鋒網報道，騰訊安全平臺部預研團隊發(fā)現(xiàn)谷歌人工智能學習系統(tǒng) TensorFlow 存在自身安全風險，可被黑客利用帶來安全威脅。這次威脅還不小，攻擊者可以生成 Tensorflow 的惡意模型文件，對 AI 研究者進行攻擊，對受害者自身的 AI 應用進行竊取或篡改、破壞。該框架在谷歌、ebay、airbnb、twitter、uber、小米、中興等公司均有使用，這意味著，影響范圍不小。

　　12 月 16 日，雷鋒網宅客頻道與發(fā)現(xiàn)此次安全威脅的騰訊安全平臺預研團隊取得聯(lián)系，探尋此次威脅發(fā)現(xiàn)的始末以及修復難度。

[[213659]]

　　以下是雷鋒網宅客頻道與騰訊安全平臺預研團隊的問答實錄：

　　1. 到底問題在哪里，是什么問題？

　　騰訊安全平臺預研團隊：漏洞發(fā)生在 Tensorflow 處理 AI 模型的時候，屬于邏輯型的漏洞。

　　2. 影響到底多大？

　　騰訊安全平臺預研團隊：所有 Tensorflow 版本，包括最新的移動版 Tensorflow lite。

　　成功的攻擊（讓 AI 研發(fā)或者開發(fā)人員使用有漏洞利用代碼的 AI 模型）可以完整控制整個 AI 。危害取決于 AI 本身用于什么工作。如果是自動駕駛的 AI，就可以導致車毀人亡；如果是人臉驗證的 AI，就可以誤導驗證邏輯。

　　引用一個第三方的觀點。上海信息安全行業(yè)協(xié)會專委會副主任張威認為，此次發(fā)現(xiàn)的漏洞由于可以使他人獲得人工智能應用場景里的系統(tǒng)權限，這也意味著其可以拿到很多頂層數(shù)據(jù)。而當前參與人工智能開發(fā)的企業(yè)多是算法和數(shù)據(jù)相結合，有關數(shù)據(jù)可能涉及核心秘密，因此風險較高。

　　他建議，政府應盡快組織篩查使用該套平臺編程的部門，確定影響范圍，尤其是涉及國家安全和國家秘密的敏感部門是否也使用過該套平臺，同時在人工智能的編程平臺上加強審查。

　　3. 12 月初，有消息稱 TensorFlow、Caffe、Torch 這三大深度學習框架所使用的大量第三方開源基礎庫存在不少網絡安全漏洞。你們這次的發(fā)現(xiàn)和前面這種安全風險有什么明顯區(qū)別？

　　騰訊安全平臺預研團隊：以前其他團隊發(fā)現(xiàn)的 TensorFlow 漏洞是 TensorFlow 使用的外部組件的問題（可以理解為手機使用的其他廠商的內存有問題而不是手機廠商自身的問題），這次我們發(fā)現(xiàn)的這個是 TensorFlow 自身的問題，是 TensorFlow 第一個官方承認的安全漏洞，官方也意識到 TensorFlow 的安全問題可能帶來的危害，所以計劃像其他大量使用的軟件一樣專門開辟一個安全公告頁面。

　　4. 修復需要多久？修復難度在哪里？在這段“時間差”里，使用者怎么辦？

　　騰訊安全平臺預研團隊：Google TensorFlow 工程師團隊還在討論修復方案，目前看需要重新設計 AI 模型輸入處理機制，因為這本身可以算是處理機制的問題。對于 TensorFlow 使用者，等待 TensorFlow 版本更新即可。我覺得如果短期速成修復倒是可以比較快，長期來看還是要在處理 AI 框架的機制上有規(guī)避這一類風險的措施才行。

　　使用這個開源框架的人可能會遭到攻擊，因為這是個尚未公開的漏洞，存在較大安全風險。這個漏洞出問題的點是在處理 AI 模型的時候，一個攻擊場景是，黑客在網上提供一個 AI 模型給大家用，大家下載回來一運行就中招了。或者黑客能夠控制某個系統(tǒng)的 AI 模型就能實施攻擊。所以，使用 TensorFlow 的系統(tǒng)要注意不要使用有問題/被黑客修改過的 AI 模型，最終防范還是要升級新版本。

　　雖然利用這個漏洞進行攻擊成本很低，但發(fā)現(xiàn)難度還是有的，而且我們是首先發(fā)現(xiàn)這個漏洞，我們判斷，已經掌握這個漏洞的人應該很少或者沒有。一般來說是跟隨下一個版本修復，谷歌現(xiàn)在的想法是，想從機制上解決（會涉及到 Tensorflow 一些 API 的調整），所以，可能會慢一些，時間點也沒有給。對 Tensorflow 的使用者來說，目前安心等官方出新版本升級比較好。

　　5. 谷歌怎么回應的？

　　騰訊安全平臺預研團隊: 提交報告后，谷歌第一反應是跟我們討論，是否要在官網建立一個類似 Google android 那樣的安全頁面，做安全致謝以及給研發(fā)人員的安全指引，目前這個安全頁面已經在制作中。

　　谷歌與安全研究員的關系來說是很好的，他們是很有安全意識的，對安全研究者挺好，騰訊的安全漏洞獎勵計劃也參考了谷歌漏洞獎勵計劃。TensorFlow 這個漏洞應該還沒有納入谷歌漏洞獎勵計劃，相信未來會納入。之前我們也給谷歌的安卓報過漏洞，拿過獎金。

　　這次比較特殊的地方是，這次是谷歌旗下 TensorFlow 的首個漏洞，官方沒有處理過類似事件，可能還沒有建立這個流程，這塊我們也在和官方探討，推動他們建立安全漏洞報告處理流程，更好地與安全研究團隊協(xié)作。

　　6. 你們還想強調的點。

　　騰訊安全平臺預研團隊：AI 框架近兩年被用得很多，但是都沒有關注其安全性，這肯定會帶來安全風險，我們也會持續(xù)關注這里。目前已知的公開發(fā)現(xiàn) AI 框架漏洞有兩個，一個是之前 360 發(fā)現(xiàn)的三個 AI 框架引入的第三方組件帶來的漏洞，另一個是此次我們發(fā)現(xiàn)的框架本身的漏洞。經過這兩次普及，安全研究員會持續(xù)關注，未來這里肯定還有更多的漏洞被發(fā)掘出來，當然好的一面是漏洞會減少，也會提高大家對這里的安全意識。

　　比如，這次如果我們能讓谷歌把 TensorFlow 加入到漏洞獎勵計劃 /  TensorFlow 建立安全漏洞處理機制，安全性肯定會大大提升。