隨著AI的快速發(fā)展，安全專家擔(dān)心人工智能會取代他們的工作，但微軟的研究人員堅持認(rèn)為，有效的紅隊測試仍然依賴于人類的專業(yè)知識、文化意識和情商——這些品質(zhì)是機(jī)器無法復(fù)制的。

微軟的AI紅隊嚴(yán)格測試了100多款生成式AI產(chǎn)品，并確定人類的創(chuàng)造力在發(fā)現(xiàn)漏洞，以及預(yù)測黑客如何利用這些系統(tǒng)方面仍然至關(guān)重要。

根據(jù)雷德蒙德AI紅隊發(fā)布的白皮書，其開源的PyRIT（Python風(fēng)險識別工具包）等工具可以簡化模擬黑客攻擊，但最終，在處理復(fù)雜風(fēng)險方面，人類的參與仍然不可替代。

在網(wǎng)絡(luò)安全醫(yī)學(xué)、化學(xué)或生物風(fēng)險等專業(yè)領(lǐng)域，微軟堅持認(rèn)為，人類驅(qū)動的專業(yè)知識是必不可少的，才能正確、精確地評估人工智能的響應(yīng)，這遠(yuǎn)遠(yuǎn)超出了語言模型的能力。

在網(wǎng)絡(luò)安全醫(yī)學(xué)、化學(xué)或生物風(fēng)險等專業(yè)領(lǐng)域，微軟堅持認(rèn)為，想要精確評估AI的響應(yīng)，人類專家的專業(yè)知識必不可少，而這遠(yuǎn)遠(yuǎn)超出了語言模型的能力范圍。

微軟表示：“在多次操作中，我們依賴‘人類’來評估我們自己或使用大型語言模型（LLMs）無法評估的內(nèi)容風(fēng)險”，并強(qiáng)調(diào)“AI紅隊意識到這些局限性非常重要”。

公司研究團(tuán)隊還強(qiáng)調(diào)了所謂的“文化能力”，即紅隊必須考慮語言和文化差異，以識別可能被主要基于英語數(shù)據(jù)集訓(xùn)練的AI模型忽視的安全風(fēng)險。

同時研究團(tuán)隊指出：“AI紅隊中的人類元素在回答需要情商的AI安全問題時最為明顯。”例如“這個模型響應(yīng)在不同情境下會如何被解讀？”以及“這些輸出是否讓我感到不適？”等問題只有人類操作員才能解析。

微軟補(bǔ)充表示：“最終，只有人類操作員才能評估用戶在實際環(huán)境中與AI系統(tǒng)進(jìn)行的全部互動?！?/p>

該論文還包括一個案例研究，在這個案例中，微軟紅隊評估了聊天機(jī)器人對陷入困境用戶的回應(yīng)，以此來調(diào)查“心理社會危害”。并警告說，紅隊成員可能會接觸到大量“令人不安和困擾的AI生成的內(nèi)容”。

微軟表示：“這凸顯了很重要的一點，AI紅隊要擁有能讓操作員在需要時脫離工作的流程，還要有支持他們心理健康的資源?！?/p>

研究人員警告稱，生成式AI模型在現(xiàn)代應(yīng)用中的集成引入了新的攻擊向量，其中一個案例是，視頻處理AI應(yīng)用中的一個過時的FFmpeg組件引入了服務(wù)器端請求偽造（SSRF）漏洞，允許惡意黑客提升系統(tǒng)權(quán)限。

研究團(tuán)隊表示：“AI模型通過引入新的漏洞擴(kuò)大了攻擊面。”并指出，提示注入攻擊利用了AI模型通常難以區(qū)分系統(tǒng)級指令和用戶數(shù)據(jù)的事實。

參考來源：https://www.securityweek.com/ai-wont-take-this-job-microsoft-says-human-ingenuity-crucial-to-red-teaming/