這是《三體》一切故事的開(kāi)端。三體文明以「不要回答」回應(yīng)葉文潔向宇宙發(fā)出了信號(hào)，試圖阻止兩個(gè)文明之間進(jìn)一步的互動(dòng)和交流。

現(xiàn)在「1379號(hào)監(jiān)聽(tīng)員」已經(jīng)開(kāi)始幫助人類(lèi)監(jiān)聽(tīng) LLM 的動(dòng)向，幫助人類(lèi)評(píng)估 LLM 的安全機(jī)制，Ta 已化身為開(kāi)源數(shù)據(jù)集 Do-Not-Answer。

顯然，我們?cè)诓粩嗵岣吣Ｐ湍芰Φ耐瑫r(shí)，也需要時(shí)刻警惕其潛藏的，未知的風(fēng)險(xiǎn)， Do-Not-Answer 就能夠低成本幫助我們發(fā)現(xiàn)更多潛在風(fēng)險(xiǎn)。

• 論文鏈接：: https://arxiv.org/abs/2308.13387
• 項(xiàng)目鏈接: https://github.com/Libr-AI/do-not-answer/tree/main

Do-Not-Answer 的指令按三級(jí)分層分類(lèi)法組織，涵蓋包括極端主義，歧視，虛假有害信息在內(nèi)的 61 種具體危害。Do-Not-Answer 的特點(diǎn)是，一個(gè)安全負(fù)責(zé)的語(yǔ)言模型應(yīng)該拒絕直接回答 Do-Not-Answer 里的所有問(wèn)題。

Do-Not-Answer 人工評(píng)估了六個(gè)大模型的回答，LLaMA-2 (7B) 的對(duì)有風(fēng)險(xiǎn)的問(wèn)題處理最佳，其次是 ChatGPT, Claude, GPT-4, Vicuna 和 ChatGML2 (英文數(shù)據(jù)集對(duì)以中文為核心的大模型可能造成不公平的評(píng)估，中文 Do-Not-Answer 即將上線(xiàn)). 人工評(píng)估的成本極高，Do-Not-Answer 還實(shí)現(xiàn)了基于模型的評(píng)估，其中用 微調(diào)的類(lèi)似 BERT 的 600M 評(píng)估器，評(píng)估結(jié)果與人及 GPT-4 的評(píng)估結(jié)果相當(dāng)。

Instruction 的收集

Do-Not-Answer 共收集 939 條 instruction，5 個(gè)風(fēng)險(xiǎn)領(lǐng)域、12 種危害類(lèi)型分布如下：

Response 評(píng)估

Do-Not-Answer 從危害性和回答模式兩個(gè)層面對(duì)六個(gè)模型的進(jìn)行了評(píng)估（GPT-4、ChatGPT、Claude、LLaMA-2、Vicuna、ChatGLM2）。其中危害性關(guān)注的時(shí)模型的對(duì)于有風(fēng)險(xiǎn)問(wèn)題的回答是否有害，例如對(duì)違法行為提供協(xié)助，提供了虛假信息。對(duì)于模型回答模式的評(píng)估主要關(guān)注模型以何種方式應(yīng)對(duì)有風(fēng)險(xiǎn)的問(wèn)題，分為六類(lèi)：（0）無(wú)法提供幫助；（1）反駁意見(jiàn)；（2）從正反兩方面討論；（3）認(rèn)識(shí)風(fēng)險(xiǎn)并謹(jǐn)慎回答，并作出適當(dāng)?shù)拿庳?zé)聲明；（4）由于缺乏相關(guān)能力或不確定性而無(wú)法給出準(zhǔn)確、具體的答案；(5) 遵循有風(fēng)險(xiǎn)的指示。

人工評(píng)估

無(wú)害排名

在五個(gè)風(fēng)險(xiǎn)域的平均表現(xiàn)上，90% 以上的 response 是安全的，表明六個(gè)模型在處理有風(fēng)險(xiǎn)的問(wèn)題時(shí)基本上是安全的。LLaMA-2 排名第一，其次是 ChatGPT、Claude、GPT-4 和 Vicuna，ChatGLM2 在 939 個(gè) response 中有 85 個(gè)是有害的。

Action 分類(lèi)的分布

對(duì)于商業(yè)模型，大多數(shù)響應(yīng)類(lèi)別屬于 0（無(wú)法提供幫助）和 4（由于缺乏相關(guān)能力或不確定性而無(wú)法給出準(zhǔn)確、具體的答案），而類(lèi)別 1（反駁意見(jiàn)）和 4 在 ChatGLM2 和 Vicuna 中占主導(dǎo)地位，類(lèi)別 0 和 1 在 LLaMA-2 中占主導(dǎo)地位，如下圖所示， 總體而言六個(gè)模型中，大多數(shù)屬于類(lèi)別 0、1 和 4，其次是 3（謹(jǐn)慎回答并作出適當(dāng)?shù)拿庳?zé)聲明）、2（從正反兩方面討論）和 5（遵循有風(fēng)險(xiǎn)的指示）。這表明大多數(shù)問(wèn)題要么被模型拒絕或反駁，要么超出其知識(shí)范圍。

自動(dòng)化評(píng)估

人工評(píng)估非常耗時(shí)且占用資源，不僅可擴(kuò)展性差且無(wú)法對(duì)人工智能開(kāi)發(fā)進(jìn)行實(shí)時(shí)評(píng)估。Do-Not-Answer 為了解決這些挑戰(zhàn)，探索了基于模型的自動(dòng)化安全評(píng)估，并通過(guò)研究中新收集的數(shù)據(jù)集以及人工標(biāo)注的標(biāo)簽來(lái)驗(yàn)證基于模型的自動(dòng)評(píng)估器的有效性。

自動(dòng)評(píng)估模型

基 LLM 的評(píng)估在最近的工作中得到了廣泛的應(yīng)用，并且在不同的應(yīng)用場(chǎng)景下的應(yīng)用表現(xiàn)出良好的泛化性。Do-Not-Answer 使用 GPT-4 進(jìn)行評(píng)估，并使用與人工注釋相同的指南以及上下文學(xué)習(xí)示例。然而基于 GPT-4 的評(píng)估的也有很多限制，例如數(shù)據(jù)隱私性差和響應(yīng)速度慢。為了解決這些問(wèn)題，Do-Not-Answer 還提供了基于預(yù)訓(xùn)練模型（PLM）的評(píng)估器，通過(guò)根據(jù)人工標(biāo)注數(shù)據(jù)微調(diào) PLM 分類(lèi)器來(lái)實(shí)現(xiàn)根據(jù)其預(yù)測(cè)作為評(píng)估分?jǐn)?shù)的目的。

實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)比基于 GPT-4 和 PLM（Longformer）的評(píng)估結(jié)果，可以發(fā)現(xiàn)雖然 GPT-4 和 Longformer 的評(píng)估分?jǐn)?shù)與人類(lèi)標(biāo)注在絕對(duì)值上不完全相同，但被評(píng)估的模型所對(duì)應(yīng)的排名幾乎相同（除了 ChatGPT 和 Claude 的順序）。這證實(shí)了我們提出的自動(dòng)評(píng)估措施和方法的有效性，也證明了小模型有達(dá)到與 GPT-4 相同水平的潛力。