大語言模型評估基準(zhǔn)數(shù)據(jù)泄露問題分析報告
1. 研究背景與動機
近年來，大語言模型（Large Language Models, LLMs）在人工智能領(lǐng)域取得了巨大的進展。為了評估這些模型的能力，研究人員開發(fā)了許多評估基準(zhǔn)。然而，隨著這些基準(zhǔn)的廣泛使用，人們對其適當(dāng)性和公平性產(chǎn)生了越來越多的擔(dān)憂。
本研究的主要動機包括：
- 評估基準(zhǔn)的重要性：評估基準(zhǔn)是衡量LLMs能力的關(guān)鍵工具，對于理解模型進展至關(guān)重要。
- 數(shù)據(jù)泄露問題：在準(zhǔn)備預(yù)訓(xùn)練數(shù)據(jù)時，可能無意中包含了未來評估數(shù)據(jù)集的相關(guān)內(nèi)容，這可能導(dǎo)致不公平的性能優(yōu)勢。
- 公平比較的需求：需要確保不同LLMs之間的比較是公平和可靠的。
例如，GPT-3在訓(xùn)練過程中發(fā)現(xiàn)其預(yù)訓(xùn)練語料庫包含了Children's Book Test數(shù)據(jù)集，而LLaMA-2則提到BoolQ數(shù)據(jù)集中的上下文是直接從網(wǎng)頁中提取的，這些網(wǎng)頁可能已經(jīng)包含在公開可用的語料庫中。這些情況都可能導(dǎo)致評估結(jié)果的偏差。
2. 基準(zhǔn)數(shù)據(jù)泄露的實證研究
為了研究基準(zhǔn)數(shù)據(jù)泄露的影響，研究人員設(shè)計了三種數(shù)據(jù)泄露場景：
- 使用MMLU訓(xùn)練集：僅使用MMLU基準(zhǔn)提供的輔助訓(xùn)練集進行訓(xùn)練。
- 使用所有訓(xùn)練集：使用所有收集到的評估基準(zhǔn)的訓(xùn)練集進行訓(xùn)練。
- 使用所有訓(xùn)練集和測試提示：使用所有訓(xùn)練集，并加入相應(yīng)的測試提示（如任務(wù)描述和少樣本示例）。
- 使用所有訓(xùn)練集、測試集和測試提示：這是最極端的情況，包含了所有信息（僅用于參考，實際中絕不應(yīng)發(fā)生）。
研究者選擇了四種不同規(guī)模的語言模型進行評估：
- GPT-Neo-1.3B
- phi-1.5 (1.3B參數(shù))
- OpenLLaMA-3B
- LLaMA-2-7B
評估基準(zhǔn)包括：
- MMLU（多任務(wù)語言理解）
- 開放域問答任務(wù)（如BoolQ, PIQA, Hellaswag等）
- 推理任務(wù)（如CommonsenseQA, GSM8k, AQuA）
- 閱讀理解任務(wù)（如RACE, CoQA, CMRC2018等）
實驗結(jié)果顯示，數(shù)據(jù)泄露顯著提升了模型在相關(guān)基準(zhǔn)上的表現(xiàn)。以下是部分結(jié)果的示例：
模型 | 訓(xùn)練設(shè)置 | MMLU | BoolQ | PIQA | Hellaswag |
GPT-Neo (1.3B) | 無 | 24.04 | 62.57 | 70.57 | 38.65 |
GPT-Neo (1.3B) | +所有訓(xùn)練集 | 35.10 | 78.32 | 68.61 | 42.46 |
GPT-Neo (1.3B) | +所有訓(xùn)練集+測試提示 | 36.15 | 76.91 | 73.72 | 42.75 |
這些結(jié)果清楚地表明，即使是較小的模型（如1.3B參數(shù)的模型）在數(shù)據(jù)泄露的情況下也能顯著提高性能，有時甚至超過了未經(jīng)泄露數(shù)據(jù)訓(xùn)練的更大模型。
3. 基準(zhǔn)數(shù)據(jù)泄露的潛在風(fēng)險
研究還探討了基準(zhǔn)數(shù)據(jù)泄露可能帶來的其他風(fēng)險：
3.1 對其他任務(wù)性能的負(fù)面影響
研究者選擇了三個未包含在泄露數(shù)據(jù)中的任務(wù)來評估影響：
- LAMBADA（語言建模任務(wù)）
- XSum（文本摘要任務(wù)）
- HumanEval（代碼合成任務(wù)）
結(jié)果顯示，在泄露數(shù)據(jù)上訓(xùn)練后，模型在這些任務(wù)上的性能普遍下降。例如：
模型 | 訓(xùn)練設(shè)置 | LAMBADA | XSum | HumanEval |
LLaMA-2 (7B) | 無 | 68.20 | 8.67 | 26.83 |
LLaMA-2 (7B) | +泄露 | 61.00 | 0.25 | 8.54 |
這表明，僅在泄露數(shù)據(jù)上訓(xùn)練可能會導(dǎo)致模型在其他常規(guī)任務(wù)上的性能下降。
3.2 降低模型的適應(yīng)能力
研究者還探討了數(shù)據(jù)泄露對模型后續(xù)適應(yīng)性的影響。他們使用Alpaca和CodeAlpaca數(shù)據(jù)集對模型進行指令微調(diào)，然后評估其性能。結(jié)果顯示：
模型 | 訓(xùn)練設(shè)置 | LAMBADA | XSum | HumanEval |
LLaMA-2 (7B) | +指令微調(diào) | 60.30 | 8.64 | 28.66 |
LLaMA-2 (7B) | +泄露+指令微調(diào) | 53.60 | 8.55 | 20.73 |
這表明，在泄露數(shù)據(jù)上訓(xùn)練的模型在后續(xù)適應(yīng)新任務(wù)時可能面臨更大的困難。
4. 討論與建議
基于研究發(fā)現(xiàn)，論文提出了以下建議：
4.1 通用建議
- 使用更廣泛的、來源多樣化的基準(zhǔn)進行評估，以減輕數(shù)據(jù)污染風(fēng)險。
- 除了評估高級能力（如推理和事實知識），也應(yīng)該評估基本能力（如文本生成）。
4.2 對LLM開發(fā)者的建議
- 在預(yù)訓(xùn)練數(shù)據(jù)中進行嚴(yán)格的數(shù)據(jù)去污染檢查，避免包含任何后續(xù)評估數(shù)據(jù)。
- 如果可能，建議也排除主流評估基準(zhǔn)的訓(xùn)練數(shù)據(jù)。
- 報告潛在的數(shù)據(jù)污染風(fēng)險和污染分析結(jié)果。
- 詳細(xì)報告預(yù)訓(xùn)練數(shù)據(jù)的組成，特別是與主流評估基準(zhǔn)相關(guān)的數(shù)據(jù)集。
4.3 對基準(zhǔn)維護者的建議
- 提供構(gòu)建基準(zhǔn)的數(shù)據(jù)源詳細(xì)信息，并進行與主流預(yù)訓(xùn)練語料庫的污染分析。
- 要求每次提交都附帶具體的污染分析報告。
- 提供多樣化的測試提示，最終評估結(jié)果應(yīng)該是多次運行的平均值。
5. 局限性與未來工作
本研究存在一些局限性：
- 未直接在預(yù)訓(xùn)練階段引入數(shù)據(jù)泄露，而是在現(xiàn)有預(yù)訓(xùn)練模型上繼續(xù)訓(xùn)練。
- 未探索更細(xì)粒度的數(shù)據(jù)泄露場景，如僅泄露不帶標(biāo)簽的訓(xùn)練樣本。
- 未計算主流基準(zhǔn)與常用預(yù)訓(xùn)練數(shù)據(jù)集之間的污染程度。
未來工作可以focus在這些方向上，進行更系統(tǒng)、更全面的研究。
6. 結(jié)論
本研究深入探討了大語言模型評估中的基準(zhǔn)數(shù)據(jù)泄露問題，得出以下主要結(jié)論：
- 基準(zhǔn)數(shù)據(jù)泄露會導(dǎo)致不公平和不可信的評估結(jié)果，即使是小型模型也可能因此獲得顯著的性能提升。
- 數(shù)據(jù)泄露不僅影響相關(guān)任務(wù)的性能，還可能對其他任務(wù)和模型的適應(yīng)能力產(chǎn)生負(fù)面影響。
- 需要采取多項措施來改善現(xiàn)有評估基準(zhǔn)的使用，包括更嚴(yán)格的數(shù)據(jù)檢查、多樣化的評估方法和透明的報告機制。
這項研究為公平、可靠地評估大語言模型提供了寶貴的見解和實用建議，對于推動LLM評估領(lǐng)域的發(fā)展具有重要意義。
論文原文：《Don’t Make Your LLM an Evaluation Benchmark Cheater》
本文轉(zhuǎn)載自 ??芝士AI吃魚??，作者： 芝士AI吃魚
