LLM對齊數(shù)據(jù)全自動合成！UW華人博士生提出Magpie方法，Macbook Air即可運行
數(shù)據(jù)對LLM訓練而言是至關重要的存在，但我們的關注點往往放在訓練和評估數(shù)據(jù)，而會忽略微調(diào)數(shù)據(jù)。
比如Llama系列模型，雖然開放了權重（如Llama-3-Instruct），但微調(diào)數(shù)據(jù)集依舊是私有的。
LLM的成功有很大一部分取決于指令微調(diào)（instruction fine-tuning），這個過程能讓模型更好地泛化到訓練過程中沒有接觸過的任務。
正如訓練的有效性依賴于訓練語料的質量，指令微調(diào)的有效性也取決于能否獲得高質量的指令數(shù)據(jù)集。
然而，相比于無標注的自監(jiān)督訓練語料，高質量微調(diào)和對齊數(shù)據(jù)集更加難以構建、擴展，因為需要更多人工標注，而且存在預先定義的提示范圍。
就連專門為AI科技巨頭提供數(shù)據(jù)的公司Scale AI，在目前階段都無法實現(xiàn)自動化標注，甚至得高薪聘請專業(yè)人士參與微調(diào)和對齊數(shù)據(jù)集的構建。
Scale AI的CEO Alexandr Wang曾表示，LLM合成數(shù)據(jù)是一個很有前景的解決方案。
最近，華盛頓大學和研究機構Allen AI聯(lián)合發(fā)表的一篇論文就專注于如何讓對齊過的LLM合成高質量的微調(diào)數(shù)據(jù)。
論文地址：https://arxiv.org/abs/2406.08464
論文提出的方法實現(xiàn)了全流程的自動化，不需要任何種子問題。更為驚艷的是，代碼不僅能在本地運行，而且用LLM自動生成了非常可靠的高質量數(shù)據(jù)。
他們用Llama-3-8B的Base模型在自己生成的SFT數(shù)據(jù)集上微調(diào)后，得到了比官方微調(diào)版本Llama-3-Instruct性能更強的模型。
論文得到了AI圈大佬Sebastian Raschka的轉發(fā)背書。
起初，他也不相信這種方法真的能夠在MacBook Air上本地運行，但親自嘗試后驚喜地發(fā)現(xiàn)，真的可以。
Raschka是多本技術暢銷書的作者，包括《從頭開始構建大語言模型》、《Python機器學習》等，他目前擔任Lightning AI的研究工程師。
論文的第一作者Zhangchen Xu是華盛頓大學網(wǎng)絡安全實驗室的二年級博士生，師從Radha Poovendran教授，研究興趣是機器學習的安全性、隱私性和公平性，目前關注如何構建可信LLM。
那就讓我們仔細探究一下，這種高效的數(shù)據(jù)合成方法究竟如何實現(xiàn)。
方法概述
典型的LLM輸入一般由3個部分組成：
- 查詢前模版（pre-query template）
- 查詢內(nèi)容（query）
- 查詢后模版（post-query template）
其中的兩個模版一般由模型開發(fā)者預先定義，以保證正確地提示模型。
比如Llama-2-chat的輸入形式就是:
[INST] Hi! [/INST]
在之前的研究中，通常有兩種方法構建微調(diào)數(shù)據(jù)集。一是直接讓人類手動制作，顯然既耗時間又耗資源。二是從少量人工注釋的種子指令開始，通過提示調(diào)用LLM以合成更多指令。
第二種方法雖然節(jié)省人力，但非常考驗提示工程的水平，以及對初始種子問題的選擇。換言之，很難實現(xiàn)可控的大規(guī)模擴展。
更為致命的問題是，合成的指令往往與種子指令十分接近，這會嚴重影響大規(guī)模數(shù)據(jù)集的多樣性。用可擴展的方式，創(chuàng)建高質量且多樣化的指令數(shù)據(jù)集，依舊是LLM領域具有挑戰(zhàn)性的問題。
但作者在早期實驗中的有一個有趣的發(fā)現(xiàn)：由于LLM的自回歸特性，只輸入查詢前模版時，模型會自動合成查詢，而且從內(nèi)容來看，似乎有不錯的質量和多樣性。這表明它能夠有效利用對齊過程中學習到的能力。
以此為啟發(fā)，作者提出如下思路構建指令數(shù)據(jù)集：使用查詢前模版作為提示，輸入給對齊過的LLM，自動生成指令數(shù)據(jù)。
如下圖所示，每個指令數(shù)據(jù)實例包含一個或多個指令-響應對（instructon-response pair），且會規(guī)定指令提供者（provider）與遵循者（follower）的角色。
圖1描述了整個數(shù)據(jù)自動生成的pipeline，大體分為兩個步驟。
首先是指令生成。MAGPIE方法將查詢內(nèi)容構建為LLM預定義指令模版的格式，但只包含指令提供者（如user），不包含具體的指令內(nèi)容。
以此作為LLM輸入，模型就會以自回歸的方式生成指令。由于不需要特定的提示工程技巧，也沒有使用任何種子問題，這個流程確保了生成指令的多樣性。
第二步驟中，MAGPIE將之前生成的指令再輸入給LLM，得到響應內(nèi)容。
將以上兩個步驟進行重復迭代，就能夠得到多輪的指令數(shù)據(jù)。如果想針對某個特定領域生成數(shù)據(jù)，加上相應的提示即可實現(xiàn)。
得到原始的生成結果后，作者還根據(jù)文本長度、任務類別、輸入質量、輸入難度等指標進行了過濾。
論文分別使用Llama-3-8B-Instruct和Llama-3-70B-Instruct兩個模型，構建了兩個數(shù)據(jù)集MAGPIE-Air和MAGPIE-Pro，并在附錄中給出了生成指令的示例：
可以看到，文本質量的確不錯，完全可以與人類撰寫的指令水平相當。
然而，想評估如此龐大規(guī)模數(shù)據(jù)的質量不能只依靠主觀感受，于是作者對生成的指令數(shù)據(jù)集MAGPIE-Pro進行了定量分析。
數(shù)據(jù)集分析
覆蓋度
要考量指令文本的多樣化程度，一個有效指標是文本嵌入的在語義空間中的覆蓋范圍。
作者從MAGPIE-Pro中隨機采樣指令文本，編碼為嵌入向量并用t-SNE方法投影到二維空間，同時采用三個基線數(shù)據(jù)集作為對比，包括Alpaca、Evol Instruct和UltraChat。
下圖中的每個t-SNE投影點都代表隨機抽取的1萬條指令?？梢钥吹?，MAGPIE-Pro的投影基本將其他三個數(shù)據(jù)集的范圍囊括在內(nèi)，這表明它提供了更廣泛、多樣化的主題。
指令屬性
論文使用Llama-3-8B-Instruct模型評估MAGPIE指令數(shù)據(jù)的各種屬性，比如指令的任務類別、質量、難度、相似性和響應質量。
生成指令的任務類別主要是信息檢索，占比超過一半，也包括創(chuàng)意性寫作、尋求建議、規(guī)劃、數(shù)學、推理、頭腦風暴編輯等等，與人類用戶的主流需求基本一致。
指令的質量和難度同樣使用Llama-3-8B-Instruct模型進行自動評估。
可以看到兩個數(shù)據(jù)集中，大部分實例都被判定為平均水平及以上，MAGPIE-Pro的總體質量優(yōu)于MAGPIE-Air。
數(shù)據(jù)集指令難度的分布基本類似，超過60%集中在「簡單」級別，且Pro數(shù)據(jù)集比Air略具挑戰(zhàn)性。
通過計算指令相似度，可以從另一個側面評估多樣化程度。論文使用FAISS搜索每個文本嵌入的最近鄰居并計算二者間距離，來衡量相似程度。
響應質量方面，采用FsfairX-LLaMA3-RM-v0.1作為獎勵評估模型，同時以URIAL作為對比的基線模型。獎勵差異為正值表示質量較高，有利于指令微調(diào)過程。
圖5b可以看到，MAGPIE的數(shù)據(jù)分布相比基線模型整體右移且峰值更低，表明整體上響應質量更好。
安全性
此外，在指令安全性方面，作者采用Llama-guard-2進行自動評估，發(fā)現(xiàn)MAGPIE的數(shù)據(jù)集絕大部分是安全的，但仍然包含了不到1%的有害指令或響應結果。
結果評估
這項研究最大的亮點之一在于高效的運行成本，以及完全自動化、無需任何人工干預的pipeline。
在創(chuàng)建3M MAGPIE-Air數(shù)據(jù)集時，用4塊A100 GPU運行1.55小時/50小時即可完成指令/響應的生成。生成1M MAGPIE-Pro數(shù)據(jù)集則分別需要3.5小時/150小時。
如果在云服務器上運行，成本也非?？捎^。每生成1k個實例花費為0.12美元或1.10美元，具體取決于是Air或Pro數(shù)據(jù)集。
為了真正體現(xiàn)MAGPIE方法的優(yōu)勢，論文將數(shù)據(jù)集真正運用到基座模型的微調(diào)中，與官方發(fā)布的微調(diào)版本進行對比。
作者選擇了ShareGPT、Evol Instruct等6個最先進的開源指令微調(diào)數(shù)據(jù)集作為基線。其中ShareGPT和WildChat由人類撰寫，Evol Instruct和UltraChat為合成數(shù)據(jù)集。
微調(diào)的基座模型包括Llama-3和Qwen-1.5，并選取AlpacaEval和Arena-Hard兩個廣泛采用的指標評估性能。
從兩個表格的詳細數(shù)據(jù)對比中可以發(fā)現(xiàn)，無論在哪個基座模型上，MAGPIE方法生成的數(shù)據(jù)集都有更高質量，優(yōu)于所有的基線數(shù)據(jù)集，并且在絕大部分指標上優(yōu)于官方發(fā)布的微調(diào)模型。
在LLM的scaling law逐漸觸摸到數(shù)據(jù)墻時，這篇論文的方法為合成數(shù)據(jù)又打開了一扇希望之門?；蛟S使用精心設計的算法與技巧，LLM合成數(shù)據(jù)能逐漸成為公開數(shù)據(jù)集的「中流砥柱」。
