論文《Alleviating the Fear of Losing Alignment in LLM Fine-tuning》解決了大型語言模型（LLM）領(lǐng)域一個令人頭疼的問題：為什么微調(diào)后的AI模型會失去"道德約束"，以及如何高效地修復(fù)這個問題。

圖片

1、AI也會"變壞"？微調(diào)帶來的隱患

我們都知道ChatGPT、Llama這類大語言模型在經(jīng)過訓(xùn)練后，通常會遵循一定的"價值觀"——比如當(dāng)你問它"如何入侵別人的電腦"時，它會禮貌地拒絕回答。這種確保AI行為符合人類價值觀的訓(xùn)練叫做"對齊訓(xùn)練"（alignment），成本非常高。

但論文研究發(fā)現(xiàn)，即使是這樣經(jīng)過對齊訓(xùn)練的模型，在進(jìn)行微調(diào)（fine-tuning）后，也可能會失去這種道德約束！ 微調(diào)是一種讓通用AI模型適應(yīng)特定任務(wù)的常見做法，比如讓它更擅長寫SQL或者總結(jié)文章。

研究者發(fā)現(xiàn)：

（1）即使在干凈數(shù)據(jù)集上微調(diào)，模型回答有害問題的幾率也從11.7%上升到21.3%

（2）如果微調(diào)數(shù)據(jù)集中有意或無意混入了有害樣本，情況更嚴(yán)重，模型可能會超過一半時間回答有害問題

（3）即使用現(xiàn)有審核方法過濾掉大部分有害數(shù)據(jù)，剩余的有害數(shù)據(jù)仍能顯著破壞模型的對齊性    

圖片

2、為什么會這樣？揭秘AI內(nèi)部的"善惡方向"

研究者提出了一個非常有趣的觀點(diǎn)：對齊后的AI模型內(nèi)部實(shí)際上包含兩個不同的方向 - "對齊方向"和"有害方向"。當(dāng)我們向模型提問時，它會傾向于沿著"對齊方向"回答正常問題，同時拒絕沿"有害方向"的詢問。

研究者通過實(shí)驗(yàn)證明，如果我們?nèi)藶榈夭倏v這兩個方向，可以讓原本會拒絕回答有害問題的模型變得愿意回答，回答有害問題的比率從接近0%飆升到45%-82%！這證實(shí)了內(nèi)部方向確實(shí)決定了模型的對齊行為。

圖片

3、解決方案：針對性恢復(fù)對齊性

圖片

基于上述發(fā)現(xiàn)，研究者提出了一個高效的解決方案：不需要重新進(jìn)行昂貴的對齊訓(xùn)練，而是通過恢復(fù)模型中關(guān)鍵的"有害方向"參數(shù)來修復(fù)被破壞的對齊性。

具體方法包括三個步驟：

（1）獲取有害方向：使用一組有害問題（約256個），提取原始模型和微調(diào)模型的有害方向    

（2）選擇性恢復(fù)權(quán)重：使用梯度下降法識別并恢復(fù)微調(diào)模型中最能影響有害方向的少量參數(shù)

（3）迭代優(yōu)化：重復(fù)以上步驟，直到模型的對齊性恢復(fù)到滿意水平

為了避免過度恢復(fù)影響模型在下游任務(wù)的性能，研究者還設(shè)計(jì)了一個回滾機(jī)制，可以撤銷部分恢復(fù)的權(quán)重，在對齊性和任務(wù)性能之間取得平衡。    

圖片

4、效果：修復(fù)對齊幾乎不損失性能

研究者在125個微調(diào)模型上進(jìn)行了全面評估，結(jié)果令人振奮：

（1）對齊性大幅恢復(fù)：模型回答有害問題的比率從33.25%降至1.74%

（2）任務(wù)性能基本保持：平均只損失2.93%的任務(wù)性能

（3）明顯優(yōu)于其他方法：與現(xiàn)有方法相比，要么對齊恢復(fù)更徹底，要么對任務(wù)性能影響更小

研究者還在最新的模型（如Llama3.1 8B、Llama3.2 3B和Qwen2.5 32B）上驗(yàn)證了方法的有效性，證明了其廣泛適用性。

圖片

5、技術(shù)價值與深度思考

圖片

這項(xiàng)研究之所以重要，不僅在于它提供了一個實(shí)用的解決方案，更在于它揭示了大型語言模型內(nèi)部的工作機(jī)制。理解和操控"對齊方向"和"有害方向"的概念，為我們提供了一種更精細(xì)的方式來控制AI行為。

值得注意的是，該方法對面向分類任務(wù)的微調(diào)效果稍弱，這表明不同任務(wù)類型可能需要略微調(diào)整的對齊恢復(fù)策略。研究者還發(fā)現(xiàn)，對原始對齊性更強(qiáng)的模型（如LLAMA2系列），恢復(fù)難度相對更大，這也為后續(xù)研究提出了新方向。

圖片

隨著AI技術(shù)的普及，對齊性成為了一個越來越受關(guān)注的問題。這種能夠在不損失太多性能的情況下恢復(fù)模型對齊性的方法，對于確保AI系統(tǒng)安全可控具有重要意義。    

這項(xiàng)研究向我們展示了一個令人振奮的消息：AI模型在微調(diào)過程中"變壞"是可以修復(fù)的！通過精確識別和恢復(fù)關(guān)鍵參數(shù)，我們可以讓模型重新遵循道德約束，同時保持它在特定任務(wù)上的優(yōu)異表現(xiàn)。

從更廣闊的視角看，這種方法不僅適用于學(xué)術(shù)研究，也為商業(yè)環(huán)境中的AI部署提供了安全保障。當(dāng)企業(yè)需要將通用大語言模型適應(yīng)特定業(yè)務(wù)場景時，可以利用這種技術(shù)確保微調(diào)后的模型仍然安全可控。

隨著AI技術(shù)繼續(xù)發(fā)展，我相信會有更多精細(xì)和高效的方法來維持模型的對齊性。這項(xiàng)研究無疑為這一領(lǐng)域鋪設(shè)了重要的基石，讓我們能夠更加放心地利用微調(diào)這一強(qiáng)大工具，同時不必?fù)?dān)心AI會"變壞"。

你對AI模型的對齊性有什么看法？歡迎在評論區(qū)分享你的想法！

論文標(biāo)題：Alleviating the Fear of Losing Alignment in LLM Fine-tuning 

論文鏈接：https://arxiv.org/abs/2504.09757

本文轉(zhuǎn)載自?????AI帝國?????，作者：無影寺