AI經(jīng)過(guò)多輪“自我提升”，能力不增反降？

上海交通大學(xué)GAIR團(tuán)隊(duì)最新研究表明，在常識(shí)理解、數(shù)學(xué)推理和代碼生成等復(fù)雜任務(wù)中，AI經(jīng)過(guò)多輪“自我提升”后，可能會(huì)出現(xiàn)一種稱為“自我提升逆轉(zhuǎn)”（self-improvement reversal）的現(xiàn)象。

LLaMA-2-7B、Mistral-7B、LLaMA-8B都沒(méi)逃過(guò)。

這就像一個(gè)學(xué)生刷題刷到”走火入魔”——雖然考試成績(jī)提高了，但實(shí)際解決問(wèn)題的能力反而可能下降！

更值得警惕的是，這種訓(xùn)練還可能導(dǎo)致AI的回答變得千篇一律，失去了原有的創(chuàng)造力和適應(yīng)新情況的能力。好比一個(gè)學(xué)生只會(huì)應(yīng)付考試，遇到真實(shí)世界的問(wèn)題就束手無(wú)策。

要知道，OpenAI最近被曝光的項(xiàng)目“草莓”，據(jù)說(shuō)還在使用post-training階段的自我提升來(lái)提升模型復(fù)雜推理能力……

目前該研究《Progress or Regress？Self-Improvement Reversal in Post-training》已獲得了 ICML 2024 （AI for Math Workshop） 的Honorable Mention Award。

刷分更高但是能力下降

具體說(shuō)來(lái)，該工作將”迭代后訓(xùn)練”（Iterative post-training）分成三個(gè)主要步驟：

• 答案采樣：讓AI回答一系列問(wèn)題，每個(gè)問(wèn)題回答多次。
• 訓(xùn)練集構(gòu)建：從AI的回答中挑選出好的答案。
• 模型后訓(xùn)練：用這些好答案來(lái)”教”AI，讓它學(xué)會(huì)更好的回答方式。

研究人員嘗試了不同的”教學(xué)”方法：

• 迭代SFT：直接告訴AI哪些答案是對(duì)的。
• 迭代DPO：讓AI學(xué)會(huì)比較不同答案的好壞。
• 迭代SFT-DPO：將上面兩種方法結(jié)合起來(lái)。

他們還研究了影響AI學(xué)習(xí)效果的幾個(gè)關(guān)鍵因素（如圖1所示）：

• 訓(xùn)練次數(shù)：一般來(lái)說(shuō)，多訓(xùn)練幾次，AI的表現(xiàn)會(huì)更好。但訓(xùn)練4-5次后，進(jìn)步就不明顯了。
• AI的基礎(chǔ)能力：有趣的是，最聰明的AI并不一定學(xué)得最快，但最后表現(xiàn)通常最好。
• 問(wèn)題類型：有些類型的問(wèn)題（如常識(shí)問(wèn)答和簡(jiǎn)單數(shù)學(xué)）AI學(xué)得比較快，而復(fù)雜的數(shù)學(xué)問(wèn)題和編程任務(wù)就比較困難。
• 訓(xùn)練方法：不同的問(wèn)題可能需要不同的訓(xùn)練方法。研究者發(fā)現(xiàn)，如果AI一開始就表現(xiàn)不錯(cuò)，用DPO或SFT-DPO方法效果更好。

圖1：三種迭代后訓(xùn)練范式在多個(gè)任務(wù)求解上的Pass@1性能（從常識(shí)知識(shí)、數(shù)學(xué)推理、代碼生成方向選擇了四個(gè)聚焦復(fù)雜問(wèn)題求解能力的數(shù)據(jù)集：CSQA，GSM8k，MATH，MBPP以及三種不同的基座模型LLaMA-2-7B，Mistral-7B，LLaMA-8B。所有實(shí)驗(yàn)的迭代次數(shù)$$$$設(shè)置為5。評(píng)估時(shí)使用貪婪解碼，并且選擇Pass@1作為性能評(píng)價(jià)指標(biāo)。）

起初，結(jié)果看起來(lái)很令人興奮。AI在測(cè)試中的分?jǐn)?shù)確實(shí)提高了！但研究團(tuán)隊(duì)深入觀察后，發(fā)現(xiàn)了一些“出人意料”的現(xiàn)象：

1、能力幻覺(jué)：

研究者發(fā)現(xiàn)，AI并沒(méi)有真正學(xué)會(huì)解決更難的問(wèn)題。相反，它只是變得更擅長(zhǎng)在已知的答案中挑選正確的那個(gè)。他們用”正確答案覆蓋率”這個(gè)指標(biāo)來(lái)衡量這一現(xiàn)象。結(jié)果顯示，即使是未經(jīng)過(guò)多輪訓(xùn)練的AI，只要給它足夠多的嘗試機(jī)會(huì)，也能在那些看似”學(xué)會(huì)”的問(wèn)題上得到正確答案。這就像一個(gè)學(xué)生通過(guò)背答案提高了考試分?jǐn)?shù)，但實(shí)際解決問(wèn)題的能力并沒(méi)有提升。

2、多樣性喪失：

隨著訓(xùn)練次數(shù)增加，AI的回答變得越來(lái)越“千篇一律”。研究者從三個(gè)方面測(cè)量了這種變化：

• 語(yǔ)法多樣性：使用”Distinct N-gram”指標(biāo)。
• 語(yǔ)義多樣性：使用句子嵌入的余弦相似度。
• 邏輯多樣性：在數(shù)學(xué)問(wèn)題中計(jì)算不同方程的數(shù)量。結(jié)果顯示，無(wú)論哪種訓(xùn)練方法，AI的回答都變得越來(lái)越相似，失去了原有的創(chuàng)意和多樣性。

3、泛化能力下降：

研究者還測(cè)試了AI面對(duì)全新類型問(wèn)題時(shí)的表現(xiàn)。他們先讓AI在一個(gè)簡(jiǎn)單的數(shù)學(xué)問(wèn)題集（GSM8K）上訓(xùn)練，然后用一個(gè)更難的數(shù)學(xué)問(wèn)題集（MATH）來(lái)測(cè)試它。結(jié)果發(fā)現(xiàn)，經(jīng)過(guò)多輪”自學(xué)”的AI在面對(duì)這些新問(wèn)題時(shí)，表現(xiàn)反而更差。而且，AI在簡(jiǎn)單問(wèn)題和困難問(wèn)題上的表現(xiàn)差距越來(lái)越大，這說(shuō)明它可能只是在”死記硬背”，而不是真正理解和學(xué)習(xí)。

毫無(wú)疑問(wèn)，post-training階段的”自我提升“仍然是一個(gè)充滿潛力的研究方向，”讓AI自我提升”也是一個(gè)很酷的想法。但GAIR團(tuán)隊(duì)的發(fā)現(xiàn)表明，AI的進(jìn)化之路可能比想象中更加復(fù)雜和充滿挑戰(zhàn)。在追求AI性能提升的同時(shí)，也需要更全面地考慮：

• AI真正的問(wèn)題解決能力是否提升了？
• AI是否保持了創(chuàng)造力和多樣性？
• AI能否靈活應(yīng)對(duì)新的、未知的情況？

人工智能的未來(lái)令人期待，但同時(shí)也需要以更加審慎和全面的視角來(lái)看待其發(fā)展。只有這樣，才能真正實(shí)現(xiàn)AI的潛力，創(chuàng)造出既智能又可靠的系統(tǒng)，為人類社會(huì)帶來(lái)真正的價(jià)值。

實(shí)驗(yàn)室介紹：

生成式人工智能研究實(shí)驗(yàn)室（GAIR，主頁(yè)：https://plms.ai/）由上海交通大學(xué)劉鵬飛副教授2023年4月回國(guó)創(chuàng)建，是國(guó)內(nèi)首個(gè)聚焦于生成式人工智能的高校研究組。匯聚了來(lái)自于CMU、復(fù)旦、交大（ACM班、IEEE試點(diǎn)班等）等頂尖高校的年輕本碩博人才。實(shí)驗(yàn)室專注于三大核心領(lǐng)域：大模型基礎(chǔ)研究、對(duì)齊系統(tǒng)和社會(huì)影響，致力于培養(yǎng)頂尖人工智能人才（具有原創(chuàng)、批判精神等）、開發(fā)尖端的生成式人工智能技術(shù)，賦能人類解決復(fù)雜問(wèn)題，提升人類生活質(zhì)量。

論文地址：https://arxiv.org/pdf/2407.05013

項(xiàng)目主頁(yè)：https://gair-nlp.github.io/self-improvement-reversal/