優(yōu)雅談大模型：“System2”與“System 1”
System 1和System 2的思維來(lái)自丹尼爾·卡尼曼 （Daniel Kahneman）的《思考，快與慢》一書。里面介紹了兩種不同的認(rèn)知處理模式。System 1快速、自動(dòng)且直觀，幾乎無(wú)需費(fèi)力即可操作。這種思維模式使人類能夠根據(jù)模式和經(jīng)驗(yàn)做出快速?zèng)Q策和判斷。相比之下，System 2是緩慢的、深思熟慮的和有意識(shí)的，需要有意識(shí)地努力。這種類型的思維用于復(fù)雜的問(wèn)題解決和分析任務(wù)，在這些任務(wù)中需要更多的思考和考慮。
上下班途中，人總是知道該走哪條路線，而無(wú)需有意識(shí)地考慮。一般而言會(huì)自動(dòng)走到地鐵站，習(xí)慣性地在同一個(gè)站點(diǎn)下車，然后在你的思緒徘徊時(shí)走到你的辦公室。假如某天地鐵停了，那么就需要花費(fèi)時(shí)間分析其他上班路線，以便選擇最快的一條。公交車在運(yùn)行嗎？外面溫度如何？走路可行？打車費(fèi)用多少？?jī)煞N情況的思維模式直觀地體現(xiàn)了較慢的思維過(guò)程和瞬時(shí)思維過(guò)程之間的差異。
在這篇研究中，研究人員探索了三種System 2方法——RaR、S2A 和 BSM，這些方法已經(jīng)成功提煉到新的LLM，這個(gè)新的模型與System 1相比，產(chǎn)生了更好的結(jié)果，而且成本低于System 2。然而這種方法是有局限性，只能適用于特定的任務(wù)或受限于模型訓(xùn)練的數(shù)據(jù)集。
大模型的業(yè)界已經(jīng)提出了一系列相關(guān)的System 2技術(shù)，包括思維鏈（COT）、思維樹、思維圖、分支解決合并（BSM）、System 2 Attention（S2A）、Rephrase and Respond (RaR)等。得益于這種明確的推理，許多方法都顯示出更準(zhǔn)確的結(jié)果， 但這樣做通常會(huì)帶來(lái)更高的推理成本和響應(yīng)延遲。因此此類方法未在生產(chǎn)系統(tǒng)中使用，而大多使用了System 1。
上圖為BSM的架構(gòu)，先是分支，然后獨(dú)立解讀，最后合并
對(duì)于人類來(lái)說(shuō)， 學(xué)習(xí)將技能從深思熟慮（System 2）轉(zhuǎn)移到自動(dòng)（System 1）的過(guò)程在心理學(xué)中被稱為自動(dòng)性，以及程序記憶的使用。例如，第一次開車上班時(shí)，人們通常會(huì)花費(fèi)有意識(shí)的努力來(lái)計(jì)劃和做出到達(dá)目的地的決定。而在駕駛員重復(fù)這條路線后，駕駛過(guò)程就會(huì)「編譯」到潛意識(shí)中。
來(lái)自 Meta FAIR 的研究者探索一種將System 2蒸餾到System 1的方法。通過(guò)在未標(biāo)記的數(shù)據(jù)上運(yùn)行System 2方法來(lái)收集過(guò)濾的訓(xùn)練樣本，然后使用額外的計(jì)算產(chǎn)生更高質(zhì)量的輸出。最后將這些蒸餾出來(lái)的訓(xùn)練數(shù)據(jù)用于訓(xùn)練System 1的LLM。
在兩個(gè)流行的基準(zhǔn)上評(píng)估這種方法提出的模型，即OASST2和MT-bench。OASST2 驗(yàn)證集包含273個(gè)樣本。MT-bench則用于評(píng)估LLM在充當(dāng)有用的AI助手對(duì)話時(shí)的反應(yīng)，它由8個(gè)不同領(lǐng)域的指令組成，例如寫作、推理、數(shù)學(xué)、編碼等。這兩個(gè)指標(biāo)的評(píng)估還是相當(dāng)不錯(cuò)。
而下表也揭示了研究存在缺項(xiàng)，System 2蒸餾方法在各種解碼超參數(shù)上的性能都很差。GSM8k任務(wù)（數(shù)學(xué)問(wèn)題）需要一種非常不同的推理。這凸顯了System 2蒸餾的重要方面：所提出的蒸餾算法在許多情況下都有效，但并非總是有效。這為未來(lái)的研究留下了空間，以闡明在哪些情況下應(yīng)該應(yīng)用蒸餾，以及何時(shí)不應(yīng)用蒸餾。
