0 前言

LLM憑借其生成連貫文本、翻譯語(yǔ)言甚至進(jìn)行對(duì)話的能力，徹底改變?nèi)斯ぶ悄茴I(lǐng)域。然而，盡管這些模型表現(xiàn)出色，它們?cè)谕评砗屠斫鈴?fù)雜上下文方面仍然面臨重大挑戰(zhàn)。

這些模型擅長(zhǎng)識(shí)別并模仿訓(xùn)練數(shù)據(jù)中的模式，但當(dāng)任務(wù)需要真正的理解和邏輯推理時(shí)，它們往往遇困。可能導(dǎo)致：

• 長(zhǎng)對(duì)話中的不一致
• 難以關(guān)聯(lián)分散的信息
• 在長(zhǎng)篇敘述中難以保持上下文一致性

深入理解這些推理問(wèn)題對(duì)于改進(jìn)未來(lái) LLM 的發(fā)展和應(yīng)用至關(guān)重要。

1 關(guān)鍵推理挑戰(zhàn)

1.1 缺乏真正的理解

語(yǔ)言模型的工作原理是根據(jù)訓(xùn)練過(guò)程中學(xué)到的模式預(yù)測(cè)下一個(gè)關(guān)鍵詞，而不像人類真正理解其所討論的內(nèi)容。因此，在需深層理解的復(fù)雜推理任務(wù)，LLM 表現(xiàn)不佳。

1.2 上下文限制

盡管現(xiàn)代 LLM 在短期上下文理解方面表現(xiàn)良好，但在長(zhǎng)對(duì)話或大篇幅文本中保持一致性和上下文連貫性仍是挑戰(zhàn)。當(dāng)需要整合對(duì)話或文本的多個(gè)部分時(shí)，模型可能會(huì)出現(xiàn)推理錯(cuò)誤。例如，在一場(chǎng)長(zhǎng)時(shí)間的討論或復(fù)雜的故事敘述中，模型可能會(huì)忘記或誤解之前的信息，導(dǎo)致后續(xù)的矛盾或錯(cuò)誤結(jié)論。

1.3 無(wú)法進(jìn)行規(guī)劃

許多推理任務(wù)涉及多步邏輯推導(dǎo)或需要跟蹤多個(gè)事實(shí)。當(dāng)前的 LLM 在需要長(zhǎng)時(shí)間連貫性或多步邏輯推理的任務(wù)上表現(xiàn)較差，例如解答需要多個(gè)邏輯步驟的謎題。

1.4 回答無(wú)解問(wèn)題

回答無(wú)解問(wèn)題是 LLM 推理能力的一大挑戰(zhàn)。當(dāng)面對(duì)悖論、無(wú)明確答案的問(wèn)題，或與已知事實(shí)相矛盾的問(wèn)題時(shí)，LLM 可能難以提供有意義或連貫的回答。相較于直接承認(rèn)問(wèn)題無(wú)解，模型可能會(huì)基于訓(xùn)練數(shù)據(jù)的模式硬給出一個(gè)答案，這可能導(dǎo)致誤導(dǎo)性或錯(cuò)誤的結(jié)果。推理能力的局限性在這一點(diǎn)上尤為明顯。

1.5 狀態(tài)空間計(jì)算的復(fù)雜性

某些問(wèn)題需要探索從初始狀態(tài)到目標(biāo)狀態(tài)的所有可能路徑。例如，在旅行規(guī)劃中，涉及大量可能的選項(xiàng)，并且隨著預(yù)算、交通方式等額外限制的增加，搜索狀態(tài)空間可能會(huì)呈指數(shù)級(jí)增長(zhǎng)。對(duì)于 LLM 來(lái)說(shuō)，計(jì)算所有這些可能性并給出最佳方案是不現(xiàn)實(shí)的，因此它通常會(huì)依賴所學(xué)的啟發(fā)式方法，給出一個(gè)可能并不正確的可行解。

2 現(xiàn)實(shí)案例：錯(cuò)誤的推理

問(wèn)題：

ounter(lineounter(lineounter(line
"一個(gè)水壺裝有 8 個(gè)單位的水，還有兩個(gè)容量為 5 和 5 的空水壺。"
"目標(biāo)是通過(guò)倒水，使前兩個(gè)水壺各包含 4 個(gè)單位的水，而第三個(gè)水壺保持為空。"
"每次倒水時(shí)，水只能從一個(gè)水壺倒入另一個(gè)，直到倒水的水壺空了，或者接收水的水壺裝滿為止。"

實(shí)際上，這問(wèn)題無(wú)解，但目前 LLM 仍嘗試給出解答，仿佛它們找到正確答案。

然而，如果問(wèn)題稍作修改，將兩個(gè)空水壺的容量改為 5 和 4（而非 5 和 5），所有 LLM 都能夠正確回答。這表明，它們可能只是記住了某些已知問(wèn)題的解決方案，而不是進(jìn)行真正的推理。

3 研究人員如何改進(jìn) LLM 的推理能力？

目前，研究人員正在探索多種方法來(lái)提升 LLM 的推理能力，其中包括改進(jìn)數(shù)據(jù)集、引入鏈?zhǔn)剿季S、使用外部驗(yàn)證器和整合專門的求解器。

3.1 改進(jìn)數(shù)據(jù)集

一些研究人員認(rèn)為，提高 LLM 訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性是關(guān)鍵。通過(guò)更廣泛、更精細(xì)的數(shù)據(jù)集訓(xùn)練模型，可以增強(qiáng)其處理復(fù)雜推理場(chǎng)景的能力。

3.2 鏈?zhǔn)剿季S（Chain-of-Thought）

這一方法 旨在讓 LLM 按照人類的邏輯思維方式，逐步進(jìn)行推理。通過(guò)顯式生成中間推理步驟，模型能夠更準(zhǔn)確地完成復(fù)雜推理任務(wù)，并減少邏輯錯(cuò)誤。

3.3 使用外部驗(yàn)證器

為了解決 LLM 生成錯(cuò)誤或誤導(dǎo)性信息的問(wèn)題，一些研究人員提出整合外部驗(yàn)證機(jī)制。通過(guò)與可信數(shù)據(jù)源比對(duì)或使用額外算法進(jìn)行驗(yàn)證，這些機(jī)制可以確保最終輸出的信息更加準(zhǔn)確、可靠。

3.4 使用專門的求解器

另一種方法是引入專門的求解器來(lái)處理特定類型的推理任務(wù)。例如，使用數(shù)學(xué)求解器進(jìn)行計(jì)算，或使用邏輯推理工具處理復(fù)雜推理問(wèn)題。這些工具可以補(bǔ)充 LLM 的能力，提高系統(tǒng)整體的準(zhǔn)確性和可靠性。

4 結(jié)論

盡管 LLM 在文本生成和理解方面取得了令人矚目的進(jìn)展，但由于缺乏真正的理解能力、難以保持上下文一致性，以及僅依賴從海量但可能存在缺陷的數(shù)據(jù)中提取的模式，它們?nèi)匀辉趶?fù)雜的多層推理任務(wù)上存在明顯不足。未來(lái)的 LLM 需要更先進(jìn)的架構(gòu)，并結(jié)合常識(shí)推理等方面的持續(xù)研究，以提升其推理能力。

參考：

1. 水壺倒水問(wèn)題
2. 用 LLM 學(xué)習(xí)推理
3. GSM-Symbolic：LLM 在數(shù)學(xué)推理方面的局限性
4. PlanBench：評(píng)估 LLM 規(guī)劃和推理能力的基準(zhǔn)
5. LLM 仍然無(wú)法規(guī)劃，但 LRM 可以嗎？
6. LLM 無(wú)法規(guī)劃，但可以在 LLM-模塊化框架中輔助規(guī)劃

本文轉(zhuǎn)載自???JavaEdge???，作者：JavaEdge