本文介紹LLM大模型中其中一種思維鏈DoT。

盡管傳統(tǒng)的思維鏈方法使大型語言模型能夠進(jìn)行“思考”，例如思維樹和思維圖方法通過引入分叉結(jié)構(gòu)來探索多種推理路徑。然而，這些方法通常需要額外的控制機(jī)制或依賴多個模型的協(xié)同工作，這無疑增加了實現(xiàn)和部署的難度。

清華大學(xué)的研究團(tuán)隊最近提出了一個新的思維鏈框架思維圖（Diagram of Thought， DoT），號稱是能夠超越線性思維的突破。

感興趣的小伙伴可以看看原文：??https://arxiv.org/pdf/2409.10038v1??

DoT框架

DoT框架的獨(dú)到之處體現(xiàn)在其將推理活動完整地構(gòu)建為一個單一大型語言模型（LLM）內(nèi)的有向無環(huán)圖（DAG）。這種策略有效地捕捉了推理過程中的非線性和遞歸性，同時確保了計算的高效率。

DoT框架在單個LLM內(nèi)部通過管理三個關(guān)鍵角色來完成思維鏈的構(gòu)建：

• 提議者（Proposers）：負(fù)責(zé)提出新的論點或邏輯步驟，并將這些新內(nèi)容作為節(jié)點加入到有向無環(huán)圖（DAG）中。
• 批評者（Critics）：負(fù)責(zé)對提出的論點進(jìn)行評估，識別其中的錯誤、不一致性或邏輯上的缺陷，并在DAG中添加相應(yīng)的批評節(jié)點。
• 總結(jié)者（Summarizers）：負(fù)責(zé)將經(jīng)過驗證的論點整合成一個連貫的推理鏈條，這本質(zhì)上是對DAG進(jìn)行拓?fù)渑判?，以生成最終的推理結(jié)果。

DoT推理步驟

上圖為論文中的推理步驟過程圖，具體可以分為8個步驟：

1. 起點設(shè)定：推理的起始點位于圖的頂部，通常由提議者角色來啟動。
2. 初始命題形成：提議者負(fù)責(zé)提出初始命題P1，該命題在圖中以虛線圓圈表示，凸顯了提議者在推理啟動階段的核心作用。
3. 評估與修正：批評者角色對初始命題P1進(jìn)行審查，并提出批評C1。這一過程在圖中通過從P1指向C1的箭頭表示?；谂u，提議者再次介入，提出經(jīng)過改進(jìn)的命題P1'。
4. 迭代優(yōu)化：命題P1'繼續(xù)接受批評C2的檢驗。這一過程可能需要多次迭代，展示了提議者與批評者之間的動態(tài)互動，直至命題得到驗證（圖中標(biāo)記為"P1' (Verified)"）。
5. 多路徑探索：DoT框架的優(yōu)勢在于能夠并行探索不同的推理路徑。例如，命題P3代表了另一條推理路徑，并且也經(jīng)歷了批評和驗證的過程。
6. 驗證命題的匯總：當(dāng)多個命題如P1' (Verified)和P3 (Verified)通過驗證后，總結(jié)者角色介入。在圖的底部，這些經(jīng)過驗證的命題匯聚并進(jìn)入總結(jié)階段。
7. 無效命題的排除：圖中的虛線圓圈表示那些被判定無效的命題，這些命題不會被納入最終的總結(jié)，體現(xiàn)了批評者在確保推理質(zhì)量中的關(guān)鍵角色。
8. 綜合推理鏈：所有經(jīng)過驗證的命題最終由總結(jié)者整合，形成完整的推理鏈。在圖中，這一過程體現(xiàn)在底部的"Summarization"節(jié)點。

總結(jié)

借助這種明確的角色分配和系統(tǒng)化的推理步驟，DoT框架能夠在單一的大型語言模型內(nèi)部有效地處理復(fù)雜的推理任務(wù)。該框架不僅支持多條推理路徑的并行發(fā)展，還通過持續(xù)的批評和修正機(jī)制來保證推理的準(zhǔn)確性。這種方法顯著提升了模型解決復(fù)雜問題的能力，同時確保了推理過程的清晰度和可解釋性。

文轉(zhuǎn)載自公眾號瓦力算法學(xué)研所，作者：喜歡瓦力的卷卷

原文鏈接：??https://mp.weixin.qq.com/s/abeHKVG-AE9WBq3UJlu9Rw???