Prompt的技巧策略應(yīng)適應(yīng)LLM大模型框架進(jìn)行改進(jìn)，主要框架包括鏈?zhǔn)剿伎肌⑺季S樹和檢索增強(qiáng)生成。本文將深入學(xué)習(xí)思維樹，探討如何建立解決通用問題的語言模型，并使LLM深思熟慮地解決問題。思維樹是進(jìn)化版的提示策略，引入復(fù)雜思維結(jié)構(gòu)，以引導(dǎo)模型生成準(zhǔn)確、連貫的輸出。

一、何為思維樹(ToT)

想象一下，你正在駕駛一輛汽車，沒有地圖的情況下如何進(jìn)入正確的路口，找到最佳的路徑？在這樣的場(chǎng)景下，思維樹就像是一張?jiān)敿?xì)的道路地圖。在這張地圖上，不同的道路代表著不同的語義信息，而交叉口和路標(biāo)則代表著不同的思維節(jié)點(diǎn)。當(dāng)你提出一個(gè)問題或者輸入一個(gè)請(qǐng)求時(shí)，就相當(dāng)于輸入了目的地，而思維樹會(huì)根據(jù)你的輸入在地圖上找到最佳的路徑，指引你達(dá)到目的地。

思維樹作為一種新型導(dǎo)航系統(tǒng)，在智能和靈活性方面超越了傳統(tǒng)模型。它不僅規(guī)劃出最短路線，還根據(jù)個(gè)人需求和具體情境進(jìn)行路線調(diào)整。

例如，在提出問題時(shí)，思維樹能夠綜合考慮問題的多維度，探索多條相關(guān)路徑，并呈現(xiàn)多樣化的解決方案。

隨著問題表述的更改或更多信息的添加，思維樹能夠動(dòng)態(tài)調(diào)整其路線規(guī)劃，以提供更加精確的答案。這種系統(tǒng)如同一個(gè)富有洞察力的向?qū)?，助力我們更深入地理解和生成自然語言，確保信息輸出的準(zhǔn)確性和連貫性。

ToT框架的核心概念是以樹狀結(jié)構(gòu)來表示語義信息。這種結(jié)構(gòu)是一個(gè)數(shù)據(jù)形式和抽象概念，幫助模型理解輸入序列的語義信息并在生成輸出時(shí)參考這些信息。它使得ToT框架能更好地模擬人類思維，產(chǎn)生自然、準(zhǔn)確的文本。

ToT的具體回答框架包括以下四個(gè)問題：

1. 舉一反三，列舉多路徑通羅馬
2. 分布評(píng)估，集成方案，選擇最優(yōu)
3. 啟發(fā)性地評(píng)估狀態(tài)，前后枚舉追溯，全局最優(yōu)
4. 集成開搜，確定路徑

圖1：展示了利用LLMS解決問題的方法。每個(gè)框表示一個(gè)連貫的思考過程，作為解決步驟。

二、TOT核心框架

ToT核心框架的講解深入，但本文避免使用復(fù)雜公式。

CoT方法通過逐步展示模型的響應(yīng)過程，降低了結(jié)果不準(zhǔn)確的風(fēng)險(xiǎn)并簡(jiǎn)化了評(píng)估。這種方法不僅顯示最終答案或解決方案，還展示了達(dá)到答案的具體步驟，特別適用于教育和解釋復(fù)雜問題，以及需要詳細(xì)說明決策過程的情況。它讓用戶能夠跟蹤模型的思考過程，理解從問題描述到結(jié)論的路徑。

ToT(Tree of Thoughts)被視為CoT (Chain of Thoughts)的升級(jí)版，主要是因?yàn)樗诒硎竞屠谜Z義信息方面更加強(qiáng)大和靈活。ToT使用樹狀結(jié)構(gòu)表示語義信息，與CoT的線性鏈?zhǔn)讲煌?，ToT能更好地捕捉和表示復(fù)雜語義關(guān)系，提高對(duì)自然語言的理解和生成。

通過引入樹狀結(jié)構(gòu)，ToT能夠同時(shí)考慮多個(gè)思維路徑，不僅限于單一線性結(jié)構(gòu)。這使得ToT能根據(jù)不同的語境和需求生成多樣化的輸出，實(shí)現(xiàn)語義的分層和組織。

在ToT框架中，節(jié)點(diǎn)代表語義單元如概念或主題。節(jié)點(diǎn)通過邊相連形成關(guān)聯(lián)網(wǎng)絡(luò)。模型接收序列后尋找相關(guān)節(jié)點(diǎn)并據(jù)此生成輸出。

ToT框架能同時(shí)考慮多條思維路徑并根據(jù)語義信息動(dòng)態(tài)調(diào)整輸出策略，使其生成文本靈活、多樣化并適應(yīng)不同語境。

三、ToT框架推理流程

示例如下：

我們想用基于思維樹的模型回答“為什么天空是藍(lán)色的”。

1. 輸入問題：我們輸入問題“為什么天空是藍(lán)色的”到思維樹模型。
2. 思維樹搜索：思維樹模型搜索樹結(jié)構(gòu)尋找問題相關(guān)節(jié)點(diǎn)，這些節(jié)點(diǎn)涉及光學(xué)、大氣科學(xué)和顏色原理等概念。
3. 多路徑選擇：思維樹揭示了多條與問題相關(guān)的路徑，包括大氣散射、光譜原理和顏色感知機(jī)制的節(jié)點(diǎn)。
4. 整合信息：模型整合不同路徑的信息以理解大氣散射和光波的傳播與吸收過程。
5. 生成答案：基于綜合的理解，思維樹模型生成了一個(gè)關(guān)于天空為什么是藍(lán)色的解釋。天空之所以呈現(xiàn)藍(lán)色，是因?yàn)樘柟庵械乃{(lán)光波長(zhǎng)較短，容易被大氣分子散射到我們眼中。

ToT框架通過多個(gè)協(xié)同工作的子模型來理解和生成輸入序列的語義輸出。

語義理解：ToT框架通過使用預(yù)訓(xùn)練模型如BERT、GPT對(duì)輸入文本進(jìn)行語義理解，將自然語言轉(zhuǎn)換為計(jì)算機(jī)可理解的形式。這一過程涉及編碼和表示文本，以捕捉其語義信息。

構(gòu)建思維樹：ToT框架通過創(chuàng)建思維樹來展示文本中的語義路徑和關(guān)聯(lián)，每個(gè)節(jié)點(diǎn)代表一個(gè)語義單元，如概念或主題，邊則表示這些單元之間的關(guān)系。

路徑選擇：ToT框架依據(jù)輸入文本和思維樹選擇最合適的思維路徑，通過路徑搜索算法確定相關(guān)路徑。它考慮多條可能的路徑，并根據(jù)語義信息動(dòng)態(tài)調(diào)整策略。

整合信息：ToT框架選擇思維路徑后整合信息，通過信息融合和加權(quán)算法確?？紤]多個(gè)因素生成文本。

生成輸出：最終，ToT框架通過匯總的信息生成輸出文本。這一過程依賴于文本生成模型和算法，通常采用如GPT這樣的生成式模型來創(chuàng)造流暢且自然的文本。ToT框架利用整合的信息和選定的思路來引導(dǎo)文本的創(chuàng)作過程，旨在產(chǎn)生準(zhǔn)確和多元的輸出結(jié)果。

總結(jié)：

展望未來，人工智能技術(shù)的不斷進(jìn)步預(yù)示著更多像ToT框架這樣的革新技術(shù)的出現(xiàn)。這些先進(jìn)的AI系統(tǒng)不僅功能更強(qiáng)大、智能水平更高，而且能夠更加深入地理解并有效處理自然語言，為人們的日常生活和職場(chǎng)工作帶來前所未有的便利和新的可能性。作為創(chuàng)新的典范，ToT框架為我們打開了一扇門，提供了一種全新的角度和方法來與自然語言互動(dòng)。隨著AI技術(shù)的持續(xù)進(jìn)化，我們有理由期待它為我們的生活和工作帶來更多令人驚嘆的變化和進(jìn)步。

本文轉(zhuǎn)載自公眾號(hào)頂層架構(gòu)領(lǐng)域

原文鏈接：??https://mp.weixin.qq.com/s/7g2_fW_exhThuy3QqsAVBA??