提示工程是一個新興的領(lǐng)域，專注于開發(fā)、設(shè)計和優(yōu)化提示，以增強(qiáng) LLM 的輸出，從而滿足您的需求。它為您提供了一種引導(dǎo)模型的行為從而達(dá)到您想要實現(xiàn)的結(jié)果的方法。

提示工程與微調(diào)不同。在微調(diào)中，使用訓(xùn)練數(shù)據(jù)調(diào)整權(quán)重或參數(shù)，目標(biāo)是優(yōu)化成本函數(shù)。就計算時間和實際成本而言，微調(diào)可能是一個昂貴的過程。然而，提示工程試圖引導(dǎo)經(jīng)過訓(xùn)練的 FM、LLM 或文本到圖像模型給出更相關(guān)、更準(zhǔn)確的答案。

提示工程是充分發(fā)揮大語言模型的強(qiáng)大能力的最快方法。通過利用一系列問題、語句或指令與 LLM 交互，您可以根據(jù)您希望實現(xiàn)的輸出的特定上下文來調(diào)整 LLM 輸出行為。 

有效的提示技術(shù)可以助力您的企業(yè)實現(xiàn)以下益處：

• 提高模型的能力，增強(qiáng)安全性。
• 使用領(lǐng)域知識和外部工具增強(qiáng)模型，而無需更改模型參數(shù)或進(jìn)行微調(diào)。
• 與語言模型交互以掌握其全部能力。
• 通過更高質(zhì)量的輸入獲得更高質(zhì)量的輸出。

提示的要素

提示的形式取決于您給模型指定的任務(wù)。當(dāng)您探索提示工程示例時，您會注意到提示包含以下部分或全部要素：

• ?指令：這是大語言模型要執(zhí)行的任務(wù)。它提供模型應(yīng)如何執(zhí)行任務(wù)的描述或說明。
• ?上下文：這是用于引導(dǎo)模型的外部信息。
• 輸入數(shù)據(jù)：這是需要響應(yīng)的輸入
• 
  輸出指示：這是輸出類型或格式
  
  
  

評估模型的響應(yīng)

• 
  
• 務(wù)必檢查模型的響應(yīng)，以確保提示產(chǎn)生適當(dāng)質(zhì)量、類型和范圍的響應(yīng)。根據(jù)需要更改提示。您甚至可以要求模型的一個副本改進(jìn)或檢查模型的另一個副本的輸出。
• 通過反復(fù)嘗試，您將提升您撰寫和優(yōu)化提示的直覺，從而最好地適應(yīng)您的需求和模型。提示工程是一種可通過實踐不斷提高的迭代技能。
• 
  

零樣本提示是這樣一種提示技術(shù)：用戶向 LLM 提出任務(wù)，而不給模型提供進(jìn)一步示例。在這種技術(shù)中，用戶期望模型在沒有事先理解或嘗試任務(wù)的情況下執(zhí)行任務(wù)?，F(xiàn)代 LLM 表現(xiàn)出卓越的零樣本能力。

使用零樣本提示技術(shù)的技巧包括：

• ?LLM 越大，零樣本提示產(chǎn)生有效結(jié)果的可能性就越大。
• ?指令調(diào)整可以改進(jìn)零樣本學(xué)習(xí)。您可以采用基于人類反饋的強(qiáng)化學(xué)習(xí) (RLHF, reinforcement learning from human feedback) 來擴(kuò)展指令調(diào)整，使現(xiàn)代 LLM 更好地適應(yīng)人類偏好。
  

小樣本提示是這樣一種提示技術(shù)：您為模型提供有關(guān)所請求執(zhí)行的任務(wù)的上下文信息。在這種技術(shù)中，您同時提供任務(wù)和所需輸出的示例。在提示條件中提供此上下文或少量樣本，可以使模型嚴(yán)格遵循任務(wù)指導(dǎo)。

小樣本提示中的標(biāo)簽不必正確即可提高模型性能。通常，應(yīng)用隨機(jī)標(biāo)簽比完全不使用標(biāo)簽要好。然而，演示指定的標(biāo)簽空間和輸入文本的分布很重要。此上下文中使用的“標(biāo)簽”一詞是指提示示例的輸出?！疤崾臼纠敝械恼Z句所表達(dá)的情緒是標(biāo)簽的示例。

如果您有大量示例可以利用，請使用技術(shù)來遵守模型的標(biāo)記限制并動態(tài)填充提示模板。您可以使用基于語義相似度的示例選擇器來提供幫助。

思維鏈 (CoT, chain-of-thought) 提示通過中間推理步驟分解復(fù)雜的推理任務(wù)。您可以將零樣本提示技術(shù)和小樣本提示技術(shù)與 CoT 提示結(jié)合使用。 思維鏈提示特定于問題類型。您可以使用短語“一步一步地思考”在機(jī)器學(xué)習(xí)模型中調(diào)用 CoT 推理。

基本提示技術(shù)并不總是能提供您的特定業(yè)務(wù)任務(wù)所需的結(jié)果。本節(jié)課將向您介紹多種高級技術(shù)。您將學(xué)習(xí)每種高級技術(shù)的運(yùn)作方式，您還將進(jìn)一步了解哪種使用案例最適合每種策略。

自洽性是一種類似于思維鏈提示的提示技術(shù)。然而，自洽性技術(shù)不采取明顯的一步一步路徑或貪婪路徑，而是提示模型對各種推理路徑進(jìn)行采樣。然后，模型根據(jù)來自各個路徑的多個數(shù)據(jù)點(diǎn)聚合最終答案。根據(jù) Xuezhi Wang 等人撰寫的文章“利用自洽性提高語言模型中的思維鏈推理效果”(Self-Consistency Improves Chain of Thought Reasoning in Language Models)，當(dāng)用于一系列常見算術(shù)和常識推理基準(zhǔn)時，自洽性可以改進(jìn) CoT 推理提示。

思維樹 (ToT, Tree of thoughts) 是另一種基于 CoT 提示技術(shù)的技術(shù)。CoT 提示按順序?qū)λ季S進(jìn)行采樣，但 ToT 提示遵循樹分支技術(shù)。通過 ToT 技術(shù)，LLM 可以采用細(xì)致入微的方式學(xué)習(xí)，考慮多條路徑而不是一條順序路徑。

對于涉及重要初始決策、未來策略和探索多種解決方案的任務(wù)，ToT 提示是一種特別有效的方法。大多數(shù) LLM 通過遵循標(biāo)準(zhǔn)的從左到右的標(biāo)記級推理來做出決策，但通過 ToT，LLM 可以自行評估選擇。

根據(jù) Shunyu Yao 等人撰寫的文章“思維樹：讓大型語言模型深思熟慮地解決問題”(Tree of Thoughts: Deliberate Problem Solving with Large Language Models)，ToT 顯著提高了模型處理需要重要規(guī)劃的任務(wù)時的性能。Yao 和其他研究人員在三個任務(wù)中測試了 ToT 方法：創(chuàng)意寫作、迷你填字游戲和 24 點(diǎn)游戲（一種數(shù)學(xué)學(xué)習(xí)游戲）。在 24 點(diǎn)游戲任務(wù)中，生成式預(yù)訓(xùn)練變換器模型 4 (GPT-4, Generative Pre-trained Transformer 4) 通過 CoT 提示取得了 4% 的成功率。而模型通過 ToT 提示方法取得了 74% 的成功率。

檢索增強(qiáng)生成 (RAG, Retrieval Augmented Generation) 是一種提示技術(shù)，它提供領(lǐng)域相關(guān)的數(shù)據(jù)作為上下文，以基于這些數(shù)據(jù)和提示生成響應(yīng)。該技術(shù)類似于微調(diào)。然而，RAG 不必使用一小組標(biāo)注示例對 FM 進(jìn)行微調(diào)，而是從大型語料庫中檢索一小組相關(guān)文檔，并使用這些文檔提供上下文來回答問題。RAG 不會改變基礎(chǔ)模型的權(quán)重，而微調(diào)會改變模型權(quán)重。

這種方法比常規(guī)微調(diào)更具成本效益，因為 RAG 方法不會產(chǎn)生對模型進(jìn)行微調(diào)的成本。RAG 還解決了數(shù)據(jù)頻繁更改帶來的挑戰(zhàn)，因為它會檢索更新的相關(guān)信息，而不是依賴可能過時的數(shù)據(jù)集。

在 RAG 中，外部數(shù)據(jù)可以來自多個數(shù)據(jù)源，例如文檔存儲庫、數(shù)據(jù)庫或 API。在將 RAG 用于 LLM 之前，您必須準(zhǔn)備知識庫并使其保持最新。下圖顯示了在 LLM 中使用 RAG 的概念化流程。要查看在知識庫準(zhǔn)備好后模型進(jìn)行學(xué)習(xí)的步驟，請分別選擇四個帶編號的標(biāo)記。

與自洽性和 ToT 提示技術(shù)一樣，ART 是一種基于思維鏈過程的提示技術(shù)。Bhargavi Paranjape 撰寫的“ART：大語言模型的自動多步推理和工具使用”(ART: Automatic multi-step reasoning and tool-use for large language models) 一文詳細(xì)討論了 ART 技術(shù)，該技術(shù)專門用于多步推理任務(wù)。

該技術(shù)本質(zhì)上是通過讓模型從任務(wù)庫中選擇多個或少量示例的演示來解構(gòu)復(fù)雜的任務(wù)。在模型使用這種小樣本分解的同時，它使用預(yù)定義的外部工具（例如搜索和代碼生成）來執(zhí)行任務(wù)。

研究表明，對于未見過的任務(wù)，ART 的表現(xiàn)明顯優(yōu)于小樣本提示和自動 CoT，并且在大多數(shù)任務(wù)中，它的表現(xiàn)與手動 CoT 提示相當(dāng)。使用 ART，人類還能夠更高效地更新任務(wù)庫中的信息，從而糾正錯誤并最終提高性能。

在 ReAct 提示中，LLM 可以將推理和動作結(jié)合起來。根據(jù) Shunyu Yao 的文章“ReAct：語言模型中推理和動作的協(xié)同作用”(ReAct: Synergizing Reasoning and Acting in Language Models)，模型通常用于推理或動作，但并不總是能同時有效地用于這兩者。 

CoT 提示表明 LLM 有望為簡單的任務(wù)（例如數(shù)學(xué)）進(jìn)行推理和生成動作。但是，無法在 CoT 提示下更新信息或訪問外部上下文，可能會導(dǎo)致輸出發(fā)生事實幻覺等錯誤。借助 ReAct 框架，LLM 可以生成基于外部工具（例如維基百科頁面或 SQL 數(shù)據(jù)庫）的推理跟蹤和特定于任務(wù)的動作。這種外部上下文可產(chǎn)生更準(zhǔn)確可靠的輸出

提示注入

提示注入是一種通過使用提示中的指令來影響模型輸出的技術(shù)。例如，黑客可能會向文本生成模型提供包含有害、不道德或有偏差的內(nèi)容的提示，以生成類似的有害、不道德或有偏差的文本。然后，黑客可以使用此文本大規(guī)模生成假新聞、教義宣傳或其他惡意內(nèi)容。提示注入還可用于非惡意活動，例如覆蓋模型的響應(yīng)、自定義翻譯以保留產(chǎn)品名稱等。

提示泄露

提示泄露是指生成式 AI 系統(tǒng)可能通過其生成的提示或示例泄露敏感或私人信息的風(fēng)險。 例如，如果系統(tǒng)使用私人客戶數(shù)據(jù)進(jìn)行訓(xùn)練以生成產(chǎn)品建議，則可能會泄露有關(guān)客戶購物的詳細(xì)信息。該系統(tǒng)還可能通過為新客戶生成的建議泄露有關(guān)客戶瀏覽歷史記錄的詳細(xì)信息。這可能會侵犯客戶的隱私，影響客戶對系統(tǒng)的信任。

用于訓(xùn)練 AI 模型的數(shù)據(jù)可能有偏差。如果數(shù)據(jù)有偏差，AI 模型可能會重現(xiàn)這些偏差。最終，您可能會得到有偏差或不公平的輸出。偏差可以通過以下兩種方式出現(xiàn)在提示工程中。

一，如果提示建立在假設(shè)的基礎(chǔ)上，那么提示本身可能是有偏差的。例如，如果查詢假設(shè)所有軟件開發(fā)人員都是男性，則可能會導(dǎo)致 AI 產(chǎn)生偏向于男性的結(jié)果。

二，即使編寫的提示沒有偏差，AI 模型有時也會產(chǎn)生有偏差的結(jié)果。產(chǎn)生這些結(jié)果是由于訓(xùn)練數(shù)據(jù)中可能存在偏差。例如，即使給出性別中立的提示，如果 AI 模型在接受訓(xùn)練時主要使用以男性軟件開發(fā)人員為特征的數(shù)據(jù)，那么它也可能會提供假設(shè)軟件開發(fā)人員是男性的響應(yīng)。

如果在訓(xùn)練模型時沒有足夠的數(shù)據(jù)，這種缺乏數(shù)據(jù)的情況可能會導(dǎo)致偏差。如果模型是在數(shù)據(jù)不足的情況下進(jìn)行訓(xùn)練的，則會導(dǎo)致模型置信度低。大多數(shù)毒性篩選條件和排序算法本質(zhì)上會優(yōu)先考慮模型置信度。這導(dǎo)致許多群體被推定為排除在外，從而使偏差長期存在。

以下三種技術(shù)可以幫助減少 FM 中的偏差。

1. 更新提示。提供明確指引可大規(guī)模減少意外的表現(xiàn)。
2. 增強(qiáng)數(shù)據(jù)集。提供不同類型的代詞并添加不同的示例。
3. 使用訓(xùn)練技術(shù)。使用公平損失函數(shù)、紅藍(lán)對抗、RLHF 等技術(shù)。