吳恩達(dá)：四個步驟，讓大模型變得更好
生成式 AI 的競爭達(dá)到了新的高潮。
前有 OpenAI 搶先發(fā)布 GPT-4o，后有谷歌在 I/O 開發(fā)者大會上發(fā)布一系列生成式人工智能模型與產(chǎn)品。
自 2022 年 11 月 OpenAI 推出 ChatGPT，至今已有 18 個月。學(xué)界、業(yè)界為了提升生成式 AI 模型的能力，做出了諸多努力。
今天，著名人工智能學(xué)者、斯坦福大學(xué)教授吳恩達(dá)高度總結(jié)了提升生成式 AI 模型能力的方式，主要包括：1）提升模型的推理能力；2）擴(kuò)展上下文窗口，并撰寫一篇博客闡述了一套通用且高效的 prompt 策略。
我們對博客內(nèi)容進(jìn)行了不改變原意的編譯、整理，以下是博客內(nèi)容：
本周，谷歌宣布將 Gemini Pro 1.5 的輸入上下文窗口擴(kuò)大一倍，從 100 萬 token 擴(kuò)展到 200 萬 token；OpenAI 發(fā)布了 GPT-4o，它的生成速度是 GPT-4 Turbo 的 2 倍，而且便宜 50%，原生支持輸入、生成多模態(tài) token。這是 18 個月以來的最新進(jìn)展。
自 2022 年 11 月 ChatGPT 推出以來，隨著 GPT-4、Gemini 1.5 Pro、Claude 3 Opus 和 Llama 3-70B 的發(fā)布等重要里程碑的到來，許多模型提供商通過兩個重要方式提高了自己的能力：
- 提升模型的推理能力，使 LLM 能夠思考復(fù)雜的概念并遵循復(fù)雜的指令；
- 更長的輸入上下文窗口。
GPT-4 和其他高級模型的推理能力使它們非常擅長解釋帶有詳細(xì)說明的復(fù)雜 prompt。許多人習(xí)慣向 LLM 快速提出 1 - 2 句話的查詢。相比之下，在構(gòu)建應(yīng)用程序時，我看到經(jīng)驗豐富的團(tuán)隊經(jīng)常編寫可能長達(dá) 1 - 2 頁的 prompt（我的團(tuán)隊稱其為「mega-prompt」），這些 prompt 提供復(fù)雜的指令來詳細(xì)說明我們希望 LLM 如何執(zhí)行一個任務(wù)。我仍然認(rèn)為團(tuán)隊在編寫詳細(xì)指令方面做得不夠好。有關(guān)中等長度 prompt 的示例，請查看 Claude 3 的系統(tǒng) prompt，詳細(xì)且為 Claude 應(yīng)該如何執(zhí)行任務(wù)提供了明確的指導(dǎo)。
這是一種與我們通常在 LLM 網(wǎng)絡(luò)用戶界面中使用的非常不同的 prompt 方式。在這種方式中，我們可能會快速進(jìn)行查詢，如果響應(yīng)不滿意，則通過與聊天機(jī)器人反復(fù)對話來表述清楚我們想要什么。
此外，輸入上下文窗口長度的增加為開發(fā)人員的工具箱添加了另一種技術(shù)。GPT-3 激發(fā)了關(guān)于小樣本上下文學(xué)習(xí)的大量研究。例如，如果您使用 LLM 進(jìn)行文本分類，您可能會提供一些（例如 1 - 5 個）文本片段及其類別標(biāo)簽的樣本，以便它可以泛化到其他文本。
GPT-4o 接受 128000 個輸入 token，Claude 3 Opus 200000 個 token，Gemini 1.5 Pro 100 萬個 token（200 萬個 token 目前僅適用于預(yù)覽版）。然而，隨著輸入上下文窗口變得越來越長，人們發(fā)現(xiàn) LLM 并不局限于少數(shù)樣本。通過多樣本（many-shot）學(xué)習(xí)，開發(fā)人員可以在 prompt 中給出數(shù)十個甚至數(shù)百個樣本，這比少樣本（few-shot）學(xué)習(xí)效果更好。
在構(gòu)建復(fù)雜的工作流時，我看到開發(fā)人員通過如下過程獲得了良好的結(jié)果：
- 編寫快速、簡單的 prompt，看看效果如何。
- 根據(jù)輸出不足的地方，迭代地充實 prompt。這通常會導(dǎo)致更長、更詳細(xì)的 prompt，甚至可能是「mega-prompt」。
- 如果這仍然不夠，請考慮少樣本或多樣本學(xué)習(xí)（如果適用），或者不太頻繁地進(jìn)行微調(diào)。
- 如果仍然不能產(chǎn)生您需要的結(jié)果，請將任務(wù)分解為子任務(wù)并應(yīng)用???智能體工作流??。
我希望這個過程能夠幫助大家更輕松地構(gòu)建應(yīng)用程序。如果您有興趣更深入地研究 prompt 策略，我推薦 Medprompt 論文，其中列出了一組復(fù)雜的 prompt 策略，可以帶來非常好的結(jié)果。
Medprompt 論文，鏈接：https://arxiv.org/pdf/2311.16452
本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心
