作者 | Rusell Kohn

編譯 | 言征

ChatGPT 等大型語言模型 (LLM) 已經(jīng)改變了 AI 格局，了解其復(fù)雜性對(duì)于充分發(fā)揮其潛力至關(guān)重要。這篇短文將重點(diǎn)討論大語言模型中的Token限制和記憶。本文旨在讓諸位了解Token限制的重要性、LLM 中的內(nèi)存概念，以及如何在這些限制內(nèi)通過交互式界面和 API 以編程方式有效管理對(duì)話。

讓我們首先討論一個(gè)場(chǎng)景，其中用戶與 LLM 交互并體驗(yàn)“Token限制和記憶”對(duì)對(duì)話的影響。

圖片

提示：“一個(gè)戴著眼鏡、棕色頭發(fā)、穿著休閑毛衣的年輕人，坐在溫馨的房間里，在時(shí)尚的筆記本電腦上與 AI 語言模型進(jìn)行交互，周圍漂浮著包含Token的語音氣泡。渲染風(fēng)格現(xiàn)代且引人入勝?！?由 Russ Kohn 和 GPT4 提示。由 MidJourney 渲染。

一、了解Token和Token限制

1.Token和Token計(jì)數(shù)

Token是大語言模型文本的構(gòu)建塊，長(zhǎng)度范圍從一個(gè)字符到一個(gè)單詞。例如，短語“ChatGPT 太棒了！” 由 6 個(gè) token 組成：[“Chat”、“G”、“PT”、“is”、“amazing”、“!”]。這是一個(gè)更復(fù)雜的例子：“人工智能很有趣（也很有挑戰(zhàn)性）！” 由 7 個(gè)標(biāo)記組成：[“AI”、“is”、“fun”、“(”、“and”、“challenge”、“)!”]。

OpenAI tokenizer 實(shí)用程序的屏幕截圖，展示了Token計(jì)數(shù)的工作原理。

圖片來源：Russ Kohn 和 OpenAI。

注意：上圖中使用的工具來自 OpenAI，可從https://platform.openai.com/tokenizer 獲取。

2.Token限制

模型實(shí)現(xiàn)中的Token限制限制了單次交互中處理的Token數(shù)量，以確保高效的性能。例如，ChatGPT 3 有 4096 個(gè)Token限制，GPT4 (8K) 有 8000 個(gè)Token限制，GPT4 (32K) 有 32000 個(gè)Token限制。

二、記憶和對(duì)話歷史

Token計(jì)數(shù)在塑造大語言模型的記憶和對(duì)話歷史方面發(fā)揮著重要作用。將其視為與能夠記住聊天最后幾分鐘的朋友進(jìn)行對(duì)話，使用Token計(jì)數(shù)來維護(hù)上下文并確保對(duì)話順利進(jìn)行。然而，這種有限的內(nèi)存會(huì)對(duì)用戶交互產(chǎn)生影響，例如需要重復(fù)關(guān)鍵信息來維護(hù)上下文。

1.背景很重要

上下文窗口從當(dāng)前提示開始，并返回歷史記錄，直到超出Token計(jì)數(shù)。就大語言模型而言，之前的一切都從未發(fā)生過。當(dāng)對(duì)話長(zhǎng)度超過Token限制時(shí)，上下文窗口會(huì)發(fā)生變化，可能會(huì)丟失對(duì)話早期的關(guān)鍵內(nèi)容。為了克服這一限制，用戶可以采用不同的技術(shù)，例如定期重復(fù)重要信息或使用更高級(jí)的策略。

圖片

請(qǐng)注意，如果大語言模型不了解句子的開頭部分，其反應(yīng)可能會(huì)有所不同。

2.聊天體驗(yàn)：提示、完成和Token限制

參與大語言模型涉及提示（用戶輸入）和完成（模型生成的響應(yīng)）的動(dòng)態(tài)交換。例如，當(dāng)你問“法國(guó)的首都是哪里？” （提示），大語言模型回答“法國(guó)的首都是巴黎”。（完成）。為了在Token限制內(nèi)優(yōu)化聊天體驗(yàn)，平衡提示和完成至關(guān)重要。如果對(duì)話接近Token限制，您可能需要縮短或截?cái)辔谋疽员３稚舷挛牟⒋_保與大語言模型的無縫交互。

3.超過Token限制和潛在的解決方案

超過Token限制可能會(huì)導(dǎo)致不完整或無意義的響應(yīng)，因?yàn)榇笳Z言模型會(huì)失去重要的背景。想象一下詢問埃菲爾鐵塔并收到有關(guān)比薩斜塔的回復(fù)，因?yàn)樯舷挛拇翱诎l(fā)生了變化。要處理Token限制問題，您可以截?cái)?、省略或重新措辭文本以適應(yīng)限制。一個(gè)好的策略是在達(dá)到限制之前通過創(chuàng)建摘要來結(jié)束當(dāng)前的對(duì)話，然后用該摘要開始下一次對(duì)話。另一種策略是寫很長(zhǎng)的提示，讓你嘗試一次性對(duì)話：向人工智能提供你所知道的一切，并讓它做出一個(gè)響應(yīng)。如果您使用第三方提示管理器，它還可以幫助您管理對(duì)話、跟蹤Token限制和管理成本。

圖片

該圖說明了處理大語言模型中Token限制問題的策略，包括截?cái)辔谋?、總結(jié)對(duì)話和編寫長(zhǎng)的一次性提示。

三、實(shí)際應(yīng)用：管理內(nèi)容創(chuàng)建中的Token限制

應(yīng)用本文中討論的策略，我親身體驗(yàn)了在大語言模型中管理Token限制和上下文的好處。在撰寫本文時(shí)，我遇到了前面討論的Token限制問題。對(duì)于感興趣的人，我使用了帶有 OpenAI API 的自定義 FileMaker Pro 解決方案，利用了可供 ChatGPT-Plus 訂閱者使用的 GPT-3.5-turbo (ChatGPT) 和 GPT-4 (8k) 模型。我首先精心設(shè)計(jì)提示來創(chuàng)建故事處理和大綱，然后進(jìn)行修改。由于對(duì)話超出了 GPT-3.5-turbo 的Token限制，我切換到 GPT-4 并總結(jié)了開始新對(duì)話的目標(biāo)。使用提示管理器幫助我按項(xiàng)目組織提示并高效工作，而無需依賴 OpenAI 網(wǎng)站。這種方法還有助于分離“元”提示，例如標(biāo)題和 SEO 優(yōu)化，來自那些幫助寫作過程的人。在整個(gè)過程中，我仔細(xì)審查和編輯了生成的內(nèi)容，以確保質(zhì)量和連貫性。這個(gè)實(shí)際示例演示了使用摘要、切換模型和使用提示管理器來管理Token限制的有效性。通過理解和應(yīng)用這些策略，用戶可以在各種應(yīng)用（例如內(nèi)容創(chuàng)建和分析）中充分發(fā)揮 ChatGPT 等大語言模型的全部潛力。

四、結(jié)論

了解大型語言模型中的Token限制和記憶對(duì)于在各種應(yīng)用程序（例如內(nèi)容創(chuàng)建、聊天機(jī)器人和虛擬助手）中有效利用其功能至關(guān)重要。

通過掌握Token、Token計(jì)數(shù)、對(duì)話歷史記錄和上下文管理的概念，您可以優(yōu)化與 ChatGPT 等 LLM 的交互。希望本文中討論的實(shí)用策略（包括管理Token限制和利用提示管理器）能夠讓你自信地暢游人工智能世界。有了這些知識(shí)，可以 大大提高探索人工智能未來所帶來的興奮度，并釋放大語言模型在技術(shù)、商業(yè)和生產(chǎn)力應(yīng)用方面的更多潛力。

原文鏈接：https://medium.com/@russkohn/mastering-ai-token-limits-and-memory-ce920630349a