編輯 | 星璇
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
Anthropic和OpenAI的競(jìng)爭(zhēng)日趨白熱化，前不久OpenAI發(fā)布了更便于開發(fā)者定制輸出的json API，沒過多久Anthropic也開始發(fā)布了一項(xiàng)利好開發(fā)者的消息：終于不必重復(fù)調(diào)用同樣地提示了！
Anthropic在其 API 上引入了提示緩存，它可以記住 API 調(diào)用之間的上下文并允許開發(fā)人員避免重復(fù)提示。
簡(jiǎn)單來講，新版API可以“記住”一整本書或整個(gè)代碼庫(kù)，不需要再重復(fù)輸入了。這樣一來，不僅處理長(zhǎng)文本的延時(shí)更低，更是能節(jié)省最高90%的成本。
提示緩存功能已在 Claude 3.5 Sonnet 和 Claude 3 Haiku 的公開測(cè)試版中推出，但對(duì)最大的 Claude 模型 Opus 的支持即將推出。
早在2023 年，論文《PROMPT CACHE: MODULAR ATTENTION REUSE FOR LOW-LATENCY INFERENCE》中就提出了“提示緩存”的方法，它允許用戶在會(huì)話中保留常用的上下文。由于模型會(huì)記住這些提示，因此用戶可以添加額外的背景信息而不會(huì)增加成本。這在有人想在提示中發(fā)送大量上下文，然后在與模型的不同對(duì)話中引用它的情況下很有用。它還允許開發(fā)人員和其他用戶更好地微調(diào)模型響應(yīng)。
圖片
Anthropic 表示，早期用戶“已經(jīng)看到了針對(duì)各種用例的提示緩存帶來的顯著速度和成本改進(jìn)——從包括完整的知識(shí)庫(kù)到 100 個(gè)示例，再到在提示中包含每次對(duì)話”。
該公司表示，潛在的用例包括：降低對(duì)話代理的長(zhǎng)指令和上傳文檔的成本和延遲、更快地自動(dòng)完成代碼、為代理搜索工具提供多條指令以及在提示中嵌入整個(gè)文檔。
1.緩存提示定價(jià)高嗎？
緩存提示的一個(gè)優(yōu)點(diǎn)是每個(gè)令牌的價(jià)格較低，Anthropic 表示使用緩存提示“比基本輸入令牌價(jià)格便宜得多”。
對(duì)于 Claude 3.5 Sonnet，編寫要緩存的提示將花費(fèi)每 100 萬(wàn)個(gè)令牌 (MTok) 3.75 美元，但使用緩存的提示將花費(fèi)每 MTok 0.30 美元。Claude 3.5 Sonnet 模型的輸入基本價(jià)格為每 MTok 3 美元，因此，如果您預(yù)先多付一點(diǎn)錢，下次使用緩存的提示時(shí)，您可以預(yù)期節(jié)省 10 倍。
Claude 3 Haiku 用戶將為緩存支付 0.30 美元/MTok，使用存儲(chǔ)提示時(shí)支付 0.03 美元/MTok。
雖然 Claude 3 Opus 尚未提供即時(shí)緩存功能，但 Anthropic 已經(jīng)公布了其價(jià)格。寫入緩存的費(fèi)用為 18.75 美元/MTok，但訪問緩存的即時(shí)緩存費(fèi)用為 1.50 美元/MTok。
然而，正如人工智能影響者 Simon Willison 在 X 上指出的那樣，Anthropic 的緩存僅有 5 分鐘的生命周期，并且每次使用時(shí)都會(huì)刷新。
當(dāng)然，這并不是 Anthropic 第一次嘗試通過定價(jià)與其他 AI 平臺(tái)競(jìng)爭(zhēng)。在 Claude 3 系列模型發(fā)布之前，Anthropic大幅下調(diào)了其Tokens價(jià)格。
在為基于其平臺(tái)進(jìn)行開發(fā)的第三方開發(fā)者提供低價(jià)選項(xiàng)方面，它目前正與谷歌和OpenAI等競(jìng)爭(zhēng)對(duì)手進(jìn)行某種“競(jìng)相壓價(jià)”的態(tài)勢(shì)。
2.呼聲極高的功能
其他平臺(tái)也提供提示緩存版本。LLM 推理系統(tǒng) Lamina利用 KV 緩存來降低 GPU 成本。粗略瀏覽一下 OpenAI 的開發(fā)者論壇或 GitHub，就會(huì)發(fā)現(xiàn)有關(guān)如何緩存提示的問題。
緩存提示與大型語(yǔ)言模型內(nèi)存中的提示不同。例如，OpenAI 的 GPT-4o 提供了一個(gè)內(nèi)存，模型可以在其中記住偏好或詳細(xì)信息。但是，它不會(huì)像提示緩存那樣，記住并存儲(chǔ)提示和對(duì)應(yīng)的輸出。
