作者 | Joab Jackson

編輯 | 言征

出品 | 51CTO技術棧（微信號：blog51cto）

ChatGPT輸出可以更加可控了，OpenAI昨天發(fā)布了一款工具，該工具將以用戶指定的精確格式返回查詢結果。

OpenAI 首席執(zhí)行官Sam Altman表示，這是使用 AI 技術的開發(fā)人員提出最多的請求。

1.OpenAI 今年的重點：DevTools

自 2022 年 11 月首次亮相以來，ChatGPT 服務已被無數(shù)應用程序開發(fā)人員用于代理驅(qū)動和其他應用程序。但是，雖然 ChatGPT 使用大量非結構化數(shù)據(jù)來提供其結果（通過 API 驅(qū)動的函數(shù)調(diào)用），但應用程序開發(fā)人員更希望將這些結果作為結構化數(shù)據(jù)提供，以便各自的應用程序可以更好地解析它們。

去年，OpenAI 擴展了其 API，以包含以JSON形式提供的結果。本周三，該公司更進一步，推出了一項名為“結構化輸出”的新 API 功能，該功能將以開發(fā)人員在查詢中指定的任何JSON 模式提供結果。

OpenAI技術人員Michelle Pokrass在周二發(fā)布的一篇博客文章中寫道：“開發(fā)人員長期以來一直在通過開源工具、提示和反復重試請求來解決 LLM 的局限性，以確保模型輸出符合與其系統(tǒng)互操作所需的格式。 ”

“結構化輸出通過約束 OpenAI 模型以匹配開發(fā)人員提供的模式并訓練我們的模型以更好地理解復雜模式來解決此問題?！?/p>

2.結構化輸出如何提高 LLM質(zhì)量

結構化輸出與普通用戶提示生成的輸出不同，因為它們在所能提供的信息方面受到限制，這種技術稱為“約束采樣”或“約束解碼”。

Pokrass 解釋說：“為了強制有效輸出，我們將模型限制為僅根據(jù)提供的模式有效的標記，而不是所有可用的標記?！?/p>

對于 ChatGPT 來說，采用這一模式的這一額外步驟可以提高其準確性。

OpenAI 開發(fā)人員在測試中發(fā)現(xiàn)，對復雜JSON模式的評估中，帶有結構化輸出的新模型gpt-4o-2024-08-06得分為100%。相比之下，gpt-4-0613的得分不到40%。

ChgatGPT 能夠 100% 正確地填充預定義模式，但通過簡單提示只能提供 85% 的正確響應。

圖片

OpenAI 圖表比較了針對 JSON 模式生成的 ChatGPT 響應與從命令提示符生成的響應的可靠性。

3.如何產(chǎn)生結構化輸出

那么如何操做呢？

現(xiàn)在，當應用程序提交請求時，開發(fā)人員會通過json_schema提供 JSON 模式，這是response_format參數(shù)的一個新選項。同時，在函數(shù)定義中，必須將strict值設置為“true”。然后，模型的輸出將使其答案與模式最佳匹配（這既適用于 AI 工具，也適用于直接用戶查詢）。

圖片

值得注意的是，響應結果仍將遵守 OpenAI 的安全要求（阻止?jié)撛谟泻?nèi)容），并將對不會回答的問題返回拒絕字符串值。此外還有其他限制：它僅支持JSON 模式的子集。它無法防止模型定義中的錯誤，并且由于 ChatGPT 會整理開發(fā)人員的模式，因此第一次響應會有額外的延遲。

OpenAI的 Node.js和Python軟件開發(fā)工具包都已更新了最新的response_format參數(shù)。

當然，最大的可能用例是將非結構化數(shù)據(jù)格式化為結構化數(shù)據(jù)，以便關系數(shù)據(jù)庫系統(tǒng)可以提取和分析它。這對于在辦公文檔中存儲大量信息的組織來說一直是一個挑戰(zhàn)。

但波克拉斯詳細闡述了該技術的一些可能的高級用途，包括根據(jù)用戶輸入動態(tài)創(chuàng)建用戶界面并在沒有支持材料的情況下提供單一答案。

機器學習研究員Elvis Saravia在 X 上指出，這是一個“很棒的功能，非常有必要” ，并在Youtube制作了一個關于如何使用結構化輸出的教程，各位不防自行查閱。

圖片

參考鏈接：https://thenewstack.io/openais-chatgpt-now-formats-output-to-developer-queries/ 

????本文轉(zhuǎn)載自??51CTO技術棧??，作者：言征