ChatGPT凌晨重磅更新!GPT-3.5/4雙升級(jí):上下文飆升4倍,用API自己造插件
ChatGPT突然更新!
今天凌晨,OpenAI在官網(wǎng)上發(fā)布了所有更新細(xì)節(jié),包含以下這幾個(gè)方面:
- 在Chat Completions API中增加了新的函數(shù)調(diào)用能力
- 更新了GPT-4和GPT-3.5-Turbo版本,可操控性更強(qiáng)
- 為GPT-3.5-Turbo增加了16k的上下文長度(此前是4k)
- 嵌入模型成本降低75%
- GPT-3.5-Turbo的輸入token成本降低25%
- 公布了GPT-3.5-Turbo-0301和GPT-4-0314模型的淘汰時(shí)間表
其中備受關(guān)注的應(yīng)該就是新的函數(shù)調(diào)用能力,GPT-4和GPT-3.5-Turbo兩個(gè)模型的升級(jí),以及各種降成本。
對(duì)此,推特網(wǎng)友「寶玉」表示,OpenAI這次更新的函數(shù)調(diào)用功能,本質(zhì)上是讓API直接支持了Agent或者Plugin。
函數(shù)調(diào)用
現(xiàn)在,開發(fā)者現(xiàn)在可以向GPT-4-0613和GPT-3.5-turbo-0613描述函數(shù),并讓模型智能地選擇輸出包含調(diào)用這些函數(shù)的參數(shù)的JSON對(duì)象。
這是一種更可靠地將GPT的功能與外部工具和API相連的新方法。
這些模型已經(jīng)過微調(diào),既能檢測到何時(shí)需要調(diào)用函數(shù)(取決于用戶輸入的內(nèi)容),又能用符合函數(shù)簽名的JSON來進(jìn)行響應(yīng)。
函數(shù)調(diào)用允許開發(fā)者更可靠地從模型中獲得結(jié)構(gòu)化的數(shù)據(jù)。
比如,開發(fā)者可以創(chuàng)建一個(gè)聊天機(jī)器人,通過調(diào)用外部工具(例如,ChatGPT插件)來回答問題。
具體來說,可以將諸如「給Anya發(fā)郵件,看她下周五是否想喝咖啡」這樣的查詢轉(zhuǎn)換為send_email(to: string, body: string)這樣的函數(shù)調(diào)用。
或者將「波士頓的天氣如何?」轉(zhuǎn)換為get_current_weather(location: string, unit: 'celsius' | 'fahrenheit')。
此外,開發(fā)者還能將自然語言轉(zhuǎn)換為API調(diào)用或者數(shù)據(jù)庫查詢。
比如,將「誰是我這個(gè)月的十大客戶?」轉(zhuǎn)換為內(nèi)部API調(diào)用,即為:get_customers_by_revenue(start_date: string, end_date: string, limit: int)。
又或者把「Acme, Inc.上個(gè)月有多少訂單?」轉(zhuǎn)換成SQL查詢,即為:sql_query(query: string)。
此外,還允許開發(fā)者從文本中提取結(jié)構(gòu)化數(shù)據(jù)。
只需定義一個(gè)名為extract_people_data(people: [{name: string, birthday: string, location: string}]的函數(shù),就能提取維基百科文章中提到的所有人物。
以前用戶需要在Prompt里加一堆描述才能支持Agent,而現(xiàn)在就簡單多了,只要在API請求的時(shí)候,傳入一個(gè)functions參數(shù)即可。
functions參數(shù)實(shí)際上就類似于用戶要指定的Agent。
注意,這里可以是不止一個(gè)function,function是一個(gè)對(duì)象,還可以加上名稱(name)、描述(description)、參數(shù)(parameters)等等。
然后,返回的結(jié)果就包含了如下結(jié)構(gòu)化的內(nèi)容:
function_call:調(diào)用的函數(shù)名,和用戶傳入的函數(shù)名稱一致
arguments:JSON格式的參數(shù)值,包含了用戶調(diào)用函數(shù)需要的參數(shù)名稱和值。
比如說:
"function_call": { "name": "get_current_weather", "arguments": "{ \"location\": \"Boston, MA\"}" }
國外網(wǎng)友表示,function最大的價(jià)值就是解決了GPT返回?cái)?shù)據(jù)結(jié)構(gòu)化的問題,不再需要用戶輸入復(fù)雜的prompt。
第一步:OpenAI API
第二步:第三方API
第三步:OpenAI API
模型升級(jí)
GPT-4
GPT-4-0613的主要更新就是上面提到的全新函數(shù)調(diào)用功能。
而GPT-4-32k-0613的更新,除了包含GPT-4-0613的所有更新內(nèi)容以外,還新增加了更長的上下文長度,從而能更好地理解更長篇幅的文本。
OpenAI表示,未來幾周內(nèi),將會(huì)有更多目前在等待名單上的人可以開始使用GPT-4.
GPT-3.5 Turbo
GPT-3.5-turbo-0613的更新中具備與GPT-4相同的函數(shù)調(diào)用功能,并通過系統(tǒng)信息提供了更高的可控性。
這兩個(gè)特性將使開發(fā)者能夠更有效地引導(dǎo)GPT模型生成的回復(fù)。
GPT-3.5-turbo-16k相較于GPT-3.5-turbo擁有4倍的上下文長度,但成本是前者的兩倍。
每1000個(gè)token輸入的費(fèi)用為0.003美元,每1000個(gè)輸出token的費(fèi)用為0.004美元。
16k的上下文長度意味著該模型現(xiàn)在能夠在單次對(duì)話中支持約20頁長度的文本。
同時(shí),OpenAI表示,新模型將于6.27正式上線,而舊模型將于今年9.13后無法再次訪問。
價(jià)格更低
最后,OpenAI發(fā)布的價(jià)格降低的新消息也讓不少用戶為之一動(dòng)。
text-embedding-ada-002是OpenAI最受歡迎的嵌入模型。今天我們將成本降低了75%,每1,000個(gè)token費(fèi)用為0.0001美元。
而作為最受歡迎的聊天模型——GPT-3.5-turbo,其輸入的token費(fèi)用降低了25%。
開發(fā)者現(xiàn)在能以0.0015美元/1000個(gè)輸入token的價(jià)格使用該模型,每1000個(gè)輸出token費(fèi)用為0.002美元,相當(dāng)于每美元大約能使用700頁。
GPT-3.5-turbo-16k的定價(jià)為0.003美元/每1000個(gè)輸入token,而每1000個(gè)輸出token費(fèi)用為0.004美元。
參考資料:https://openai.com/blog/function-calling-and-other-api-updates