打造ChatGPT平替,成本暴降95%!OpenAI硬核更新下月發(fā)布,視覺(jué)API要來(lái)
天下開(kāi)發(fā)人員,苦OpenAI模型價(jià)格久矣。
路透爆料稱(chēng),在11月6日首屆開(kāi)發(fā)者大會(huì)上,OpenAI將推出年度重磅更新:
在開(kāi)發(fā)工具中增加內(nèi)存存儲(chǔ)(memory storage)功能,讓API成本大幅降價(jià)95%。
也就是說(shuō),開(kāi)發(fā)者苦等的福音終于來(lái)了,未來(lái)能夠以更低成本、更快速度用GPT模型構(gòu)建應(yīng)用。
另外,OpenAI還計(jì)劃推出「視覺(jué)」能力加持的全新開(kāi)發(fā)工具。
這樣,開(kāi)發(fā)者可以構(gòu)建「分析圖像」和「描述圖像」更強(qiáng)大的應(yīng)用。
這些新功能的開(kāi)放,最終指向著一個(gè)共同的目標(biāo):構(gòu)建大模型加持的AI智能體。
OpenAI此舉正沿著Sam Altman設(shè)想一步步推進(jìn),不僅在用戶中打開(kāi)市場(chǎng),同時(shí)還要成為一個(gè)提供熱門(mén)開(kāi)發(fā)者平臺(tái)的公司。
OpenAI把價(jià)格打下來(lái)了
去年11月,ChatGPT橫空出世,吸引了全球數(shù)億人使用,創(chuàng)下消費(fèi)級(jí)應(yīng)用用戶數(shù)增長(zhǎng)里程碑。
除了網(wǎng)頁(yè)版,ChatGPT還推出了iOS版,以及安卓版程序。
這樣客觀的下載量,將為OpenAI帶來(lái)一些盈利。內(nèi)部高管預(yù)計(jì),今年將帶來(lái)2億美元的收入,24年將有10億美元到賬。
可見(jiàn),ChatGPT在消費(fèi)者群里中已經(jīng)打下了江山,但在開(kāi)發(fā)圈子里,讓開(kāi)發(fā)者基于OpenAI技術(shù)構(gòu)建業(yè)務(wù),卻面臨重重挑戰(zhàn)。
在首席執(zhí)行官Altman看來(lái),讓OpenAI成為其他構(gòu)建應(yīng)用程序公司不可或缺的一部分,是公司的戰(zhàn)略目標(biāo)之一。
他與開(kāi)發(fā)者會(huì)面,急切地表達(dá)基于OpenAI模型構(gòu)建新生態(tài)系統(tǒng)的愿望。
目前,GPT模型能力已經(jīng)融入到了,美版「餓了么」DoorDash、寫(xiě)作助手Jasper等無(wú)數(shù)應(yīng)用程序中。
但,這還遠(yuǎn)遠(yuǎn)不夠。
6月,Sam Altman在AI開(kāi)發(fā)平臺(tái)Humanloop的首席執(zhí)行官采訪中,曾透露了自家的未來(lái)產(chǎn)品路線圖。
其中提到了一點(diǎn)是「有記憶的API」(Stateful API)——目前大部分token被浪費(fèi)在上文的傳輸中,將來(lái)會(huì)有一個(gè)能夠記住對(duì)話歷史的API版本。
這恰恰與添加「內(nèi)存存儲(chǔ)」的想法不謀而合。增加這一功能可以優(yōu)化成本的原因有以下幾點(diǎn):
- 新的緩存功能與LangChain的記憶鏈(Memory Chain)原理類(lèi)似,可以將之前的對(duì)話歷史轉(zhuǎn)化為嵌入式向量進(jìn)行存儲(chǔ)。新的會(huì)話內(nèi)容只需在增量標(biāo)記中進(jìn)行處理,而無(wú)需重新輸入整個(gè)上下文。
- 預(yù)設(shè)的角色和功能也無(wú)需重新輸入,只需進(jìn)行相似性搜索即可。
- 在模型計(jì)算過(guò)程中,CUDA圖形只需查看增量,而無(wú)需以歷史聊天記錄為基礎(chǔ),再次進(jìn)行全局瀏覽。
簡(jiǎn)而言之,這將大大優(yōu)化token數(shù)量。
所謂的「有記憶的API」的計(jì)劃發(fā)布,能夠使模型通過(guò)記住查詢的對(duì)話歷史,進(jìn)而創(chuàng)建應(yīng)用程序成本更低。
這可能會(huì)大大削減,開(kāi)發(fā)人員需要支付API費(fèi)用。
根據(jù)OpenAI官網(wǎng)上的定價(jià),目前,用GPT-4處理一頁(yè)文檔可能需要10美分,具體取決于輸入和輸出的長(zhǎng)度和復(fù)雜性。
另一個(gè)更新是視覺(jué)API,允許開(kāi)發(fā)者構(gòu)建可以分析圖像的軟件。
這也標(biāo)志著,OpenAI繼續(xù)向前推進(jìn)多模態(tài)能力重要的一步,未來(lái)必定還會(huì)有音頻、視頻能力的加入。
抓住開(kāi)發(fā)者, 在做了
為了吸引更多開(kāi)發(fā)者,OpenAI也做出了很多努力。
去年,專(zhuān)門(mén)聘用了第一位負(fù)責(zé)建立OpenAI與開(kāi)發(fā)者關(guān)系的工程師Logan Kilpatrick。
他常常會(huì)更新一些利好開(kāi)發(fā)者的工具和內(nèi)容。
微調(diào)用戶界面現(xiàn)在支持在用戶界面中進(jìn)行端到端作業(yè)創(chuàng)建,無(wú)需代碼即可啟動(dòng)作業(yè)。
還有,OpenAI即將發(fā)布OpenAI Python SDK的1.0版本。
發(fā)布API 使用情況儀表板的更新,有助于更清楚地了解哪些模型在推動(dòng)使用情況,而且總體上應(yīng)該更加可靠。
除此之外,可以看到OpenAI面向開(kāi)發(fā)者,做了很多模型適配、用戶界面等各種工作的優(yōu)化。
而所有的這些,都是為了吸引更多開(kāi)發(fā)者來(lái)付費(fèi)使用OpenAI的模型。
根據(jù)PitchBook的數(shù)據(jù),今年各家AI初創(chuàng)公司已經(jīng)獲得了超過(guò)200億美元的投資。
雖然其中很多都依賴OpenAI提供的技術(shù),但這些初創(chuàng)公司也在努力使它們使用的模型更加多樣化,比如采用Llama這種開(kāi)源方案。而這也使得OpenAI必須將自己與谷歌等資金雄厚的競(jìng)爭(zhēng)對(duì)手區(qū)分開(kāi)來(lái)。
據(jù)路透社報(bào)道,保持開(kāi)發(fā)者的滿意度一直是OpenAI的關(guān)注重點(diǎn)。
然而,即便ChatGPT在消費(fèi)者中取得了巨大成功,但OpenAI在贏得其他公司或開(kāi)發(fā)者的支持上,卻并沒(méi)有那么順利。
比如備受期待的ChatGPT插件系統(tǒng),在最初引發(fā)了一大波熱潮之后,用戶和開(kāi)發(fā)者的興趣便急劇下降。
隨后Sam Altman也承認(rèn),插件并沒(méi)有像想象中那樣獲得市場(chǎng)的認(rèn)可。
價(jià)格一覽
GPT-4
GPT-3.5 Turbo
微調(diào)模型