圣誕日第九天，OpenAI向第三方開發(fā)者開放了最強模型o1。

API中的o1，可支持函數(shù)調(diào)用、開發(fā)者消息、結(jié)構(gòu)化輸出和視覺功能。

同時，在開發(fā)語音類App的API中，集成了更先進的GPT-4o版本，成本直降60%！

另外，用戶和開發(fā)者可根據(jù)自己的偏好，用「偏好微調(diào)」輕松定制模型了。

Day 9，是名副其實的「對開發(fā)者最有用的一天」。

與此同時，團隊還進行了了一場在線AMA，解答了開發(fā)者的諸多問題。

Day 9，給開發(fā)者的新功能

今天，OpenAI將正式在API中推出o1滿血版。

自從9月推出o1-preview之后，開發(fā)者們已經(jīng)在API上構(gòu)建出了大量很酷的應(yīng)用程序，比如智能體、客戶支持、財務(wù)分析等，同時它的編程技能也很出色。

但開發(fā)者們反饋說，API中缺乏了一些核心功能，因此，OpenAI今天會一并推出這些新功能。

此外，還有一些小更新，比如推理強度參數(shù)。這是一個新的參數(shù)，告訴模型去花多少時間思考。

在解決簡單問題時，這個參數(shù)可以節(jié)省許多時間和成本，在需要更多算力的復(fù)雜問題上，就可以花費更多資源。

開發(fā)者消息，視覺輸入功能，函數(shù)調(diào)用功能

開發(fā)者消息功能，是系統(tǒng)消息的一種新形式，實際上是OpenAI指令層次結(jié)構(gòu)工作的一部分。

它會用來教模型，按照什么順序遵循哪種指令。因此，開發(fā)者可以完全控制開發(fā)者消息來引導(dǎo)模型。

此外，OpenAI還在API中推出了視覺輸入功能。

很多用戶強烈呼吁這個功能上線，可以想見，它在制造業(yè)、科學(xué)等領(lǐng)域，會提供非常大的幫助。

在demo中，研究者給了模型一份表格的照片掃描件，有若干張。

注意，研究者填寫的時候，故意填錯了一些數(shù)據(jù)。o1是否能檢測出這些錯誤呢？

在開發(fā)者消息中，研究者要求模型找出錯誤。如果要正確找出，必須其他幾張照片的掃描。

果然，模型注意到了某一行的算術(shù)錯誤，還注意到標準扣除額不準確這種非常細節(jié)的問題。

改正錯誤后，研究者提問道：如果我的應(yīng)稅收入是這個，我要繳納多少所得稅？

可以看到，o1在右側(cè)提供了一組函數(shù)。

比如其中一個函數(shù)，就是以JSON架構(gòu)呈現(xiàn)

這些操作都在應(yīng)用程序后端完成，用戶看不到任何函數(shù)調(diào)用或來自API的響應(yīng)。

此外，研究者還定義了一個JSON架構(gòu)，來規(guī)范響應(yīng)的格式。

在上面這個「表單修正」架構(gòu)中，包含了一組修正，每個修正都包含錯誤原因等內(nèi)容，這樣就可以向用戶展示哪里出錯了。

甚至還能為PDF渲染一個用戶界面，高亮出出錯的地方。在我們不想從模型中渲染Markdown時，結(jié)構(gòu)化輸出特別有用，它讓我們可以直接自動提取JSON。

最終，模型正確輸出了修正結(jié)果。

API使用場景評估

針對API用例，OpenAI研究者進行了一些評估。

首先，在函數(shù)調(diào)用功能上，新的o1模型在函數(shù)調(diào)用能力上顯著優(yōu)于GPT-4。

這包含了兩個關(guān)鍵部分——在需要時調(diào)用正確的函數(shù)，以及在不需要時避免調(diào)用函數(shù)。

另外，我們還可以將函數(shù)調(diào)用與結(jié)構(gòu)化輸出結(jié)合。

可以看到，o1比起GPT-4，同樣表現(xiàn)出色。

在結(jié)構(gòu)化輸出中，o1在評估中也顯著優(yōu)于其他模型。

這意味著，模型在指令遵循上的表示更佳，在給出特定條件約束時，偏離預(yù)期的可能性也更低。

在編碼方面，o1在Livebench評估中，要遠遠優(yōu)于o1-preview和GPT-4o，這是一個巨大的進步。

而在AIME評估中，o1再次顯著優(yōu)于o1-preview。

有趣的是，最右側(cè)是帶有結(jié)構(gòu)化輸出的o1。

在構(gòu)建結(jié)構(gòu)化輸出時，研究者希望確保模型在使用此功能和未使用時表現(xiàn)同樣出色。

可以看到，即使啟動了此功能，模型的推理能力依舊保持。因此我們可以放心在應(yīng)用程序中使用，不必擔心結(jié)果的準確性。

另外，模型在延遲上的變化也很有趣。

o1使用的推理Token，比o1-preview少了60%，因此對應(yīng)用程序來說，它的運行速度更快、成本更低。

最后，研究者強調(diào)，抱歉暫時不會在API中推出o1 Pro，雖然此類請求非常多。

從今天起，函數(shù)調(diào)用、編碼、結(jié)構(gòu)化輸出、開發(fā)者消息和圖像理解，就會向第五級用戶開放了。幾周時間內(nèi)，將覆蓋到所有用戶。

實時API，Her可以自己構(gòu)建了

Realtime API（實時API）在今年10月初，正式放出了公測版。

在OpenAI倫敦開發(fā)者日上，所有人或許早已對其強大的實時語音能力有所了解?，F(xiàn)場，開發(fā)者體驗主管Romain Huet秀如何通過實時API訂購派。

想象一下，你可以直接通過這個API構(gòu)建ChatGPT高級語音模式了！不論是訂餐AI助手，還是旅游AI助手等等，有了它就可以實現(xiàn)許多非?？犰诺墓δ?。

它能夠支持網(wǎng)絡(luò)傳輸協(xié)議WebSocket，因此，你可以通過服務(wù)器進行通信，發(fā)語音并接受響應(yīng)。

而在今天，OpenAI正式宣布實時API將支持WebRTC——專為互聯(lián)網(wǎng)而生。

我們常見的視頻會議，或者低延遲的視頻流傳輸，都采用了WebRTC。它能夠?qū)崟r處理互聯(lián)網(wǎng)不斷的變化，比如動態(tài)調(diào)整比特率、進行回聲消除。

現(xiàn)在，實時API也能共享這些優(yōu)勢了。假設(shè)你要構(gòu)建一個應(yīng)用程序，能省去不少功夫，可以直接運行。

接下來，OpenAI研究人員展示了一個demo，如下是HTML代碼，包含了一個音頻元素，一個對等連接（peer connection），它代表著你和實時API之間的一對一連接。

演示的重點，就是創(chuàng)建這個對等連接。當實時API向你發(fā)送音頻時，把它放入到音頻元素中。

緊接著，就是捕獲麥克風(fēng)輸入的聲音，并將其添加到對等連接中。首先，傳輸一個音頻流到OpenAI，然后在設(shè)置好對等鏈接后，執(zhí)行一個offer/answer操作。

offer/answer的作用是收集本地的所有信息。開發(fā)者通過HTTP POST發(fā)送這些信息，然后模型會作出響應(yīng)。

然后，WebRTC 會為你處理所有細節(jié)，就不需要再去操心擁塞控制、音頻捕捉等等。

那么，這個與之前WebSocket集成，有什么區(qū)別？

前者代碼行數(shù)會大大拉長，達到200到250行，而且，在此基礎(chǔ)上還會遇到其他的問題，比如處理反壓（back pressure）等等。

接下來，運行一行代碼，來看看它實際的樣子。

音頻元素——「圣誕節(jié)還有多少天？圣誕節(jié)是12月25日，而今天是12月17日。這意味著離圣誕節(jié)還有8天」。

剩余所做的，就是將其代碼復(fù)制粘貼12行代碼，執(zhí)行腳本，就完成了。

這里，你唯一需要修改的就是 API Token，然后你就可以下載這段代碼并運行。

OpenAI官方已經(jīng)放出了所有代碼，大家都可以隨時構(gòu)建。

令人驚喜的是，研究員請出了一位小伙伴——小鹿，它里面有一個微型控制器，大小如同一枚硬幣。

插上電源之后，小鹿突然間活了，「圣誕快樂！你們在談?wù)撌裁础梗?/span>

研究人員回復(fù)道，「我們正在討論如何將WebRTC集成到實時API中」。

小鹿表示，「這聽起來對我來說有點復(fù)雜。我們能不能聊點更有趣的事情，比如送禮物」？

接下來，研究人員和小鹿完成一輪精彩對話，完全展現(xiàn)了實時API的強大應(yīng)用，而這只是所有用例的冰山一角。

這樣，你就可以將其配置在任何可以穿戴的設(shè)備上，比如眼鏡、攝像頭、麥克風(fēng)等等。而且，全程也只需30-45分鐘。

此外，OpenAI還對實時API做了其他的更新。

從現(xiàn)在開始，GPT-4o音頻Token將比以前便宜 60%，并在API中提供了對4o-mini的支持，其音頻音頻Token成本降低到當前價格的1/10。

其次，他們還為實時API推出了對Python SDK 的支持，使集成更加簡單。

最后，還有一些API改進，讓開發(fā)者更容易使用函數(shù)編碼和安全防護機制。

偏好微調(diào)和定制化

關(guān)于微調(diào)和定制化，是開發(fā)者非常重要的一項功能，能夠針對使用場景去定制模型。

直播現(xiàn)場，OpenAI官宣了全新的微調(diào)方法——偏好微調(diào)（preference fine-tuning）。通過使用直接偏好優(yōu)化（DPO）能幫助開發(fā)者創(chuàng)建更符合用戶偏好的模型。

具體來說，它是在比較不同回答中定制模型，而非使用固定的目標。

過去幾個月，OpenAI火力全開，但微調(diào)API已經(jīng)發(fā)布有一年的時間了，這次究竟有什么不同？

目前，在API中，他們推出了監(jiān)督微調(diào)、以及前幾天新推出的強化微調(diào)（RFT）。

在監(jiān)督微調(diào)中，開發(fā)者需要提供模型需要的精確輸入和輸出，比如創(chuàng)建一個聊天機器人，就需要提供用戶的消息以及精確的回復(fù)。

而在偏好微調(diào)中，有所不同。

你不需要提供精確的輸入和輸出，僅需要提供一對一響應(yīng)，其中一個回應(yīng)偏好度比另一個更強。

然后，微調(diào)過程便會優(yōu)化模型，讓其學(xué)會區(qū)分這些響應(yīng)之間的差異。

這些差異可能包括響應(yīng)格式、風(fēng)格指南，甚至是一些抽象的特質(zhì)，比如有用性或創(chuàng)造力。

那么，這種方法有什么樣的特定用例場景？

客戶支持、內(nèi)容創(chuàng)作、創(chuàng)意寫作等等，尤其是，適用于那些需要考慮語氣、風(fēng)格和創(chuàng)造力的主觀任務(wù)。

如果在此過程中，開發(fā)者認為模型結(jié)果過于冗長，或者給出答案并不相關(guān)，就可以通過強化偏好的行為，并弱化不偏好的行為，來引導(dǎo)它生成更簡潔、更相關(guān)的響應(yīng)。

另一個非常好的使用場景可能是，內(nèi)容審核或內(nèi)容管理。

接下來，研究人員演示了如何通過API實現(xiàn)簡單微調(diào)，先進入微調(diào)頁面，點擊「創(chuàng)建微調(diào)」選項，會看到一個新方法的下拉菜單。

選擇「直接偏好優(yōu)化」方法，然后在選擇基礎(chǔ)模型——GPT-4o。最后，需要做的就是上傳數(shù)據(jù)。

假設(shè)需要做一個聊天機器人，讓其更具對話性。這下面這個示例這種，是向助手詢問紐約市天氣的兩組響應(yīng)。

在首選的響應(yīng)中，回復(fù)更加詳細，使用的是華氏度。而在不理想的響應(yīng)中，回復(fù)更為簡潔，使用了攝氏度。

然后，將這些示例放入JSONL文件中，每個示例都包含了輸入消息、偏好/非偏好的輸出。

數(shù)據(jù)上傳之后，再提供一些超參數(shù)（選擇默認值），然后點擊「創(chuàng)建」。

這樣，微調(diào)過程就啟動了。根據(jù)數(shù)據(jù)集的大小，這一過程可能需要幾分鐘到幾小時不等。

一旦完成之后，我們能夠像在API中任何基礎(chǔ)模型一樣，從新模型中采樣。

目前，OpenAI已經(jīng)向合作伙伴提供了偏好微調(diào)的早期訪問權(quán)限，并收到了不錯的反饋。

舉個栗子，Rogo AI開發(fā)了一個面向金融分析師的AI助手，通過使用OpenAI模型重寫、重構(gòu)用戶查詢，以生成更相關(guān)的答案。

在使用監(jiān)督微調(diào)時，他們未能使模型表現(xiàn)超越基礎(chǔ)模型。但通過偏好微調(diào)，他們在內(nèi)部基準測試中的準確率從基礎(chǔ)模型的75%提升超80%。

鑒于GPT4o偏好微調(diào)所取得的成果，OpenAI預(yù)計很快將為GPT4o mini提供相同功能。同時，其訓(xùn)練Token的定價將與監(jiān)督微調(diào)相同。

總言之，今天的OpenAI發(fā)布，對于開發(fā)者來說，是一個大禮包。

滿血版o1引入API，具備了完整的生產(chǎn)功能集，而且函數(shù)編碼功能，從今天起逐步推廣到Tier 5。

另外，實時API能夠支持WebRTC集成，以及token價格下降，以及偏好微調(diào)讓場景定制模型更加容易。

而這些還不是全部，OpenAI今天還在一直持續(xù)推出新功能。

首先，在提升開發(fā)者體驗和產(chǎn)品質(zhì)量方面，OpenAI發(fā)布了新的SDK，新增對Go和Java SDK的支持。與Python SDK和Node SDK類似，它們支持OpenAI上所有你需要的API端點。

其次，在簡化流程上，他們也推出了一個全新的登錄、注冊、獲取API密鑰的流程?，F(xiàn)在，不需要簽署5份服務(wù)條款協(xié)議，開發(fā)者即可在幾秒鐘內(nèi)獲取API密鑰。

最后還有一個小彩蛋，過去幾個月，OpenAI在世界各地舉辦了大大小小開發(fā)者日。

如今，他們將這些現(xiàn)場視頻全部公開了，只需進入OpenAI官方Y(jié)ouTube頁面即可查看。

信息量有點大，接下來可以慢慢消化了。