11月7日凌晨2點(diǎn)，歷史上第一次的OpenAI開發(fā)者大會(huì)正式開始，被戲稱為AI春晚 ，OpenAI終于迎來了這一重要時(shí)刻。

大會(huì)介紹：OpenAI DevDay[1]

大會(huì)視頻：OpenAI DevDay, Opening Keynote[2]

本次有多項(xiàng)面對(duì)普通用戶，開發(fā)者，企業(yè)用戶的炸裂更新。

面向普通用戶

圖片

現(xiàn)在可以創(chuàng)建自定義版本的ChatGPT，結(jié)合說明、額外的知識(shí)和任意組合的技能。

自定義GPT

任何人都可以輕松創(chuàng)建自己的GPT，無需編程。您可以為自己創(chuàng)建一個(gè)GPT，僅用于公司內(nèi)部使用，或與他人分享。創(chuàng)建一個(gè)GPT就像開始對(duì)話一樣簡單，只需給它指示和額外的知識(shí)，并選擇它可以做的事情，比如搜索網(wǎng)頁、制作圖像或分析數(shù)據(jù)。

可以在這個(gè)地址創(chuàng)建GPTs:。chat.openai.com/create[3]

現(xiàn)在GPTs已經(jīng)可以供ChatGPT Plus和企業(yè)用戶使用。一些可用的示例包括和。Canva[4]

圖片

奧特曼現(xiàn)場通過對(duì)話幾分鐘就做出了個(gè)GPTs創(chuàng)業(yè)導(dǎo)師應(yīng)用，大大降低了應(yīng)用開發(fā)門檻。

做AIGC應(yīng)用層的創(chuàng)業(yè)公司真是太難了，AI讓世界變化更快了！

GPT Store

任何人都可以創(chuàng)建并公開分享GPTs。本月晚些時(shí)候，將推出GPT Store，展示經(jīng)過驗(yàn)證的構(gòu)建者的作品。一旦進(jìn)入商店，GPTs將可以被搜索，并且可能在排行榜上上升。還將重點(diǎn)推薦在生產(chǎn)力、教育和“只是為了好玩”等類別中遇到的最有用和令人愉悅的GPTs。在接下來的幾個(gè)月里，還可以根據(jù)使用您的GPT的人數(shù)來賺取收入。

ChatGPT的iPhone時(shí)刻到來了！即使不是開發(fā)者的普通人都可以創(chuàng)建自己的應(yīng)用并發(fā)布到GPT Store（類似蘋果的APP Store），需求為王，創(chuàng)意為王的時(shí)代來了！

以后所有跟數(shù)字世界交互入口是不是從APP都變成了ChatGPT了？

面向企業(yè)

自從幾個(gè)月前推出ChatGPT企業(yè)版以來，早期客戶表達(dá)了希望能夠更多定制化以符合他們的業(yè)務(wù)需求的愿望。GPTs通過允許用戶為特定用例、部門或?qū)Ｓ袛?shù)據(jù)集創(chuàng)建ChatGPT的版本來回應(yīng)這一需求。像Amgen、Bain和Square等早期客戶已經(jīng)開始利用內(nèi)部的GPTs來完成一些任務(wù)，比如制作體現(xiàn)品牌的營銷材料，幫助支持人員回答客戶問題，或者幫助新的軟件工程師進(jìn)行入職培訓(xùn)。

企業(yè)用戶可以在周三開始使用GPTs?，F(xiàn)在用戶可以讓公司內(nèi)部的用戶無需編程就設(shè)計(jì)內(nèi)部專用的GPTs，并將其安全發(fā)布到工作區(qū)。管理控制臺(tái)可以讓用戶選擇如何共享GPTs以及是否允許在企業(yè)內(nèi)部使用外部GPTs。與ChatGPT企業(yè)版上的所有使用一樣，OpenAI不會(huì)使用用戶與GPTs的對(duì)話來改進(jìn)模型。

現(xiàn)在可以直接基于企業(yè)私有數(shù)據(jù)集訓(xùn)練一個(gè)私有的ChatGPT。OpenAI的手伸向企業(yè)服務(wù)這塊蛋糕了！

面向開發(fā)者

圖片

更新了具有 128K 上下文和更低價(jià)格的 GPT-4 Turbo、新的 Assistant API、具有 Vision 的 GPT-4 Turbo、DALL·E 3 API 等等。

API大幅升級(jí)

GPT-4支持128K上下文

GPT-4 Turbo的能力更強(qiáng)，了解到2023年4月的世界事件。它具有128k上下文，可以在單個(gè)提示中容納相當(dāng)于300多頁的文本。我們還優(yōu)化了其性能，因此我們能夠以比GPT-4更低3倍的價(jià)格提供GPT-4 Turbo的輸入標(biāo)記，并以比GPT-4更低2倍的價(jià)格提供輸出標(biāo)記。

Function calling更新

允許您描述應(yīng)用程序或外部API的函數(shù)，并使模型智能地選擇輸出一個(gè)包含調(diào)用這些函數(shù)參數(shù)的JSON對(duì)象。我們今天發(fā)布了幾項(xiàng)改進(jìn)，包括在單個(gè)消息中調(diào)用多個(gè)函數(shù)的能力：用戶可以發(fā)送一個(gè)消息請(qǐng)求多個(gè)操作，例如“打開車窗并關(guān)閉空調(diào)”，這在以前需要多次與模型的交互。我們還改進(jìn)了函數(shù)調(diào)用的準(zhǔn)確性：GPT-4 Turbo更有可能返回正確的函數(shù)參數(shù)。

更多信息：Function calling[5]

改進(jìn)JSON返回格式

GPT-4 Turbo在需要仔細(xì)遵循指令的任務(wù)中表現(xiàn)優(yōu)于以前的模型，例如生成特定格式（例如“始終以XML響應(yīng)”）。它還支持新的JSON模式，確保模型將以有效的JSON響應(yīng)。新的API參數(shù)response_format使模型能夠約束其輸出，生成一個(gè)語法正確的JSON對(duì)象。JSON模式對(duì)于在函數(shù)調(diào)用之外的Chat Completions API中生成JSON的開發(fā)人員非常有用。

可復(fù)現(xiàn)輸出和對(duì)數(shù)概率

新的seed參數(shù)通過使模型大部分時(shí)間返回一致的完成來實(shí)現(xiàn)可復(fù)現(xiàn)的輸出。這個(gè)測(cè)試版功能對(duì)于重放請(qǐng)求進(jìn)行調(diào)試、編寫更全面的單元測(cè)試以及對(duì)模型行為具有更高程度的控制等用例非常有用。OpenAI在自己的單元測(cè)試中一直在使用這個(gè)功能，并發(fā)現(xiàn)它非常有價(jià)值。很期待看到開發(fā)人員如何使用它。

全新的GPT-3.5 Turbo

除了GPT-4 Turbo之外，還發(fā)布了一個(gè)新版本的GPT-3.5 Turbo，默認(rèn)支持16K上下文窗口。新的3.5 Turbo支持改進(jìn)的指令遵循、JSON模式和并行函數(shù)調(diào)用。例如，在生成JSON、XML和YAML等格式遵循任務(wù)中，改進(jìn)了38%。開發(fā)人員可以通過在API中調(diào)用gpt-3.5-turbo-1106來訪問這個(gè)新模型。使用gpt-3.5-turbo名稱的應(yīng)用程序?qū)⒃?2月11日自動(dòng)升級(jí)到新模型。舊模型將繼續(xù)通過在API中傳遞gpt-3.5-turbo-0613來訪問，直到2024年6月13日。

GPT-4 API大幅降價(jià)

整體價(jià)格：OpenAI Pricing[6]

我們正在全平臺(tái)降低多個(gè)價(jià)格，以將節(jié)省成本傳遞給開發(fā)者（下面的所有價(jià)格均以每1,000個(gè)標(biāo)記計(jì)算）：

• GPT-4 Turbo的輸入標(biāo)記比GPT-4便宜3倍，為0.01美元，輸出標(biāo)記比GPT-4便宜2倍，為0.03美元。
• GPT-3.5 Turbo的輸入標(biāo)記比先前的16K模型便宜3倍，為0.001美元，輸出標(biāo)記比先前的16K模型便宜2倍，為0.002美元。之前使用GPT-3.5 Turbo 4K的開發(fā)者在輸入標(biāo)記上享受到了33%的降價(jià)，為0.001美元。這些更低的價(jià)格僅適用于今天推出的新GPT-3.5 Turbo。
• 經(jīng)過微調(diào)的GPT-3.5 Turbo 4K模型的輸入標(biāo)記降低了4倍，為0.003美元，輸出標(biāo)記降低了2.7倍，為0.006美元。微調(diào)還支持與新的GPT-3.5 Turbo模型相同價(jià)格的16K上下文。這些新價(jià)格也適用于經(jīng)過微調(diào)的gpt-3.5-turbo-0613模型。

圖片

發(fā)布Assistant API

這個(gè)助手功能真是大殺器！Assistant API現(xiàn)在可以開啟多種工具，編排出復(fù)雜的應(yīng)用。

工具包括

• 代碼解釋器（Code Interpreter）：在受限執(zhí)行環(huán)境中編寫和運(yùn)行Python代碼，可以生成圖表、處理具有多樣數(shù)據(jù)和格式的文件。它使您的助手可以迭代運(yùn)行代碼，解決具有挑戰(zhàn)性的代碼和數(shù)學(xué)問題等。
• 檢索（Retrieval）：通過外部模型以外的知識(shí)增強(qiáng)助手，例如專有領(lǐng)域數(shù)據(jù)、用戶提供的產(chǎn)品信息或文檔。這意味著您無需為文檔計(jì)算和存儲(chǔ)嵌入，也無需實(shí)現(xiàn)分塊和搜索算法。ChatGPT的助手API根據(jù)我們?cè)谥R(shí)檢索方面的經(jīng)驗(yàn)優(yōu)化了檢索技術(shù)的使用。
• 函數(shù)調(diào)用（Function calling）：使助手能夠調(diào)用您定義的函數(shù)，并將函數(shù)響應(yīng)納入其消息中。

Playground頁面調(diào)用

官方示例：

代碼解釋器示例：

我上傳了一個(gè)文本文件。讓他「幫我按---分割截取第一段內(nèi)容，進(jìn)行返回」。

這里自動(dòng)調(diào)用了代碼解釋器，運(yùn)行了python代碼幫我進(jìn)行字符串切割最終返回。

圖片

檢索示例：

問了一個(gè)「什么是八爪魚」的問題。

這里我投喂了一個(gè)私有數(shù)據(jù)的文檔，所以GPT可以知道「八爪魚」是一個(gè)爬蟲工具而不是一種動(dòng)物。

圖片

函數(shù)調(diào)用示例：

函數(shù)調(diào)用基本概念參考我之前文章：OpenAI API進(jìn)階-Function Calling實(shí)現(xiàn)插件！[7]

我問了一個(gè)「北京今天天氣如何的」問題。

1. 觸發(fā)了函數(shù)調(diào)用get_weather，返回了我函數(shù)中定義的城市和單位。

圖片

1. 模擬調(diào)用本地函數(shù)，進(jìn)行第二次GPT調(diào)用，返回給我最終結(jié)果

圖片

API調(diào)用

API文檔：Assistant API[8]

上面Playground演示的過程就是API的調(diào)用過程。這個(gè)API特別復(fù)雜，后續(xù)單獨(dú)寫一篇專門講解。

多模態(tài)API發(fā)布

GPT-4 Turbo和帶有視覺的GPT-4 Turbo可以在Chat Completions API中接受圖像作為輸入，實(shí)現(xiàn)生成標(biāo)題、詳細(xì)分析現(xiàn)實(shí)世界圖像以及閱讀帶有圖表的文檔等功能。例如，BeMyEyes利用這項(xiàng)技術(shù)幫助視力障礙或低視力的人們完成日常任務(wù)，如識(shí)別產(chǎn)品或?qū)Ш缴痰辍ｉ_發(fā)者可以在API中使用gpt-4-vision-preview來訪問這個(gè)功能。對(duì)于GPT-4 Turbo，定價(jià)取決于輸入圖像的尺寸，例如將一個(gè)1080×1080像素的圖像傳遞給GPT-4 Turbo的成本為0.00765美元。

價(jià)格對(duì)比

圖片

API實(shí)戰(zhàn)

API文檔：Vision API[9]

需要在正常的chat接口中增加一個(gè)image_url類型的圖片url，model選擇gpt-4-vision-preview ，目前我的轉(zhuǎn)發(fā)站還沒有兼容，有4.0key的小伙伴可以試試。

不僅可以傳單張圖片，還可以傳多張圖片并對(duì)比他們的區(qū)別。

請(qǐng)求

我把用DALLE3生成的水獺圖片讓GPT-4v描述其中的內(nèi)容

curl https://proxy.hehanwang.com/v1/chat/completions   -H "Content-Type: application/json"   -H "Authorization: Bearer sk-xxx"   -d '{
    "model": "gpt-4-vision-preview",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "What’s in this image?"
          },
          {
            "type": "image_url",
            "image_url": {
              "url": "https://s2.loli.net/2023/11/07/ejyY8AFt1pbIWzH.png"
            }
          }
        ]
      }
    ],
    "max_tokens": 300
  }'

響應(yīng)

{
    "id": "chatcmpl-8IBLbpTkWbnHKoRSqw7ONSseETh8n",
    "object": "chat.completion",
    "created": 1699344215,
    "model": "gpt-4-1106-vision-preview",
    "usage": {
        "prompt_tokens": 778,
        "completion_tokens": 115,
        "total_tokens": 893
    },
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "This image features an adorable baby otter floating on water. The otter looks like it's resting its chin on its crossed paws, with a playful and innocent expression on its face. The background consists of a beautiful blue sky with light wisps of clouds, a bright sun, and a landscape that might suggest a coastal environment. The water is a clear blue, suggesting a serene aquatic setting. The image has a very vibrant and sharp quality, likely indicating it is a digital creation or significantly enhanced photograph aimed at showcasing the otter in a particularly cute and engaging manner."
            },
            "finish_details": {
                "type": "stop",
                "stop": "<|fim_suffix|>"
            },
            "index": 0
        }
    ]
}%

對(duì)圖片內(nèi)容的描述質(zhì)量我理解還是非常不錯(cuò)的（形容詞比我用的溜呀）。

這張照片描繪了一只可愛的水獺寶寶漂浮在水面上。這只水獺看起來像把下巴放在交叉的爪子上，臉上帶著一種頑皮而天真的表情。背景是美麗的藍(lán)天和縷縷白云，明亮的太陽，以及可能讓人聯(lián)想到沿海環(huán)境的景觀。水是清澈的藍(lán)色，暗示著寧靜的水生環(huán)境。這張照片非常生動(dòng)、清晰，很可能表明這是一張數(shù)碼作品，或者是一張經(jīng)過顯著增強(qiáng)的照片，旨在以一種特別可愛和迷人的方式展示水獺。

文生圖 DALL·E3

DALL·E2的圖片生成質(zhì)量一直很差，被大家詬病。DALL·E3的文字理解程度和圖片質(zhì)量有很大的提升。之前是只能在ChatGPT的頁面上使用，現(xiàn)在終于有API版本了！DALL·E3每張圖價(jià)格$0.040，相比DALL·E2的$0.020增加了一倍

價(jià)格對(duì)比

圖片

API實(shí)戰(zhàn)

API文檔：DALL·E API[10]

• DALL·E2

請(qǐng)求

curl https://key.wenwen-ai.com/v1/images/generations \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-NYsoG3VBKDiTuvdtC969F95aFc4f45379aD3854a93602327" \
  -d '{
    "model": "dall-e-2",
    "prompt": "A cute baby sea otter",
    "n": 1,
    "size": "1024x1024"
  }'

響應(yīng)

{
  "created": 1699339572,
  "data": [
    {
      "url": "https://oaidalleapiprodscus.blob.core.windows.net/private/org-iS1RHGfXtfuzTMR23GkMXCkA/user-9IbPVG6plCvypz0hG8Srcc25/img-VkyOb9Kl3RdrHeVHcdFVMePi.png?st=2023-11-07T05%3A46%3A12Z&se=2023-11-07T07%3A46%3A12Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2023-11-06T14%3A06%3A55Z&ske=2023-11-07T14%3A06%3A55Z&sks=b&skv=2021-08-06&sig=Yx3VF2CF%2BTquwjVM27%2BFZ4oY/BD9HmvulgE6dguHntg%3D"
    }
  ]
}

• DALL·E3

請(qǐng)求

curl https://key.wenwen-ai.com/v1/images/generations \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-NYsoG3VBKDiTuvdtC969F95aFc4f45379aD3854a93602327" \
  -d '{
    "model": "dall-e-3",
    "prompt": "A cute baby sea otter",
    "n": 1,
    "size": "1024x1024"
  }'

響應(yīng)

{
  "created": 1699339510,
  "data": [
    {
      "revised_prompt": "Visualize a baby sea otter resting adorably on top of a water's surface. The otter should look extremely cute with its small, rounded body covered with rich, dark brown fur. The otter's eyes are wide and sparkling with curiosity, while its tiny claws are curled up under its chin as if it's trying to hold onto something. The backdrop comprises of a calm, clear blue sea under a radiant sky. The whole image emits a sense of peace and innocence.",
      "url": "https://oaidalleapiprodscus.blob.core.windows.net/private/org-iS1RHGfXtfuzTMR23GkMXCkA/user-9IbPVG6plCvypz0hG8Srcc25/img-G39CYL0CxO5idBvylELrIdb6.png?st=2023-11-07T05%3A45%3A10Z&se=2023-11-07T07%3A45%3A10Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2023-11-06T18%3A46%3A53Z&ske=2023-11-07T18%3A46%3A53Z&sks=b&skv=2021-08-06&sig=vtruEBg63opqFoPEeI0ae/ScUU1QdXoZsmErSICFHD4%3D"
    }
  ]

可以看到DALL·E3畫出來的小水獺確實(shí)比DALL·E2好不少！

聲音合成 TTS

通過文本到語音 API 生成高質(zhì)量的人類語音。新的 TTS 模型提供了六種預(yù)設(shè)聲音可供選擇，以及兩種模型變體，tts-1 和 tts-1-hd。tts 優(yōu)化了實(shí)時(shí)使用情況，tts-1-hd 優(yōu)化了音質(zhì)。定價(jià)從每輸入 1,000 個(gè)字符的 $0.015 開始。

價(jià)格對(duì)比：

圖片

API實(shí)戰(zhàn)

API文檔：Audio API[11]

請(qǐng)求

curl https://proxy.hehanwang.com/v1/audio/speech \
  -H "Authorization: Bearer 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" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "tts-1",
    "input": "The quick brown fox jumped over the lazy dog.",
    "voice": "alloy"
  }' \
  --output speech.mp3