撰稿 | 言征
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
就在今天，GPT-4推出重磅更新！帶視覺(jué)能力的GPT-4面向大眾公開(kāi)了！
圖片
MiraOpenAI首席技術(shù)官M(fèi)ira在推特上公布了這一消息。
圖片
據(jù)OpenAI API官方介紹，GPT-4 Turbo with Vision 現(xiàn)已在 API 中正式推出。Vision 請(qǐng)求現(xiàn)在也可以使用 JSON 模式和函數(shù)調(diào)用。
大家都知道，GPT-4是一個(gè)多模態(tài)的大模型，支持文本和圖像的輸入，輸出為文本，那么GPT-4 Vision 又是什么鬼？
簡(jiǎn)單來(lái)講，就是這個(gè)版本的GPT-4不再僅限于輸入圖片，而是可以隨時(shí)盯著你的屏幕與操作，成為你的實(shí)時(shí)助手，而不再只是一個(gè)局限在聊天工具里的智囊。
這樣還是比較抽象，OpenAI開(kāi)發(fā)者賬號(hào)還給出了幾個(gè)生動(dòng)的實(shí)例，大家不妨感受下！
1.GPT-4 Vision：主打一個(gè)實(shí)時(shí)屏幕交互
首先，不得不提Devin，當(dāng)時(shí)cognition_labs推出它時(shí)，朋友圈都被刷爆了，感慨它是一個(gè)顛覆式的編程Agent！
當(dāng)時(shí)，業(yè)內(nèi)人士就猜測(cè)背后的模型是GPT-4，現(xiàn)在OpenAIDevs也官宣了：Devin是GPT-4 Turbo提供支持的人工智能軟件工程助手，那些絲滑的Agent體驗(yàn)，也使用了Vision來(lái)執(zhí)行各種編碼任務(wù)。
通過(guò)屏幕的實(shí)時(shí)跟蹤和交互，一切都變得更有趣起來(lái)了！
，時(shí)長(zhǎng)00:45
第二個(gè)，印度最大的健康&健身平臺(tái)Healthify，目前擁有超過(guò)4000萬(wàn)用戶，提供健康跟蹤和人工智能增強(qiáng)的健康指導(dǎo)。近一年來(lái)，Healthify通過(guò)OpenAI API，極大增強(qiáng)了原有AI產(chǎn)品的性能，簡(jiǎn)化了健康跟蹤流程，并擴(kuò)大了教練的業(yè)務(wù)范圍。
具體到GPT-4 Vision，Healthifyme團(tuán)隊(duì)使用帶有Vision的GPT-4 Turbo構(gòu)建了Snap，通過(guò)識(shí)別來(lái)自世界各地的食物照片為用戶提供營(yíng)養(yǎng)見(jiàn)解。使用 GPT-Vision 和嵌入模型來(lái)即時(shí)跟蹤食物和規(guī)模指導(dǎo)，準(zhǔn)確度大大提升。
，時(shí)長(zhǎng)00:18
該公司的AI產(chǎn)品總監(jiān)Raja表示，GPT-4的能力極限很大?！俺俗孏PT-4回答問(wèn)題，現(xiàn)在還可以讓它執(zhí)行應(yīng)用程序操作?！?/p>
第三個(gè)例子，也是最為對(duì)開(kāi)發(fā)者形象的例子就是tlfraw團(tuán)隊(duì)開(kāi)發(fā)的產(chǎn)品Make Real。
Make Real可以實(shí)時(shí)通過(guò)用戶畫(huà)示例圖的交互形式結(jié)合局部提示快速生成由真實(shí)代碼驅(qū)動(dòng)的工作網(wǎng)站，這背后也是帶有視覺(jué)的GPT-4 Turbo的功勞。
2.實(shí)際融入業(yè)務(wù)，GPT-4 Vision究竟如何強(qiáng)悍？
GPT-4 Vison的早期使用者們，實(shí)際反饋如何，又是究竟看上了OpenAI哪里呢？
以上文提到的healthify為例，借助 OpenAI 率先上市的簡(jiǎn)單 API，團(tuán)隊(duì)快速構(gòu)建了原型來(lái)測(cè)試模型性能。在正式選擇提供商之前，團(tuán)隊(duì)評(píng)估了多種模型選項(xiàng)，包括開(kāi)源模型。
經(jīng)過(guò)全面評(píng)估后，Healthify 與 OpenAI 合作原因主要有這四點(diǎn)：
首先，是一流的精度。 GPT-4 Vision瞬間超越了Snap pipeline的性能；該模型本身就可以識(shí)別來(lái)自世界各地的食物，并檢測(cè)到照片中的多種食物。GPT-4（針對(duì) Ria）和 Whisper（針對(duì) Coach Copilot）同樣優(yōu)于其現(xiàn)有管道和其他GenAI替代模型。
其次，輕松集成。一旦他們驗(yàn)證了原型并且需要集成到他們的生產(chǎn)系統(tǒng)中，Healthify 團(tuán)隊(duì)就可以簡(jiǎn)單地將 OpenAI 的 API 添加到他們現(xiàn)有的管道中?！笆褂?OpenAI 構(gòu)建概念驗(yàn)證并使用它們來(lái)構(gòu)建生產(chǎn)系統(tǒng)非常容易，”Vashisht 說(shuō)。
第三，只需要簡(jiǎn)單的微調(diào)。Healthify 選擇 OpenAI 很大程度上是因?yàn)榭梢赃M(jìn)行開(kāi)箱即用的微調(diào)。對(duì)數(shù)據(jù)進(jìn)行建模以進(jìn)行微調(diào)并將其上傳到服務(wù)非常簡(jiǎn)單。該團(tuán)隊(duì)無(wú)需太多配置就能夠成功地將 OpenAI 的模型應(yīng)用到他們的用例中。
第四，強(qiáng)大的嵌入模型。Healthify 使用嵌入模型來(lái)解決其關(guān)鍵問(wèn)題之一：除了文本匹配之外，如何匹配兩種食物？他們需要將 GPT-4 返回的食物名稱與自己系統(tǒng)中已有的食物名稱進(jìn)行匹配?！癎PT 是它自己的一個(gè)模型。它有自己的食物名稱詞典。Healthify 有自己的食物名稱，我們?cè)噲D弄清楚如何進(jìn)行匹配，”技術(shù)副總裁Abhijit Khasnis評(píng)論道。
“當(dāng)我們測(cè)試 OpenAI Embeddings 模型時(shí)，我們意識(shí)到 GPT 識(shí)別的食物名稱和我們的食物嵌入之間的余弦相似度匹配為我們提供了很高的準(zhǔn)確性！”
大模型時(shí)代，如何用上、用好大模型的能力，是今年以來(lái)每一位熱衷于AI變革的創(chuàng)新者都在思考的問(wèn)題。我們不妨借鑒下healthify的思路。
3.網(wǎng)友：這正是我想要的！
大模型一出，所有的應(yīng)用都值得重構(gòu)一下，這句話放到2024年，絕對(duì)不再是夸張的說(shuō)辭。
OpenAI也明顯讓GPT-4開(kāi)始具備了融入生活、工作多種場(chǎng)景下的多種意想不到、卻又驚艷到用戶的心動(dòng)功能。網(wǎng)友們紛紛表示：啊哈，GPT4 Vision果真是我想要的！
圖片
圖片
最后，不得不提：GPT-4，不是不能吃掉原來(lái)的應(yīng)用，只不過(guò)它不想吃，GPT-4需要更多的朋友來(lái)加速它的AGI飛輪！
