文章開始，我們先來看一段球賽解說視頻：

是不是感覺聽起來不太對勁？

你的感覺沒錯，因為這段解說是用 AI 生成的，這個大喊「梅西！梅西！」的聲音居然來自 AI。

這是 X 平臺（原推特）博主 @Gonzalo Espinoza Graham 發(fā)布的一段視頻。他表示，在制作過程中，他主要用到了 GPT-4V 和 TTS 兩項技術。

GPT-4V 是 OpenAI 前段時間發(fā)布的一個多模態(tài)大模型，既能像原版的 ChatGPT 一樣通過文字聊天，也能讀懂用戶在聊天中給到的圖像。更令人興奮的是，在昨天的開發(fā)者大會上，OpenAI 宣布，他們已經(jīng)開放了視覺能力相關的 API——gpt-4-vision-preview。通過這個 API，開發(fā)者可以用 OpenAI 最新的 GPT-4 Turbo（視覺版）來開發(fā)新應用。

對于這個期待已久的 API，開發(fā)者們都躍躍欲試。因此，API 剛開放一天，就有不少開發(fā)者曬出了試用結果，這個球賽解說就是其中之一。

博主表示，為了制作這個解說視頻，他將原視頻的幀分批傳給 gpt-4-vision-preview，然后通過一些簡單的提示（prompt）要求模型生成一段旁白，最后把得到的結果用 TTS（文本轉語音技術）轉成音頻，就可以得到視頻中展示的效果。如果稍加編輯，理論上還能得到更好的結果。按照 OpenAI 目前的定價，制作這個視頻大約要花 30 美元，作者直呼「不便宜」。

相關代碼：https://github.com/ggoonnzzaallo/llm_experiments/blob/main/narrator.ipynb

除了球賽，還有開發(fā)者曬出了自己用 OpenAI 視覺 API 解說《英雄聯(lián)盟》的 demo，這個 demo 用到的是 LNG 與 T1 的一場比賽視頻，引起了全網(wǎng) 50 多萬網(wǎng)友的圍觀。

解說效果是這樣的：

不過，這類視頻具體要怎么做呢？好在，除了這些成品效果，部分開發(fā)者還曬出了自己總結的教程，以及每個步驟中涉及的具體工具。

從 X 平臺用戶 @小互曬出的內(nèi)容來開，整個實現(xiàn)過程可以分為 7 步：

• 提取視頻幀；
• 構建描述提示；
• 發(fā)送 GPT 請求；
• 制作語音解說提示；
• 生成語音解說腳本；
• 將腳本轉換為音頻；
• 將音頻與視頻結合。

具體內(nèi)容請參見以下教程：

不過，有人在評論區(qū)提出疑問：解說的這些比賽都是以前的，實時的比賽能解說嗎？

能否解說實時的比賽我們現(xiàn)在還看不出來，不過，確實有開發(fā)者曬出了用 OpenAI 視覺 API 實時解讀攝像頭內(nèi)容的 demo：

項目鏈接：https://github.com/bdekraker/WebcamGPT-Vision

做了類似實驗的開發(fā)者評價說，OpenAI 視覺 API 的識別速度很快、準確性也很高。

甚至有人直接把它當實時繪圖工具來用，把手里的草圖實時轉換為此前調(diào)用專業(yè)繪圖工具才能繪制的圖表：

不過，這個實時效果的實驗會受到 OpenAI 設置的速率限制。

可以說，OpenAI 正通過 GPT-4V 以及剛剛開放的視覺 API 讓全世界看到多模態(tài)的力量，以上效果只是冰山一角。

其實，無論是在現(xiàn)實生活中，還是在研究領域，一個能讀懂圖像、視頻的 AI 都有廣泛的用途。

在生活中，它能用于構建更加智能的機器人，讓機器人實時分析眼前的情景，隨機應變，這也是當前大火的具身智能所研究的問題。

國內(nèi)創(chuàng)業(yè)公司開發(fā)的具身智能機器人（參見《獨家 | 達摩院后的下一站：陳俊波推出具身智能大模型，要給所有機器人做一顆腦袋》）

此外，它還能用于改善視障群體的生活質量，幫助他們解讀視頻畫面和生活場景。其實，在字節(jié)跳動去年舉辦的一個幫助視障群體的公益比賽中，我們就能看到不少類似的創(chuàng)意，只是當時多模態(tài)技術還不夠成熟（參見《穿顏色成對的襪子，追最新的?。哼@群 coder 正幫視障者移走身上的大山》）。

在微軟最近的一篇論文中，研究者也展示了他們在這方面取得的進展，比如用 GPT-4V 解讀《憨豆先生》劇情。

這種優(yōu)秀的視頻解讀能力能夠幫助研究人員更好地理解視頻，從而把廣泛存在的視頻轉化為新的訓練數(shù)據(jù)，訓練出更聰明的 AI，形成一個閉環(huán)。

看來，一個更智能的世界正在加速到來。