OpenAI 的 Sora 在今年 2 月橫空出世，把文生視頻帶向了新階段。它能夠根據(jù)文字提示生成超現(xiàn)實(shí)場(chǎng)景。Sora 的可適用人群受限，但是在各媒體平臺(tái)上，Sora 的身影無(wú)處不在，大家都在期待著使用它。

在前幾天的訪談中，三位作者透露出 Sora 的更多細(xì)節(jié)，包括它處理手部時(shí)仍然存在困難，但正在優(yōu)化。他們也對(duì) Sora 更多的優(yōu)化方向進(jìn)行了闡述，要讓用戶能夠?qū)σ曨l畫面有更加精準(zhǔn)的控制。不過(guò)，短期內(nèi)，Sora 并不會(huì)對(duì)公眾公開(kāi)。畢竟 Sora 能夠生成與現(xiàn)實(shí)十分接近的視頻，這會(huì)引發(fā)很多問(wèn)題。而正因如此，它還需要更多的改進(jìn)，人們也需要更多時(shí)間來(lái)適應(yīng)。

不過(guò)不用氣餒，這個(gè)短期可能不會(huì)太久。OpenAI 首席技術(shù)官 Mira Murati 接受了華爾街日?qǐng)?bào)科技專欄作家 Joanna Stern 的采訪。她在談到 Sora 何時(shí)推出時(shí)，透露道 Sora 將于今年推出，大家可能要等幾個(gè)月，一切都取決于紅隊(duì)的進(jìn)展情況。

OpenAI 還計(jì)劃在 Sora 中加入音頻生成的功能，讓視頻生成效果更加逼真。接下來(lái)，他們也會(huì)繼續(xù)優(yōu)化 Sora，包括幀與幀之間連貫性、產(chǎn)品的易用性以及成本。OpenAI 也希望添加用戶編輯 Sora 生成視頻的功能。畢竟 AI 工具的成果并不是百分百準(zhǔn)確。如果用戶能夠在 Sora 的基礎(chǔ)上進(jìn)行再創(chuàng)作，想必會(huì)有更好的視頻效果和更準(zhǔn)確的內(nèi)容表達(dá)。

當(dāng)然，技術(shù)解讀上的深入淺出只是采訪的一部分，另一部分始終圍繞著安全、擔(dān)憂這樣的大眾話題。比如，一段 20 秒的 720p 視頻，不需要幾個(gè)小時(shí)的生成時(shí)間，只要幾分鐘，Sora 在安全方面又將采取怎樣的舉措？

采訪中，主持人還刻意將話題引到 Sora 訓(xùn)練數(shù)據(jù)上，Mira Murati 表示，Sora 接受過(guò)公開(kāi)可用和許可數(shù)據(jù)的訓(xùn)練。當(dāng)記者追問(wèn)是否用到了 YouTube 上的視頻時(shí)，Mira Murati 表示自己不是很確定。記者又追問(wèn)是否用到了 Facebook 或者 Instagram 上的視頻？Mira Murati 回答道如果它們是公開(kāi)可用的，可能會(huì)成為數(shù)據(jù)地一部分，但我不確定，我不敢打包票。

此外她還承認(rèn) Shutterstock（是一家美國(guó)圖片庫(kù)、圖片素材、圖片音樂(lè)和編輯工具供應(yīng)商） 是訓(xùn)練數(shù)據(jù)的來(lái)源之一，也強(qiáng)調(diào)了他們的合作關(guān)系。

不過(guò)看似一場(chǎng)普通的采訪，但也引來(lái)了眾多爭(zhēng)議，很多人指責(zé) Mira Murati 不夠坦誠(chéng)：

還有人從微表情推測(cè) Murati 在說(shuō)謊，表示道「記住不要讓自己看起來(lái)像是在說(shuō)謊?！?/span>

「我只是好奇，作為 OpenAI 的 CTO 居然不知道使用了什么樣的訓(xùn)練數(shù)據(jù)。這不是在明目張膽的撒謊嗎？」

「作為這樣一家公司的首席技術(shù)官，她怎么能不準(zhǔn)備好回答這么基本的問(wèn)題呢？讓人摸不著頭腦...」

還有人認(rèn)為 Murati 并沒(méi)有說(shuō)謊，也許 Facebook（FB）真的允許 OpenAI 使用部分?jǐn)?shù)據(jù)。

但這種說(shuō)法立馬遭到反駁「Facebook 是瘋了嗎？這些數(shù)據(jù)對(duì) Facebook 來(lái)說(shuō)絕對(duì)是無(wú)價(jià)的。為什么他們要把數(shù)據(jù)賣給或授權(quán)給他們最大的競(jìng)爭(zhēng)對(duì)手，這實(shí)際上是他們?cè)?GenAI 競(jìng)賽中唯一的競(jìng)爭(zhēng)優(yōu)勢(shì)。」

顯然，很多人都認(rèn)為 Murati 沒(méi)有說(shuō)實(shí)話：「作為 OpenAI 的首席技術(shù)官，當(dāng)被問(wèn)及 Sora 是否接受過(guò) YouTube 視頻的訓(xùn)練時(shí)，她卻表示自己不確定，并拒絕討論有關(guān)訓(xùn)練數(shù)據(jù)的進(jìn)一步問(wèn)題。要么是她對(duì)自己的產(chǎn)品相當(dāng)無(wú)知，要么是在說(shuō)謊 —— 無(wú)論哪種方式都非?？蓯??！?/span>

這就不得不將話題引入到另一個(gè)層面：版權(quán)問(wèn)題。一直以來(lái)，OpenAI 深受數(shù)據(jù)版權(quán)的困擾，前段時(shí)間，《紐約時(shí)報(bào)》一紙?jiān)V狀將 OpenAI 告到法庭，起訴書中《紐約時(shí)報(bào)》列出了 GPT-4 輸出「抄襲」《紐約時(shí)報(bào)》的「證據(jù)」，GPT-4 的許多回答與《紐約時(shí)報(bào)》的報(bào)道段落幾乎完全一致。

數(shù)據(jù)監(jiān)管問(wèn)題該如何解決？斯坦福教授曼寧表示「目前最簡(jiǎn)單但最有用和最合適的 AI 監(jiān)管之一是要求模型提供者記錄他們使用的訓(xùn)練數(shù)據(jù)。歐洲議會(huì)剛剛通過(guò)并批準(zhǔn)的《人工智能法案》也強(qiáng)調(diào)了這一點(diǎn)?！?/span>

圖源：https://twitter.com/chrmanning/status/1768311283445796946

OpenAI 到底使用了什么數(shù)據(jù)來(lái)訓(xùn)練 Sora，現(xiàn)在看來(lái)，這座巨大的冰山已經(jīng)露出了一角。這次采訪除了大家關(guān)心的數(shù)據(jù)問(wèn)題，還有更多信息值得大家一看。

以下是這次采訪的主要內(nèi)容，我們做了不變更原意的編輯：

記者：我被人工智能生成的視頻震撼了，但我也擔(dān)心它們的影響。所以我請(qǐng) OpenAI 來(lái)做一期新的視頻，并和 Murati 坐下來(lái)解答一些困惑。Sora 是如何工作的？

Mira Murati：它從根本上說(shuō)是一種擴(kuò)散模型，這是一種生成模型。它從隨機(jī)噪聲開(kāi)始創(chuàng)建一個(gè)圖像。如果是電影制作，人們必須確保上一幀延續(xù)到下一幀，物體之間保持一致性。這就給你一種現(xiàn)實(shí)感和存在感。如果你在幀之間打破它，你就會(huì)斷開(kāi)，現(xiàn)實(shí)就不存在了。這就是 Sora 做得很好的地方。

記者：假如我現(xiàn)在給出 prompt：「紐約市人行道上的一名女性視頻制作人手里拿著一臺(tái)電影攝像機(jī)。突然，一個(gè)機(jī)器人從她手中偷走了照相機(jī)?！?/span>

Mira Murati：你可以看到它并沒(méi)有非常忠實(shí)地遵循提示。機(jī)器人并沒(méi)有把相機(jī)從她手中拽出來(lái)，反而這個(gè)人變成了機(jī)器人。這還有很多不完美的地方。

記者：我還注意到了一件事，即當(dāng)汽車經(jīng)過(guò)時(shí)，它們會(huì)改變顏色。

Mira Murati：是的，所以雖然這個(gè)模型很擅長(zhǎng)連續(xù)性，但它并不完美。所以你會(huì)看到黃色的出租車從框架中消失了一會(huì)兒，然后它以不同的形式回來(lái)了。

記者：那我們可以在生成后下達(dá)「讓出租車保持一致，讓它回來(lái)」這樣的指令嗎？

Mira Murati：現(xiàn)在是沒(méi)有辦法的，但是我們正在為此而努力：怎么把它變成人們可以編輯的、用來(lái)創(chuàng)造的一個(gè)工具。

記者：你覺(jué)得下面這段視頻的 prompt 是什么？

Mira Murati：一頭公牛在瓷器商鋪中嗎？可以看到它在不停地踩，但是沒(méi)有任何東西破碎。其實(shí)這應(yīng)該是可以預(yù)測(cè)的，我們未來(lái)會(huì)提升穩(wěn)定性和可控性，讓它更準(zhǔn)確地反映出你的意圖。

記者：然后還有一個(gè)視頻，左邊的女人在一個(gè)鏡頭中看起來(lái)大概有 15 個(gè)手指。

Mira Murati：手實(shí)際上有他們自己的運(yùn)動(dòng)方式。而且很難模擬手的運(yùn)動(dòng)。

記者：視頻中的人物嘴巴有動(dòng)作，但是沒(méi)有聲音。Sora 有在這一方面做功課嗎？

Mira Murati：目前確實(shí)是沒(méi)有聲音的，但未來(lái)一定會(huì)有的。

記者：你們用了哪些數(shù)據(jù)來(lái)訓(xùn)練 Sora？

Mira Murati：我們使用了公開(kāi)可獲得的數(shù)據(jù)和許可數(shù)據(jù)。

記者：比如 YouTube 上的視頻？

Mira Murati：這我不是很確定。

記者：那 Facebook 或者 Instagram 上的視頻？

Mira Murati：如果它們是公開(kāi)可用的，可能會(huì)成為數(shù)據(jù)地一部分，但我不確定，我不敢打包票。

記者：那 Shutterstock 呢？我知道你們和他們有協(xié)議。

Mira Murati：我只是不想詳細(xì)說(shuō)明所使用的數(shù)據(jù)，但它是公開(kāi)可獲得的或獲得許可的數(shù)據(jù)。

記者：生成一段 20 秒的 720p 視頻需要多長(zhǎng)時(shí)間？

Mira Murati：根據(jù) prompt 的復(fù)雜性，可能需要幾分鐘。我們的目標(biāo)是真正專注于開(kāi)發(fā)最好的能力?，F(xiàn)在我們將開(kāi)始研究?jī)?yōu)化技術(shù)，以便人們可以低成本使用它，使它易于使用。

記者：創(chuàng)造這些作品，肯定需要消耗大量的算力。與 ChatGPT 響應(yīng)或動(dòng)態(tài)圖像相比，生成這樣的東西需要多少算力？

Mira Murati：ChatGPT 和 DALL?E 是為公眾使用它們而優(yōu)化的，而 Sora 實(shí)際上是一個(gè)研究輸出，要貴得多。我們當(dāng)時(shí)不知道最終向公眾提供它時(shí)到底會(huì)是什么樣子，但我們正試圖最終用與 DALL?E 相似的成本提供它。

記者：最終是什么時(shí)候呢？我真的很期待。

Mira Murati：肯定是今年，但可能是幾個(gè)月后了。

記者：你覺(jué)得是在 11 月選舉前還是后呢？

Mira Murati：這是了一個(gè)需要慎重考慮處理錯(cuò)誤信息和有害偏見(jiàn)的問(wèn)題。我們也不會(huì)公布任何可能會(huì)影響選舉或其他問(wèn)題，我們沒(méi)有把握的東西。

記者：有什么東西是不能生成的。

Mira Murati：我們還沒(méi)有做出這些決定，但我認(rèn)為我們的平臺(tái)將會(huì)保持一致。所以應(yīng)該類似于 DALL?E，你可以生成公眾人物的圖像。他們會(huì)有類似的 Sora 政策。現(xiàn)在我們正處于探索模式，我們還沒(méi)有弄清楚所有的限制在哪里，以及我們將如何圍繞它們。

記者：那裸體呢？

Mira Murati：你知道的，有一些創(chuàng)造性的設(shè)置，藝術(shù)家可能想要有更多的控制?，F(xiàn)在，我們正在與來(lái)自不同領(lǐng)域的藝術(shù)家和創(chuàng)作者合作，以弄清楚該工具應(yīng)該提供什么樣的靈活性。

記者：你如何確保測(cè)試這些產(chǎn)品的人不會(huì)被非法或有害的內(nèi)容吞噬？

Mira Murati：這當(dāng)然很困難。在早期階段，這是 Red Teaming（紅隊(duì)測(cè)試）的一部分，你必須考慮到它，并確保人們?cè)敢獠⒛軌蜃龅竭@一點(diǎn)。當(dāng)我們與承包商合作時(shí)，我們會(huì)更深入地了解這一過(guò)程，但這無(wú)疑是困難的。

記者：我們現(xiàn)在正在嘲笑這些視頻（生成效果不好的視頻），但是當(dāng)這類技術(shù)影響到工作時(shí)，視頻行業(yè)的人們可能在幾年后就不會(huì)笑了。

Mira Murati：我認(rèn)為這是一種擴(kuò)展創(chuàng)造力的工具，我們希望電影行業(yè)的人們，無(wú)論在哪里的創(chuàng)作者，都能參與其中，告知我們?nèi)绾芜M(jìn)一步開(kāi)發(fā)和部署它。此外，當(dāng)人們貢獻(xiàn)數(shù)據(jù)等時(shí)，使用這些模型的經(jīng)濟(jì)學(xué)是什么。

記者：從所有這些技術(shù)中可以清楚地看出，技術(shù)將很快變得更快、更好，而且廣泛可用。到時(shí)，怎么將真實(shí)視頻和 AI 視頻區(qū)分開(kāi)？

Mira Murati：我們也在研究這些問(wèn)題，包括給視頻加水印。不過(guò)我們需要先搞清楚內(nèi)容來(lái)源，人們?nèi)绾螀^(qū)分真實(shí)內(nèi)容、現(xiàn)實(shí)中發(fā)生的事情和虛假內(nèi)容，這也是我們還沒(méi)有部署這些系統(tǒng)的原因，大規(guī)模部署之前要先解決這些問(wèn)題。

記者：有你這些話就能安心點(diǎn)了。不過(guò)，人們還是非常擔(dān)心硅谷籌集資金創(chuàng)造 AI 工具，還有他們對(duì)金錢和權(quán)利的野心會(huì)危及人類的安全。

Mira Murati：平衡利潤(rùn)和安全并不是真正的難題，真正困難的部分是搞清楚安全與社會(huì)問(wèn)題，這是我堅(jiān)持下去的真正原因。

記者：這個(gè)產(chǎn)品確實(shí)讓人驚艷，但也引發(fā)不少擔(dān)憂，我們也討論過(guò)了，真值得嗎？

Mira Murati：絕對(duì)值得。AI 工具將擴(kuò)展我們的知識(shí)和創(chuàng)造力、集體想象力、做任何事情的能力。在這個(gè)過(guò)程中，找到將 AI 融入日常生活的正確道路，也是極其困難的，但我認(rèn)為這絕對(duì)值得一試。

AI 時(shí)代，第一是人才，第二是數(shù)據(jù)，第三是算力。OpenAI 在儲(chǔ)備了眾多人才的同時(shí)，該如何解決數(shù)據(jù)問(wèn)題，還需要時(shí)間給出答案。