嘉賓 | 宋東桓、薛彥澤

主持&編輯 | 李美涵

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

欄目介紹：“T前線(xiàn)”是51CTO內(nèi)容中心專(zhuān)為技術(shù)人物開(kāi)設(shè)的深度訪(fǎng)談欄目之一，通過(guò)邀請(qǐng)技術(shù)界內(nèi)的業(yè)務(wù)負(fù)責(zé)人、資深架構(gòu)師、資深技術(shù)專(zhuān)家等對(duì)當(dāng)下的技術(shù)熱點(diǎn)、技術(shù)實(shí)踐和技術(shù)趨勢(shì)進(jìn)行深度的解讀和洞察，推動(dòng)前沿科技的傳播與發(fā)展。

Sora技術(shù)的問(wèn)世，給國(guó)內(nèi)外科技圈投下了重磅炸彈。自春節(jié)以來(lái)，Sora的討論熱潮不斷升溫，從硅谷大佬對(duì)其能否成為世界模型的爭(zhēng)論，到OpenAI CTO在采訪(fǎng)中對(duì)訓(xùn)練數(shù)據(jù)的含糊其辭，再到眾多技術(shù)團(tuán)隊(duì)宣布要復(fù)刻并開(kāi)源Sora，都使其不斷地站在熱議的“風(fēng)口浪尖”。

深入到內(nèi)容產(chǎn)業(yè)，Sora是否如一些創(chuàng)作者和電影工作者所擔(dān)憂(yōu)的那樣，會(huì)讓內(nèi)容行業(yè)變天？或者這只是一種杞人憂(yōu)天的幻覺(jué)？

近期，51CTO有幸邀請(qǐng)到了Story storm AI內(nèi)容社區(qū)的發(fā)起人，有著豐富編劇和導(dǎo)演經(jīng)驗(yàn)的宋東桓老師。宋老師不僅對(duì)內(nèi)容行業(yè)有深厚的積累，還深入實(shí)踐了利用AI工具進(jìn)行內(nèi)容創(chuàng)作的前沿技術(shù)。在與51CTO內(nèi)容中心主編薛彥澤的對(duì)話(huà)中，宋老師詳細(xì)介紹了Sora的技術(shù)革新，并深入探討了以Sora為代表的視頻生成模型對(duì)未來(lái)內(nèi)容行業(yè)的影響。

1、“Sora指出了視頻生成的一條明路”

T前線(xiàn)：Sora真正厲害在哪里？

宋東桓：要理解Sora的厲害之處，我們首先得審視以往的視頻生成技術(shù)。早期的方法，從diffusion到各種轉(zhuǎn)繪流程，其實(shí)都是在走一條錯(cuò)誤的路。這些方法基本上是逐幀處理，本質(zhì)上還是在“畫(huà)”視頻，而非真正地“生成”視頻。

去年8月份，Runway開(kāi)始嘗試生成連續(xù)視頻，雖然取得了一些進(jìn)步，但仍然存在四秒的限制。這是因?yàn)楫?dāng)時(shí)的方法是在生成一張圖片的基礎(chǔ)上，通過(guò)重復(fù)和調(diào)整來(lái)減少閃爍感，但這種方法本質(zhì)上還是處理圖片而非視頻。

Diffusion transformer則不同，它將視頻視為時(shí)空連續(xù)的實(shí)體，嘗試預(yù)測(cè)下一幀內(nèi)容，就像語(yǔ)言模型處理文本一樣。我們現(xiàn)在比較的是生成圖像的能力、模型的調(diào)優(yōu)，以及潛在層的處理，這些都是在不斷進(jìn)步的方面。

但Sora的真正厲害之處在于，它是歷史上第一次使用視頻數(shù)據(jù)集進(jìn)行訓(xùn)練，并輸出視頻的技術(shù)。因此，它天生具備視頻的連貫性。例如，如果給Sora看過(guò)一萬(wàn)次小貓推蘋(píng)果的視頻，它就能模仿出蘋(píng)果落下的加速度和運(yùn)動(dòng)軌跡。這是因?yàn)镾ora看過(guò)的視頻數(shù)量遠(yuǎn)超我們的想象。

Sora的另一個(gè)厲害之處在于它為整個(gè)行業(yè)指了一條明路。如果沒(méi)有像OpenAI這樣的巨頭，能找到一條正確的路，很多公司還會(huì)在錯(cuò)誤的方法上耗費(fèi)一兩年甚至更久。Sora的出現(xiàn)，讓整個(gè)行業(yè)看到了一條明確的前進(jìn)道路，這是非常有意義的。

薛彥澤：關(guān)于Sora的厲害之處，我的第一印象是它能夠生成影視級(jí)的視頻效果。

具體來(lái)說(shuō)，Sora在處理背景與主題人物的一致性方面做得很好，比如在東京街頭散步的視頻，環(huán)境的細(xì)節(jié)如紅燈、雨滴的倒影都非常真實(shí)。另外，Sora在理解物理世界方面也表現(xiàn)出色，盡管我認(rèn)為機(jī)器實(shí)際上無(wú)法真正理解我們的物理世界，但Sora生成視頻能夠保持物體的連貫性，比如小貓的視頻，動(dòng)作和鏡頭的延伸都非常流暢。

但Sora最厲害的不止于視頻生成，它實(shí)際上在這個(gè)過(guò)程中試圖尋找一種理解物理世界的新路徑，OpenAI提出的這個(gè)觀(guān)點(diǎn)是前所未有的，也是它最厲害的地方。

T前線(xiàn)：如何看待Sora的翻車(chē)視頻？

宋東桓：我發(fā)現(xiàn)Sora在處理視頻中的遮擋問(wèn)題時(shí)偶爾會(huì)出現(xiàn)問(wèn)題，尤其是在畫(huà)面中有明確遮擋物的情況下。比如考古學(xué)家在沙漠中發(fā)現(xiàn)了一把塑料椅子的視頻，椅子直接懸浮了起來(lái)。但是，像兩只海盜船在咖啡杯里相遇這樣的視頻，由于船身大部分時(shí)間都在杯子上方，Sora處理得相對(duì)更好。

前段時(shí)間有人測(cè)試了電車(chē)向前延伸的視頻，結(jié)果顯示出三種不同的結(jié)果。這讓我聯(lián)想到文本生成中的合理性問(wèn)題，一旦涉及到遮擋，合理性可能會(huì)受到影響。我認(rèn)為Sora的“翻車(chē)”現(xiàn)象和文本生成中的幻覺(jué)類(lèi)似，都是低概率事件。

薛彥澤：談到Sora的翻車(chē)視頻，我認(rèn)為將其視為“夢(mèng)境生成器”是恰當(dāng)?shù)?。?mèng)境中自然會(huì)有一些荒誕的元素，對(duì)于機(jī)器來(lái)說(shuō)，這并不是問(wèn)題。就像圖像中會(huì)有噪聲，視頻中也可能出現(xiàn)不符合人類(lèi)邏輯的場(chǎng)景。關(guān)鍵在于我們?nèi)绾慰创吞幚磉@些異常。

2.“十年之內(nèi)，見(jiàn)證好萊塢們的坍塌”

T前線(xiàn)：文生視頻領(lǐng)域，sora是否真的能顛覆Tik Tok/好萊塢？

宋東桓：對(duì)于Sora是否能顛覆TikTok和好萊塢，我認(rèn)為這是兩個(gè)不同的問(wèn)題。TikTok代表的是UGC（用戶(hù)生成內(nèi)容）生態(tài)，而好萊塢則是PGC（專(zhuān)業(yè)生成內(nèi)容）的代表。Sora對(duì)這兩種生態(tài)的影響會(huì)有所不同，盡管它的接受程度可能相同，但表現(xiàn)出來(lái)的影響會(huì)有差異。

在影視創(chuàng)作方面，Sora的能力類(lèi)似于文本生成。雖然它可能還無(wú)法創(chuàng)作出長(zhǎng)篇巨制，但已經(jīng)能夠處理短篇內(nèi)容，如笑話(huà)、小詩(shī)，甚至歌詞。同樣，Sora在生成15秒以?xún)?nèi)的視頻方面可能已經(jīng)相當(dāng)成熟，但對(duì)于長(zhǎng)視頻，尤其是一分鐘以上的視頻，可能還無(wú)法完全統(tǒng)一上下文，除非通過(guò)技術(shù)手段如視頻轉(zhuǎn)視頻來(lái)輔助。

我懷疑，如果要求Sora生成長(zhǎng)視頻，它可能無(wú)法記憶上下文，并進(jìn)一步出現(xiàn)內(nèi)容上的斷裂和幻覺(jué)。這種情況下，短視頻內(nèi)容，如廣告PVC，可能會(huì)首先受到?jīng)_擊。例如，以前需要高昂成本拍攝的紅酒廣告，現(xiàn)在可能通過(guò)Sora以極低的成本實(shí)現(xiàn)，這對(duì)傳統(tǒng)影視制作是一個(gè)巨大的挑戰(zhàn)。

至于好萊塢，如果一個(gè)小型團(tuán)隊(duì)能夠利用Sora創(chuàng)作出與大制作電影相媲美的作品，那么傳統(tǒng)的高成本制片流程將面臨巨大的壓力。Sora在制作大場(chǎng)面的特效鏡頭方面非常有潛力。它放大了內(nèi)容杠桿，使得低成本制作能夠與高投資作品競(jìng)爭(zhēng)。這可能導(dǎo)致傳統(tǒng)影視公司面臨重組，甚至崩潰。

在TikTok層面，內(nèi)容的海量增長(zhǎng)需要出口，而短視頻平臺(tái)就是這個(gè)出口。短視頻平臺(tái)及配套的剪輯軟件，如抖音的剪映正在積極配備AI功能，幾乎是一種“all in AI”的狀態(tài)來(lái)構(gòu)建新的創(chuàng)作者生態(tài)，這也會(huì)相應(yīng)改變專(zhuān)業(yè)視頻制作工具的市場(chǎng)地位（例如達(dá)芬奇等剪輯工具）。

總的來(lái)說(shuō)，Sora的出現(xiàn)可能會(huì)顛覆內(nèi)容行業(yè)的創(chuàng)作流程和分發(fā)方式。

薛彥澤：我認(rèn)為Sora是否能顛覆TikTok和好萊塢，這個(gè)問(wèn)題可以從兩個(gè)角度來(lái)看。

首先，顛覆的定義是什么？如果改變制作流程算顛覆，那么Sora無(wú)疑能做到。然而，更重要的是，用戶(hù)是否會(huì)喜歡完全由AI生成的內(nèi)容？

“AI教母”李飛飛教授說(shuō)，AI生成的作品無(wú)法取代宮崎駿的動(dòng)畫(huà)，但利用AI可以創(chuàng)作出觸動(dòng)人心的內(nèi)容。我認(rèn)為Sora更像是一種工具，它擴(kuò)展了創(chuàng)作者的可能性，就像3D技術(shù)讓陳凱歌能夠?qū)崿F(xiàn)之前無(wú)法實(shí)現(xiàn)的創(chuàng)意一樣。

總的來(lái)說(shuō)，Sora在制作模式上具有顛覆性，但在藝術(shù)創(chuàng)作的核心價(jià)值和目的上，它并沒(méi)有顛覆，而是提供了更多可能性。

3.“復(fù)刻Sora，最難解決的是信心”

T前線(xiàn)：復(fù)刻Sora，可行嗎？難在哪里？

宋東桓：我們社區(qū)對(duì)Sora的復(fù)刻問(wèn)題進(jìn)行過(guò)深入的討論。起初，大家都對(duì)Sora的出現(xiàn)感到震驚，擔(dān)心未來(lái)的內(nèi)容創(chuàng)作。

但經(jīng)過(guò)魔搭社區(qū)算法工程師周文猛老師的深入分析和觀(guān)點(diǎn)的分享，我們對(duì)復(fù)刻Sora的可能性有了更多信心。

周老師詳細(xì)拆解了Sora的技術(shù)報(bào)告，同時(shí)指出Sora更多地是在工程上的創(chuàng)新。Sora報(bào)告中雖然對(duì)具體的搭建方法描述不夠詳細(xì)，但其引用的文獻(xiàn)中包含了大量有用的信息。這些引用的文獻(xiàn)詳細(xì)講解了Sora可能采用的訓(xùn)練方法和時(shí)空連續(xù)性處理等關(guān)鍵技術(shù)點(diǎn)。

巧合的是，Sora的論文很快就被官方下架了，雖然里面的內(nèi)容已經(jīng)廣泛傳播了出來(lái)。我認(rèn)為復(fù)刻Sora是個(gè)需要信心傾注的事情，比較像在漆黑的隧道里蜿蜒前行。但隨著開(kāi)源社區(qū)的參與和資源的傾斜，復(fù)刻Sora只是時(shí)間問(wèn)題。

以GPT-4為例，自發(fā)布以來(lái)，國(guó)內(nèi)對(duì)其的追趕非常明顯，如果GPT-4能在一年內(nèi)被追趕到八成，那么Sora的復(fù)刻也大有可能——OpenAI對(duì)Sora的研發(fā)投入應(yīng)該還小于GPT-4。未來(lái)一兩年，我們應(yīng)該能看到更多開(kāi)源方案的出現(xiàn)，讓Sora不再獨(dú)領(lǐng)風(fēng)騷。

薛彥澤：我其實(shí)對(duì)復(fù)刻Sora持相對(duì)悲觀(guān)的態(tài)度，但聽(tīng)了宋老師的看法后，我又有了不少信心。Sora的架構(gòu)并不新鮮，它的模型基礎(chǔ)，如Transformer和Diffusion模型，已經(jīng)是公開(kāi)的信息。

然而，復(fù)刻Sora的工程量依然很大，難點(diǎn)在于訓(xùn)練過(guò)程，比如數(shù)據(jù)預(yù)處理、模型的微調(diào)階段，以及如何切分視頻數(shù)據(jù)（patch）的尺寸等。此外，訓(xùn)練模型的成本高，周期長(zhǎng)，需要的資本也是挑戰(zhàn)之一。

算力也是一個(gè)關(guān)鍵因素。盡管?chē)?guó)內(nèi)在A(yíng)I算力儲(chǔ)備上正在追趕，但仍落后于美國(guó)。視頻處理的數(shù)據(jù)量級(jí)遠(yuǎn)超文本，對(duì)算力的需求巨大。如果算力問(wèn)題得到解決，數(shù)據(jù)門(mén)檻將是下一個(gè)挑戰(zhàn)。此外，需要專(zhuān)業(yè)的人才進(jìn)行模型的權(quán)重調(diào)整，那如何吸引頂尖人才回國(guó)工作也是我們需要面對(duì)的問(wèn)題。

總的來(lái)說(shuō)，復(fù)刻Sora的最大難題在于算力、數(shù)據(jù)和人才。

4.所有人都是創(chuàng)作者，所有人都是消費(fèi)者

T前線(xiàn)：未來(lái)會(huì)是一個(gè)AI視頻泛濫的世界嗎？

宋東桓：會(huì)。

T前線(xiàn)：那您支持一個(gè)這樣的世界嗎？

宋東桓：我認(rèn)為無(wú)論支不支持，未來(lái)AI視頻的泛濫是不可避免的，尤其考慮到AI視頻與傳統(tǒng)視頻在成本上的巨大差異。AI視頻的生成將變得極其方便，就像現(xiàn)在A(yíng)I生成的圖像一樣，我們很難區(qū)分真假，也難以阻止其泛濫。

不過(guò)，AI視頻的泛濫有可能轉(zhuǎn)變?yōu)橐粋€(gè)環(huán)保問(wèn)題。AI視頻的普及雖然能帶來(lái)巨大的商業(yè)價(jià)值，讓每個(gè)人都有能力成為內(nèi)容的創(chuàng)作者。但這種能力的背后是對(duì)能源的巨大需求。例如，GPT-4的耗電量相當(dāng)于1.5萬(wàn)個(gè)家庭的日常用電量，而Sora的耗電量可能更高。

盡管如此，限制人們生成AI視頻就像限制言論自由一樣。人們有權(quán)使用技術(shù)來(lái)表達(dá)自己的想法，因此立法限制可能會(huì)遇到重大阻力。

從道德和倫理角度來(lái)看，我對(duì)AI視頻泛濫的未來(lái)持悲觀(guān)態(tài)度，我不支持這樣的世界。但人類(lèi)的表達(dá)欲是無(wú)窮無(wú)盡的，而這種渴望可能會(huì)帶來(lái)深遠(yuǎn)的影響。

薛彥澤：我認(rèn)為未來(lái)AI視頻的泛濫是必然的，就像互聯(lián)網(wǎng)帶來(lái)了信息的泛濫一樣。

生活在A(yíng)I視頻泛濫的時(shí)代，也不一定是壞事，關(guān)鍵在于我們?nèi)绾卫眠@些工具，同時(shí)能否找到約束AI工具使用的平衡點(diǎn)。

就像奧特曼在最新采訪(fǎng)中談到伊利亞時(shí)說(shuō)，他挺佩服伊利亞的，因?yàn)樗谘芯恳豁?xiàng)技術(shù)的時(shí)候，會(huì)想到未來(lái)十年的技術(shù)發(fā)展，去考慮這項(xiàng)技術(shù)是不是符合造福人類(lèi)的使命。雖然目前AI視頻技術(shù)還沒(méi)有達(dá)到侵害人類(lèi)的地步，但我們?nèi)孕璞３志?，確保技術(shù)的發(fā)展方向與我們的價(jià)值觀(guān)相符。

5.Sora將無(wú)處不在

T前線(xiàn)：Sora可能會(huì)推動(dòng)哪些技術(shù)的更新和迭代？

宋東桓：我覺(jué)得是3D技術(shù)。

目前，我們可以通過(guò)視頻來(lái)還原3D結(jié)構(gòu)，尤其是當(dāng)視頻內(nèi)容自洽且空間關(guān)系準(zhǔn)確時(shí)。例如，如果我們有一段現(xiàn)實(shí)世界中茶杯的視頻，可以使用神經(jīng)網(wǎng)絡(luò)（nerve）技術(shù)來(lái)還原茶杯的3D空間特征。Sora能夠生成空間上合理的視頻，這為從視頻中生成高質(zhì)量的3D數(shù)據(jù)提供了可能。

目前，3D數(shù)據(jù)的存量遠(yuǎn)低于視頻、文本和圖片數(shù)據(jù)?，F(xiàn)有的3D模型數(shù)量有限，而且質(zhì)量參差不齊，這限制了3D技術(shù)的商業(yè)應(yīng)用。但隨著Sora等技術(shù)的發(fā)展，我們可能會(huì)找到一條新的路徑：通過(guò)生成視頻來(lái)創(chuàng)建3D內(nèi)容。在不考慮經(jīng)濟(jì)與否的情況下，這起碼是一種能夠不斷產(chǎn)生優(yōu)質(zhì)3D數(shù)據(jù)的新方法，從而推動(dòng)3D技術(shù)的進(jìn)步。

薛彥澤：我認(rèn)為Sora的影響將是全方位的。因?yàn)樗亩ㄎ徊粌H僅是一個(gè)視頻生成工具，而是一個(gè)能模擬物理的世界模型。

如果將其目標(biāo)提升到這個(gè)層次來(lái)看，它的影響將無(wú)處不在。如果Sora真的做到了理解世界，那么AI芯片只需要集成這個(gè)模型就可以完成很多工作。機(jī)器人只需要配備這樣的芯片和相應(yīng)的傳感器，就能被看作是有意識(shí)地理解世界、響應(yīng)世界了，這是非常大的科技飛躍。

具體到行業(yè)層面，除了剛才聊到的電影，其實(shí)還有游戲，Sora將會(huì)推動(dòng)3D渲染技術(shù)的創(chuàng)新，以及推動(dòng)RTC、編解碼技術(shù)的改進(jìn)。此外，面向GPU編程可能會(huì)發(fā)展出新的工具，以適應(yīng)生成式AI的需求。

Sora的廣泛應(yīng)用還可能顛覆底層通信技術(shù)，如果未來(lái)世界依賴(lài)于大量GPU和類(lèi)似Sora的模型，那將是一個(gè)全新的景象。

6.擁抱AI，從業(yè)者要吃“第一口饅頭”

T前線(xiàn)：在Sora開(kāi)放前，從業(yè)者需要做怎樣的準(zhǔn)備？

宋東桓：雖然Sora是一個(gè)全新的工具，但工具的掌握都是觸類(lèi)旁通的，例如對(duì)視頻編輯軟件或拍攝技巧的學(xué)習(xí)，對(duì)掌握Sora會(huì)有很大幫助。核心在于，無(wú)論是使用什么技術(shù)，審美和表達(dá)方式始終是最重要的。

對(duì)于想要成為優(yōu)秀創(chuàng)作者的人來(lái)說(shuō)，廣泛閱讀和積累審美經(jīng)驗(yàn)是基礎(chǔ)。AI可以提供輔助，但最終做出選擇的還是人。技術(shù)不是優(yōu)秀作品的出圈限制，想象力才是。

具體來(lái)說(shuō)，電影人可以在劇本創(chuàng)作時(shí)就考慮如何利用Sora來(lái)實(shí)現(xiàn)鏡頭效果。即使現(xiàn)在還不能直接使用Sora，也可以通過(guò)與有資源的公司合作，將類(lèi)似Sora的工具應(yīng)用到實(shí)際拍攝中。

T前線(xiàn)：最先擁抱AI工具的人，會(huì)吃到相應(yīng)的內(nèi)容紅利嗎？

宋東桓：當(dāng)前的信息傳播環(huán)境，已經(jīng)不再依賴(lài)于中心化的傳遞方式了。信息可以通過(guò)多種渠道迅速傳播，從外網(wǎng)到社交媒體平臺(tái)，再到微信群和朋友圈，信息的流通速度非?？臁?/span>

并不是說(shuō)你是第一個(gè)接觸AI工具的人就能吃到紅利，而是要看你如何使用這些工具。我認(rèn)為從業(yè)者應(yīng)該有學(xué)習(xí)意識(shí)，主動(dòng)去搜索最新的資訊，自己要吃一口饅頭才行。

薛彥澤：宋老師這個(gè)比喻很形象，現(xiàn)在的信息差真的是件很?chē)樔说氖虑椤?/span>

在Sora開(kāi)放前，我認(rèn)為從業(yè)者需要做的準(zhǔn)備包括心態(tài)的調(diào)整、積極學(xué)習(xí)前沿信息，以及主動(dòng)采取行動(dòng)。

從業(yè)者要有自己的想法和魄力，不要只是學(xué)習(xí)而不實(shí)踐，至少要有敢于有嘗試的勇氣。Sora是個(gè)非常前沿的工具，如果能和自己的個(gè)人價(jià)值得到很好的結(jié)合，有可能就會(huì)脫穎而出。這種科技革新是時(shí)代賦予的不可多得的機(jī)會(huì)。