RTX 4090可跑、完全開源,最快視頻生成模型問世,實(shí)測(cè)一言難盡
這個(gè)周末,押注開源人工智能視頻的初創(chuàng)公司 Lightricks,有了重大動(dòng)作。
該公司推出了最快的視頻生成模型 LTX-Video,它是首個(gè)可以實(shí)時(shí)生成高質(zhì)量視頻的 DiT 視頻生成模型。
在一塊 Nvidia H100 上,LTX-Video 只需要 4 秒就能生成 5 秒時(shí)長的 24FPS 視頻,分辨率 768x512,可以說視頻生成速度比視頻觀看速度還要快。同時(shí) LTX-Video 完全開源,包括代碼庫和模型權(quán)重。
LTX-Video共同作者和負(fù)責(zé)人。
「有史以來最快的文生視頻模型誕生了。」
首先來看幾個(gè)視頻生成官方 Demo。
目前,用戶可以在 GitHub Hugging Face 上體驗(yàn)預(yù)覽版 LTX Video。完整版發(fā)布之后將免費(fèi)供個(gè)人和商業(yè)使用,并即將集成到 LTX Studio 中。
項(xiàng)目地址:https://github.com/Lightricks/LTX-Video
我們嘗試生成了兩個(gè)視頻,比如「a dog chasing a boy who is skateboarding」。
再比如「a girl with an umbrella standing on a bridge, and a handsome man walking towards her」。
試用地址:https://huggingface.co/spaces/akhaliq/anychat
接著來了解一下 LTX-Video 的細(xì)節(jié)。
LTX Video 是一個(gè)文本到視頻和圖像到視頻模型,能夠以驚人的速度和精度實(shí)時(shí)創(chuàng)建動(dòng)態(tài)視頻。該模型可以在 RTX 4090 等消費(fèi)級(jí) GPU 上本地運(yùn)行,無需專用設(shè)備即可以低成本地生成高質(zhì)量視頻。
另外,LTX Video 基于開發(fā)人員的反饋和真實(shí)世界用例構(gòu)建,可以提供自然逼真的結(jié)果。該模型做了高級(jí)定制化設(shè)計(jì),可以流暢地集成各種外部工具,從而輕松地增強(qiáng)工作流。
在生成過程中,LTX Video 最大程度減少了閃爍和偽影,創(chuàng)建出具有出色細(xì)節(jié)和清晰度的高保真視頻。每一幀都在精心制作下呈現(xiàn)清晰銳利、栩栩如生,符合用戶的視覺效果。
最后,LTX Video 實(shí)現(xiàn)了無縫的跨幀一致性,從角色到環(huán)境,可以保持連貫的視覺效果,將每個(gè)細(xì)節(jié)整合在一起。
未來,LTX-Video 還會(huì)有技術(shù)報(bào)告放出。