何愷明再次開宗立派！開辟了生成模型的全新范式——分形生成模型FractalGenerativeModels，首次使逐像素生成高分辨率圖像成為可能，論文名字依舊延續(xù)以往的大道至簡(jiǎn)風(fēng)格。團(tuán)隊(duì)將生成模型本身抽象為可復(fù)用的“原子模塊”。通過遞歸地在生成模型中調(diào)用這些原子生成模塊，可以構(gòu)建出一種自相似的分形架構(gòu)。其靈感源于數(shù)學(xué)中的分形思想。它相當(dāng)于一個(gè)粗糙或零碎的幾何形狀分成數(shù)個(gè)部分，每一部分都（至少近似地）是整體縮小后的形狀...

7B大小的視頻理解模型中的新SOTA，來了！它就是由達(dá)摩院出品的VideoLLaMA3，以圖像為中心構(gòu)建的新一代多模態(tài)視頻語言模型。在通用視頻理解、時(shí)間推理和長(zhǎng)視頻理解三個(gè)核心維度進(jìn)行評(píng)估的過程中，VideoLLaMA3均取得優(yōu)異成績(jī)，超越多數(shù)基線模型。不僅如此，適用于端側(cè)的2B大小的VideoLLaMA3，在圖像理解上的表現(xiàn)也是較為出色。在涵蓋文檔圖表場(chǎng)景文本理解、數(shù)學(xué)推理、多圖像理解和常識(shí)問答等多個(gè)維度的基準(zhǔn)測(cè)試，如在InfoVQA中超...

終于！終于！Claude4被曝將在未來幾周內(nèi)發(fā)布！高亮重點(diǎn)，最新的它采取了一個(gè)與之前模型路線不同的辦法：是個(gè)混合型大模型。簡(jiǎn)單來說，就是既帶有推理能力，會(huì)使用更多的算力來思考和解決難題；在面對(duì)簡(jiǎn)單問題的時(shí)候，又能像傳統(tǒng)大模型一樣短平快地輕巧處理，無需多費(fèi)不必要的功夫。怎么樣，聽起來是不是和昨天奧特曼透露的GPT5非常類似（doge）。都是不再把傳統(tǒng)通用模型和推理模型分開推出，直接融合在一起。據(jù)透露，Anthropic...

關(guān)乎當(dāng)紅炸子雞DeepSeek，奧特曼最新觀點(diǎn)出爐：對(duì)DeepSeek的出現(xiàn)并不意外，而且類似的情況會(huì)越來越多。這就是奧特曼在最新一期《泰晤士報(bào)》科技播客節(jié)目中所提及的內(nèi)容之一。并且在被問及是否擔(dān)心OpenAI會(huì)成為AI界的Napster（首個(gè)P2P音樂共享平臺(tái)，后因商業(yè)壓力以失敗告終）時(shí)，他表示：唯一不讓這種事發(fā)生的方法就是每天都為此擔(dān)心。我覺得這種事不會(huì)發(fā)生在我們身上的原因就是我們一直都在為此感到壓力。是有一種沒有壓力就沒...

DeepSeekR1火遍海內(nèi)外，但推理服務(wù)器頻頻宕機(jī)，專享版按GPU小時(shí)計(jì)費(fèi)的天價(jià)成本更讓中小團(tuán)隊(duì)望而卻步。而市面上所謂“本地部署”方案，多為參數(shù)量縮水90%的蒸餾版，背后原因是671B參數(shù)的MoE架構(gòu)對(duì)顯存要求極高——即便用8卡A100也難以負(fù)荷。因此，想在本地小規(guī)模硬件上跑真正的DeepSeekR1，被認(rèn)為基本不可能。但就在近期，清華大學(xué)KVCache.AI團(tuán)隊(duì)聯(lián)合趨境科技發(fā)布的KTransformers開源項(xiàng)目公布更新：支持24G顯存在本地運(yùn)行DeepSee...

“比Sora還震撼”，?AI可以實(shí)時(shí)生成游戲了！谷歌DeepMind打造出了首個(gè)完全AI驅(qū)動(dòng)的實(shí)時(shí)游戲引擎——GameNGen。在單個(gè)谷歌TPU上，它以每秒20幀模擬起了經(jīng)典射擊類游戲DOOM（毀滅戰(zhàn)士）。所有游戲畫面都是根據(jù)玩家操作，與復(fù)雜環(huán)境進(jìn)行交互，實(shí)時(shí)生成。也就是說你走進(jìn)一道門之前，門后的內(nèi)容還不存在。質(zhì)量不輸事先存儲(chǔ)的那種，能“以假亂真”，人類評(píng)估者都難以察覺。各種操作都能絲滑轉(zhuǎn)換：GameNGen的背后是大家熟悉的擴(kuò)散模型...

足足等了四年，《黑神話：悟空》，終于來了！但我們上班的“嗎嘍”玩不著，于是靈光一閃，不妨用AI的方式來解猴癮——用AI給《黑神話：悟空》生成一個(gè)宣傳片。說干就干。我們以官方的最新宣傳片做模板，小伙伴們可以先欣賞一波：《黑神話：悟空》最終預(yù)告我們的操作方式是這樣的——截取最新宣傳片中的多個(gè)關(guān)鍵幀，然后用智譜AI的清影（免費(fèi)、無限次）生成視頻片段，最終將它們拼接到一起。操作上并沒有什么難度，等待時(shí)長(zhǎng)也是...

只用不到10%的訓(xùn)練參數(shù)，就能實(shí)現(xiàn)ControlNet一樣的可控生成！而且SDXL、SD1.5等StableDiffusion家族的常見模型都能適配，還是即插即用。同時(shí)還能搭配SVD控制視頻生成，動(dòng)作細(xì)節(jié)控制得精準(zhǔn)到手指。在這些圖像和視頻的背后，就是港中文賈佳亞團(tuán)隊(duì)推出的開源圖像視頻生成引導(dǎo)工具——ControlNeXt。從這個(gè)名字當(dāng)中就能看出，研發(fā)團(tuán)隊(duì)給它的定位，就是下一代的ControlNet。像大神何愷明與謝賽寧的經(jīng)典大作ResNeXt（ResNet的一種擴(kuò)展...

一口氣生成2萬字，大模型輸出也卷起來了！清華&智譜AI最新研究，成功讓GLM4、Llama3.1輸出長(zhǎng)度都暴增。相同問題下，輸出結(jié)果直接從1800字增加到7800字，翻4倍。要知道，目前大模型的生成長(zhǎng)度普遍在2k以下。這對(duì)于內(nèi)容創(chuàng)作、問題回答等都存在影響，可能導(dǎo)致模型回答問題不全面、創(chuàng)造性降低等。該研究由智譜AI創(chuàng)始人、清華大學(xué)教授李涓子和唐杰共同領(lǐng)銜。論文及代碼都已放在GitHub上開源。有網(wǎng)友已經(jīng)搶先體驗(yàn)。LongWriterllama3.1...

哎鴨，鴨鴨摔倒了！鴨鴨是真的，摔跤是真的，但端的咖啡和端咖啡的手，是AI給p上去的?！鬟€好手里的咖啡只灑了億點(diǎn)點(diǎn)來自一個(gè)開源項(xiàng)目，VideoDoodles，這兩天在外網(wǎng)上的討論度直線上升。這項(xiàng)目妙就妙在，能給視頻加上手繪風(fēng)格的涂鴉，可可愛愛的也行，奇奇怪怪的也行。就跟人工一幀一幀畫上去的沒差。這對(duì)目前市場(chǎng)上大多數(shù)的2D視頻編輯軟件來說，還是比較難的。想要達(dá)成同等效果，一般還是得創(chuàng)作者真·一幀一幀畫上去。怪費(fèi)力氣...

馬斯克旗下xAI大模型，出二代了！Grok2測(cè)試版發(fā)布，小杯Grok2mini已經(jīng)在??平臺(tái)在線可玩。馬斯克還以謎語人的形式，揭曉了困擾大模型圈一個(gè)多月的秘密：原來Lmsys大模型競(jìng)技場(chǎng)上的神秘匿名模型suscolumnr，真身就是Grok2。suscolumnr在排行榜上積累了1萬多人類投票，已經(jīng)與GPT4o的API版并列第三。在xAI自己的內(nèi)部測(cè)試中，Grok2在常識(shí)（MMLU、MMLUPro）、數(shù)學(xué)競(jìng)賽問題(MATH)、研究生水平科學(xué)知識(shí)(GPQA)等領(lǐng)域與其他前沿模型相媲美...

繼Devin之后，又一個(gè)AI軟件工程師被刷屏了——它叫Genie，號(hào)稱目前地表最強(qiáng)，已經(jīng)可以像人一樣思考和行動(dòng)了！那么這個(gè)“地表最強(qiáng)”，到底強(qiáng)到什么程度？先來看下評(píng)測(cè)分?jǐn)?shù)。在權(quán)威榜單SWEBench中，Genie以解決了30.07%問題的成績(jī)奪得榜首。（SWEBench是一個(gè)用來評(píng)估大模型解決現(xiàn)實(shí)中軟件問題的基準(zhǔn)。）而這個(gè)成績(jī)可謂是遙遙領(lǐng)先第二名19.27%，解鎖了提升SOTA的最大增幅——57%！至于Genie的實(shí)際效果，用團(tuán)隊(duì)的話來說就是：它可以...

只需30秒，AI就能像3D建模師一樣，在各種指示下生成高質(zhì)量人造Mesh。NeRF、3DGaussianSplatting生成的三維重建圖像Mesh效果如下：點(diǎn)云造出精細(xì)Mesh：DenseMesh基礎(chǔ)上生成也可以：一張圖，甚至文本描述就足夠了：GitHub已攬星1.9k的MeshAnything項(xiàng)目上新了V2版本，由來自南洋理工大學(xué)、清華大學(xué)、帝國理工學(xué)院、西湖大學(xué)等研究人員完成。MeshAnythingV2相比V1，使用了最新提出的AdjacentMeshTokenization（AMT）算法，將最大可生...

離大譜！！不看視頻完整版誰知道里面的美少女竟是一位大叔。好嘛，原來這是用了快手可靈團(tuán)隊(duì)的可控人像視頻生成框架——LivePortrait。LivePortrait開源即爆火，短短時(shí)間已在GitHub狂攬7.5K星標(biāo)。還引來HuggingFace首席戰(zhàn)略官ThomasWolf親自體驗(yàn)：甚至目前仍在HuggingFace全部應(yīng)用里排在趨勢(shì)第一：所以，為啥LivePortrait能夠瘋狂引人關(guān)注還得從它讓人眼前一亮的表現(xiàn)說起……讓表情“移花接木”LivePortrait由快手可靈大模型團(tuán)...

文生圖、文生視頻，視覺生成賽道火熱，但仍存在亟需解決的問題。微軟亞洲研究院研究員古紓旸對(duì)此進(jìn)行了梳理，他認(rèn)為視覺信號(hào)拆分是最本質(zhì)的問題。生成模型的目標(biāo)是擬合目標(biāo)數(shù)據(jù)分布，然而，目標(biāo)數(shù)據(jù)分布過于復(fù)雜，難以直接擬合。因此，往往需要將復(fù)雜的信號(hào)做拆分，拆分成多個(gè)簡(jiǎn)單的分布擬合問題，再分別求解。信號(hào)拆分方式的不同產(chǎn)生了不同的生成模型。此外，針對(duì)一些熱點(diǎn)問題他也展開進(jìn)行了分析，一共六大問題，例如diffusion...

隨便一張立繪都能生成游戲角色，任意IP快速三維化有新招了！來自清華大學(xué)和VAST的研究人員聯(lián)合推出了CharacterGen——一種三維風(fēng)格化人物生成框架。具體而言，CharacterGen采用兩階段生成模式，可在1分鐘內(nèi)從單圖生成高質(zhì)量的標(biāo)準(zhǔn)姿態(tài)三維人體。目前相關(guān)論文已入選計(jì)算機(jī)圖形學(xué)頂會(huì)SIGGRAPH2024，且在社區(qū)引發(fā)了熱烈討論。CharacterGen開源后，已有玩家第一時(shí)間將其納入了ComfyUI3D工作流。網(wǎng)友們搓手表示：迫不及待看到構(gòu)建3D...

《思考快與慢》中人類的兩種思考方式，屬實(shí)是被Meta給玩明白了。研究人員通過把AI的“慢思考”結(jié)果蒸餾進(jìn)“快思考”，讓Llama2表現(xiàn)提升了257%，變得比GPT4還能打，同時(shí)還能降低推理成本。這里的快慢兩種思考方式，指的就是2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主丹尼爾·卡尼曼推廣的系統(tǒng)1和系統(tǒng)2——簡(jiǎn)單說，系統(tǒng)1是簡(jiǎn)單無意識(shí)的直覺，速度更快；系統(tǒng)2則是復(fù)雜有意識(shí)的推理，準(zhǔn)確性更強(qiáng)。Meta所做的“蒸餾”，就是用系統(tǒng)2生成數(shù)據(jù)，然后對(duì)用...

一段AI生成的體操視頻，引發(fā)近百萬網(wǎng)友圍觀，LeCun等一眾大佬還因?yàn)樗称饋砹?。體操表演，emmmm怎么不算呢？通過視頻右上角的水印，此段視頻正是由那個(gè)一度被認(rèn)為是“下一代”文生視頻的DreamMachine（來自LumaAI）生成的。大伙兒看后紛紛坐不住，圍繞此討論的，是AI視頻領(lǐng)域的一個(gè)熟悉的話題：AI是否理解物理規(guī)律。LeCun直接開麥：視頻生成模型不理解基本物理知識(shí)。更不用說人體了。華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授PedroDomingos看...

只需幾分鐘、一張圖或一句話，就能完成時(shí)空一致的4D內(nèi)容生成。注意看，這些生成的3D物體，是帶有動(dòng)作變化的那種。也就是在3D物體的基礎(chǔ)之上，增加了時(shí)間維度的運(yùn)動(dòng)變化。這一成果，名為Diffusion4D，來自多倫多大學(xué)、北京交通大學(xué)、德克薩斯大學(xué)奧斯汀分校和劍橋大學(xué)團(tuán)隊(duì)。具體而言，Diffusion4D整理篩選了約81K個(gè)4Dassets，利用8卡GPU共16線程，花費(fèi)超30天渲染得到了約400萬張圖片，包括靜態(tài)3D物體環(huán)拍、動(dòng)態(tài)3D物體環(huán)拍，以及...

大模型對(duì)話能更接近現(xiàn)實(shí)了！不僅可以最多輸入20張圖像，還能支持多達(dá)27輪對(duì)話。可處理文本+圖像tokens最多18k。這就是最新開源的超長(zhǎng)多圖多輪對(duì)話理解數(shù)據(jù)集MMDU（MultiTurnMultiImageDialogUnderstanding）。大型視覺語言模型（LVLMs）的核心能力之一是生成自然且有意義的回答，從而能夠與人類進(jìn)行流暢的圖文對(duì)話。盡管目前開源的LVLMs在如單輪單圖輸入等簡(jiǎn)化場(chǎng)景中展示出了不錯(cuò)的潛力，但在具有長(zhǎng)上下文長(zhǎng)度，且需要多輪對(duì)話...