DeepSeek的開源周已經(jīng)進(jìn)行到了第四天（前三天報(bào)道見文末「相關(guān)閱讀」）。今天這家公司一口氣發(fā)布了兩個(gè)工具和一個(gè)數(shù)據(jù)集：DualPipe、EPLB以及來自訓(xùn)練和推理框架的分析數(shù)據(jù)。DeepSeek表示，DualPipe曾在V3R1的訓(xùn)練中使用，是一種用于計(jì)算通信重疊的雙向pipeline并行算法。EPLB是為V3R1打造的專家并行負(fù)載均衡器。而公布訓(xùn)練和推理框架的分析數(shù)據(jù)是為了幫助社區(qū)更好地理解通信計(jì)算重疊策略和底層實(shí)現(xiàn)細(xì)節(jié)。DualPipe鏈接：https:g...

用AI提高AI的效率，它們就能變得像人類大腦一樣高效？我們的大腦只用了20瓦的能量就能完成復(fù)雜思考，而現(xiàn)代AI系統(tǒng)卻需要成排的高功率GPU和驚人的電力消耗。這種差距如何縮小？日本AI初創(chuàng)公司SakanaAI團(tuán)隊(duì)提出了一個(gè)大膽的愿景：利用AI本身來優(yōu)化AI。他們開發(fā)的「AICUDA工程師」是這一理念的具體實(shí)踐?！窤ICUDA工程師」是第一個(gè)用于全自動(dòng)CUDA內(nèi)核發(fā)現(xiàn)和優(yōu)化的綜合智能體框架。這種方法不僅開創(chuàng)性地將進(jìn)化計(jì)算與大型語言模型相結(jié)...

眾所周知，知識(shí)蒸餾技術(shù)當(dāng)前正被大模型領(lǐng)域廣泛使用，它可以在大幅壓縮模型體量的同時(shí)保持一定的性能、降低模型時(shí)延、提升模型精度，與此同時(shí)還能對知識(shí)域進(jìn)行集成和遷移。近日，蘋果研究人員提出了一種蒸餾擴(kuò)展定律（DistillationScalingLaws），基于計(jì)算預(yù)算及其在學(xué)生和教師之間的分配，我們現(xiàn)在開始可以估算蒸餾模型的性能了。圖1.蒸餾擴(kuò)展定律的外推。蒸餾擴(kuò)展定律適用于一系列損失為LT的教師的弱學(xué)生模型（LS>2.3）。實(shí)線...

我們都知道，普通大模型的數(shù)學(xué)能力并不好，甚至可能會(huì)搞不清楚9.8和9.11哪個(gè)大。但隨著o1、o3以及DeepSeekR1等推理模型的到來，情況正在發(fā)生變化。比如DeepSeekR1在競賽數(shù)學(xué)基準(zhǔn)AIME2024上達(dá)到了79.8%的準(zhǔn)確度，成就了自己頭號(hào)開源推理模型的地位。而根據(jù)OpenAI發(fā)布的數(shù)據(jù)，o3mini(high)在AIME2024上的準(zhǔn)確度更是達(dá)到了87.3%，預(yù)計(jì)o3滿血版的成績還會(huì)更好。但即便如此，這些強(qiáng)大的推理模型卻依然常常在一類看起來相當(dāng)簡單的數(shù)學(xué)...

DeepSeek引爆AI社區(qū)后，人們都在嘗試本地部署和各領(lǐng)域應(yīng)用，在新模型基礎(chǔ)上持續(xù)改進(jìn)的方向也被不斷提出。與此同時(shí)，英偉達(dá)卻在嘗試用DeepSeek給大模型pipeline本身搞自動(dòng)化。本周三，英偉達(dá)在博客中介紹了利用DeepSeekR1和推理時(shí)擴(kuò)展技術(shù)來自動(dòng)生成優(yōu)化GPU內(nèi)核的最新研究成果，效果異常的好。對此有人評價(jià)道：難不成英偉達(dá)在自拆護(hù)城河？也有人已經(jīng)開始擔(dān)心自己的工作會(huì)不會(huì)被AI代替了。隨著AI大模型規(guī)模不斷擴(kuò)展，能力持續(xù)進(jìn)步...

一、引言推理大語言模型（LLM），如OpenAI的o1系列、Google的Gemini、DeepSeek和QwenQwQ等，通過模擬人類推理過程，在多個(gè)專業(yè)領(lǐng)域已超越人類專家，并通過延長推理時(shí)間提高準(zhǔn)確性。推理模型的核心技術(shù)包括強(qiáng)化學(xué)習(xí)（ReinforcementLearning）和推理規(guī)模（Inferencescaling）。主流的大模型強(qiáng)化學(xué)習(xí)算法，如DPO、PPO、GRPO等，通常需要在完整的思維鏈上進(jìn)行微調(diào)，需要高質(zhì)量數(shù)據(jù)、精確的獎(jiǎng)勵(lì)函數(shù)、快速反饋和在線迭代、以及大量的...

本論文第一作者倪贊林是清華大學(xué)自動(dòng)化系2022級直博生，師從黃高副教授，主要研究方向?yàn)楦咝疃葘W(xué)習(xí)與圖像生成。他曾在ICCV、CVPR、ECCV、ICLR等國際會(huì)議上發(fā)表多篇學(xué)術(shù)論文。近年來，AIGC領(lǐng)域發(fā)展十分迅猛。在計(jì)算機(jī)視覺中，擴(kuò)散模型已經(jīng)成為一種有效且常用的模型。相反，在自然語言處理領(lǐng)域，內(nèi)容的生成通常通過使用Transformer去生成離散的token。受到這種差異的啟發(fā)，越來越多的研究（以VQGAN作為典型代表）開始探索這種基...

最近，又一款國產(chǎn)AI神器吸引了眾網(wǎng)友和圈內(nèi)研究人員的關(guān)注！它就是全新的圖像和視頻生成控制工具——ControlNeXt，由思謀科技創(chuàng)始人、港科大講座教授賈佳亞團(tuán)隊(duì)開發(fā)。X平臺(tái)上知名AI博主「AK」推薦從命名來看，ControlNeXt「致敬」了斯坦福大學(xué)研究團(tuán)隊(duì)在2023年2月提出的ControlNet，通過引入一些額外的控制信號(hào)，讓預(yù)訓(xùn)練的圖像擴(kuò)散模型（如StableDiffusion）根據(jù)預(yù)設(shè)的條件調(diào)整和優(yōu)化，實(shí)現(xiàn)線稿生成全彩圖，還能做語義分割、邊...

自今年起，OpenAI的Sora和其他基于DiT的視頻生成模型在AI領(lǐng)域掀起了又一波浪潮。但由于起步較晚，視頻生成領(lǐng)域的很多基礎(chǔ)設(shè)施都還有待完善。今年2月份，新加坡國立大學(xué)尤洋團(tuán)隊(duì)開源的一個(gè)名為???OpenDiT??的項(xiàng)目為訓(xùn)練和部署DiT模型打開了新思路。這是一個(gè)易于使用、快速且內(nèi)存高效的系統(tǒng)，專門用于提高DiT應(yīng)用程序的訓(xùn)練和推理效率，包括文本到視頻生成和文本到圖像生成。項(xiàng)目上線后非常受歡迎，尤洋團(tuán)隊(duì)也一直在繼續(xù)這方...

論文一作蘭宇時(shí)為南洋理工大學(xué)（NTU）博士生，導(dǎo)師為ChenChangeLoy。本科畢業(yè)于北京郵電大學(xué)，目前主要研究興趣為基于神經(jīng)渲染的3D生成模型、3D重建與編輯。在ECCV2024中，來自南洋理工大學(xué)SLab、上海AILab以及北京大學(xué)的研究者提出了一種原生3DLDM生成框架。具體來講，他們針對現(xiàn)有原生3D生成模型可拓展性差、訓(xùn)練效率低、泛化性較差等問題，提出一種基于3DVAE和3DDiT的兩階段通用3D生成框架LatentNeural?elds3DDiffusion(LN3...

Sora一出，視頻領(lǐng)域似乎已經(jīng)進(jìn)入了生成式AI時(shí)代。不過直到今天，我們?nèi)匀粵]有用上OpenAI的官方視頻生成工具，等不及的人們已經(jīng)開始尋找其他的方法。最近幾周，一款開源的視頻編輯工具Clapper引發(fā)了人們的關(guān)注。與很多科技公司提供的視頻生成器不同，Clapper是一款開源AI故事可視化工具，于一年前推出原型。它的設(shè)計(jì)目的并非取代傳統(tǒng)視頻編輯器，或使用3D場景作為輸入的現(xiàn)代AI編輯器。Clapper的理念是集合各類生成式AI技術(shù)，讓任...

文章的第一作者是上海交通大學(xué)博士研究生趙峻圖（主頁：https:juntuzhao.run），他的研究方向包括計(jì)算機(jī)視覺和人工智能賦能的生命科學(xué)。此外，他還擔(dān)任上海交通大學(xué)校田徑隊(duì)隊(duì)長。文章的通訊作者為上海交通大學(xué)長聘教軌助理教授、博士生導(dǎo)師王德泉（主頁：https:dequan.wang）。設(shè)想一下，如果讓你畫一幅“茶杯中的冰可樂”的圖片，盡管茶杯與冰可樂的組合可能并不恰當(dāng)，你仍然會(huì)很自然地先畫出一個(gè)茶杯，然后畫上冰塊與可樂。...

目前，擴(kuò)散模型能夠生成多樣化且高質(zhì)量的圖像或視頻。此前，視頻擴(kuò)散模型采用UNet架構(gòu)，主要側(cè)重于合成有限時(shí)長（通常約為兩秒）的視頻，并且分辨率和縱橫比受到固定限制。Sora的出現(xiàn)打破了這一限制，其采用DiffusionTransformer（DiT）架構(gòu)，不僅擅長制作10到60秒的高質(zhì)量視頻，而且還因其生成不同分辨率、各種縱橫比、且遵守實(shí)際物理定律的能力而脫穎而出?？梢哉fSora是DiT架構(gòu)最有利的證明，然而，基于Transformer的擴(kuò)散模型...

作者介紹：宋亦仁：新加坡國立大學(xué)ShowLab博士研究生，主要研究方向包括圖像和視頻生成，AI安全性。黃施捷：新加坡國立大學(xué)碩士二年級學(xué)生，目前在TiamatAI任算法工程師實(shí)習(xí)生，主要研究方向是視覺生成。目前在尋找2025fall博士入學(xué)機(jī)會(huì)。最近，lvmin帶來了最新模型PaintsUNDO。這款A(yù)I生成工具可以根據(jù)圖片還原整個(gè)繪畫過程，整個(gè)AIGC社區(qū)都為之震撼。PaintsUNDO的演示demo。早在1個(gè)月前，NUS，SJTU，Tiamat等機(jī)構(gòu)聯(lián)合已經(jīng)發(fā)布...

剛剛，大家期待已久的Llama3.1官方正式發(fā)布了！Meta官方發(fā)出了「開源引領(lǐng)新時(shí)代」的聲音。在官方博客中，Meta表示：「直到今天，開源大語言模型在功能和性能方面大多落后于封閉模型?，F(xiàn)在，我們正在迎來一個(gè)開源引領(lǐng)的新時(shí)代。我們公開發(fā)布MetaLlama3.1405B，我們認(rèn)為這是世界上最大、功能最強(qiáng)大的開源基礎(chǔ)模型。迄今為止，所有Llama版本的總下載量已超過3億次，我們才剛剛開始?！筂eta創(chuàng)始人、CEO扎克伯格也親自寫了篇長文《Op...

本工作由中科大認(rèn)知智能全國重點(diǎn)實(shí)驗(yàn)室IEEEFellow陳恩紅團(tuán)隊(duì)與華為諾亞方舟實(shí)驗(yàn)室完成。陳恩紅教授團(tuán)隊(duì)深耕數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)領(lǐng)域，在頂級期刊與會(huì)議上發(fā)表多篇論文，谷歌學(xué)術(shù)論文引用超兩萬次。諾亞方舟實(shí)驗(yàn)室是華為公司從事人工智能基礎(chǔ)研究的實(shí)驗(yàn)室，秉持理論研究與應(yīng)用創(chuàng)新并重的理念，致力于推動(dòng)人工智能領(lǐng)域的技術(shù)創(chuàng)新和發(fā)展。數(shù)據(jù)是大語言模型（LLMs）成功的基石，但并非所有數(shù)據(jù)都有益于模型學(xué)習(xí)。直覺上，高質(zhì)量的樣...

近日，MITCSAIL的一個(gè)研究團(tuán)隊(duì)（一作為MIT在讀博士陳博遠(yuǎn)）成功地將全序列擴(kuò)散模型與下一token模型的強(qiáng)大能力統(tǒng)合到了一起，提出了一種訓(xùn)練和采樣范式：DiffusionForcing（DF）。論文標(biāo)題：DiffusionForcing:NexttokenPredictionMeetsFullSequenceDiffusion論文地址：https:arxiv.orgpdf2407.01392項(xiàng)目網(wǎng)站：https:boyuan.spacediffusionforcing代碼地址：https:github.combuoyancy99diffusionforcing?如下所示，擴(kuò)散強(qiáng)制在一...

本文作者蔣楠是北京大學(xué)智能學(xué)院二年級博士生，指導(dǎo)教師朱毅鑫教授，與北京通用人工智能研究院黃思遠(yuǎn)博士聯(lián)合開展研究工作。他的研究重點(diǎn)是人物交互理解和數(shù)字人的動(dòng)作生成，并于ICCV，CVPR和ECCV等頂會(huì)發(fā)表多篇論文。近年來，人物動(dòng)作生成的研究取得了顯著的進(jìn)展，在眾多領(lǐng)域，如計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、機(jī)器人技術(shù)以及人機(jī)交互等方面獲得廣泛的關(guān)注。然而，現(xiàn)有工作大多只關(guān)注動(dòng)作本身，以場景和動(dòng)作類別同時(shí)作為約束條件...

ControlNet作者LvminZhang又開始整活了！這次瞄準(zhǔn)繪畫領(lǐng)域。新項(xiàng)目PaintsUndo剛上線不久，就收獲1.4kstar（還在瘋狂漲）。項(xiàng)目地址：https:github.comlllyasvielPaintsUNDO通過該項(xiàng)目，用戶輸入一張靜態(tài)圖像，PaintsUndo就能自動(dòng)幫你生成整個(gè)繪畫的全過程視頻，從線稿到成品都有跡可循。繪制過程，線條變化多端甚是神奇，最終視頻結(jié)果和原圖像非常相似：我們再來看一個(gè)完整的繪畫過程。PaintsUndo先是用簡單的線條勾勒出人物主...

本文共同第一作者簡介：張逸驊：密歇根州立大學(xué)計(jì)算機(jī)系博士三年級學(xué)生，師從SijiaLiu教授，主要研究方向是大模型的安全、隱私和效率問題。李平治：本科畢業(yè)于中國科學(xué)技術(shù)大學(xué)，將于2024Fall博士入學(xué)北卡羅來納大學(xué)教堂山分校，師從陳天龍教授，主要研究興趣集中在高效機(jī)器學(xué)習(xí)和AI4Science領(lǐng)域。洪駿遠(yuǎn)：德州大學(xué)奧斯汀分校博后，導(dǎo)師是ZhangyangWang教授。博士畢業(yè)于密歇根州立大學(xué)，師從JiayuZhou教授，目前主要的研究方向...