論文鏈接：https:arxiv.orgpdf2502.15894項目鏈接：https:riflexvideo.github.io亮點直擊通過分析現(xiàn)有方法的失敗模式并揭示位置嵌入中各個頻率成分的作用，提供了對視頻長度外推的全面理解。提出了RIFLEx，一種簡單而有效的解決方案，通過適當(dāng)降低內(nèi)在頻率來減少重復(fù)，且無需任何額外修改。RIFLEx提供了一種真正的“免費午餐”——在最先進的視頻擴散Transformer上以完全無需訓(xùn)練的方式實現(xiàn)高質(zhì)量的2倍外推。此外，通過少量微調(diào)...

MMOE模型由谷歌研究團隊于2018年在論文《ModelingTaskRelationshipsinMultitaskLearningwithMultigateMixtureofExperts》中提出，是一種新穎的多任務(wù)學(xué)習(xí)框架，廣泛應(yīng)用于推薦系統(tǒng)中。本文從技術(shù)背景、演化過程、計算原理、關(guān)鍵問題解析以及基于PyTorch的代碼實現(xiàn)方面對MMoE架構(gòu)進行深入探究。1.技術(shù)背景（1）多任務(wù)學(xué)習(xí)的本質(zhì)是共享表示以及相關(guān)任務(wù)的相互影響，多任務(wù)學(xué)習(xí)模型并不總是在所有任務(wù)上都優(yōu)于相應(yīng)的單任務(wù)模型。（...

蘋果的研究人員開源了最新通用多模態(tài)視覺模型AIMv2，有300M、600M、1.2B和2.7B四種參數(shù)，整體能耗很低，可以適用于手機、PC等不同類型的設(shè)備。與傳統(tǒng)視覺模型不同的是，AIMV2使用了一種創(chuàng)新的多模態(tài)自回歸預(yù)訓(xùn)練方法，將視覺與文本信息深度融合，為視覺模型領(lǐng)域帶來了新的技術(shù)突破。簡單來說，就是AIMV2不再局限于僅處理視覺信息的傳統(tǒng)模式，而是將圖像和文本整合為統(tǒng)一的序列進行預(yù)訓(xùn)練。在這個過程中，圖像被劃分為一系列不重...

今早10點，DeepSeek開啟了第四天技術(shù)分享，開源了三個優(yōu)化并行策略。分別是DualPipe，一種用于V3R1訓(xùn)練中計算與通信重疊的雙向流水線并行算法；EPLB，針對V3R1的專家并行負載平衡器；用于分析V3R1中的計算通信重疊。開源地址：https:github.comdeepseekaiDualPipe??https:github.comdeepseekaieplb????https:github.comdeepseekaiprofiledata??DualPipe是一種創(chuàng)新的雙向流水線并行算法，曾首次在V3版本中使用過。與傳統(tǒng)...

研究背景與創(chuàng)新點深度學(xué)習(xí)模型，尤其是大型語言模型（LLMs）在推理任務(wù)上的表現(xiàn)令人矚目。傳統(tǒng)觀點認(rèn)為，模型參數(shù)量是決定推理能力的主要因素。然而，GoogleResearch團隊的這項研究《推理潛在思維：循環(huán)變換器的力量》提出了一個更為大膽的觀點：許多推理問題主要需要的是足夠的深度，而非海量參數(shù)。該研究探索了循環(huán)變換器（LoopedTransformers）在推理任務(wù)中的應(yīng)用潛力，并揭示了模型架構(gòu)與推理能力之間的深層聯(lián)系。本文的核...

摘要大型語言模型（LLMs）在各個領(lǐng)域都取得了顯著的成功，然而，由于它們所處的復(fù)雜和高維損失景觀，其優(yōu)化仍然是一個重大挑戰(zhàn)。雖然自適應(yīng)優(yōu)化器如AdamW被廣泛使用，但它們存在關(guān)鍵限制，包括無法捕捉坐標(biāo)之間的相互依賴性以及高內(nèi)存消耗。本文分析了COSMOS優(yōu)化器，這是一種新穎的混合優(yōu)化器，它利用梯度矩陣中特征子空間的重要性變化來實現(xiàn)內(nèi)存效率，同時不犧牲優(yōu)化性能。COSMOS將SOAP應(yīng)用于主特征子空間，該子空間捕捉了主要...

摘要模仿學(xué)習(xí)（ImitationLearning,IL）作為一種通過模仿示范來教授智能體復(fù)雜行為的范式，已經(jīng)在機器人學(xué)習(xí)領(lǐng)域展現(xiàn)出巨大潛力。然而，隨著機器學(xué)習(xí)技術(shù)的快速發(fā)展，設(shè)計現(xiàn)代模仿學(xué)習(xí)策略需要在特征編碼、架構(gòu)、策略表示等方面做出眾多決策，這些選擇構(gòu)成了一個龐大且尚未被充分探索的設(shè)計空間。本文詳細分析了XIL框架，這是一個開源的模塊化框架，旨在系統(tǒng)地探索模仿學(xué)習(xí)策略的設(shè)計空間。通過對XIL的架構(gòu)設(shè)計、核心組件以及在L...

編者按：還在為訓(xùn)練推理模型燒光算力預(yù)算而發(fā)愁？當(dāng)開源小模型遇上數(shù)學(xué)題就“智商掉線”，如何低成本突破性能瓶頸？傳統(tǒng)RLHF動輒百萬級算力投入，讓多少團隊在強化學(xué)習(xí)門前望而卻步；格式混亂、邏輯斷層、答案偏差——這些模型推理的頑疾是否也在阻礙你的AI產(chǎn)品落地？本文深入解析DeepSeek團隊突破性的GRPO（群組相對策略優(yōu)化）技術(shù)，這項創(chuàng)新將強化學(xué)習(xí)所需計算資源幾乎減半，甚至可以結(jié)合LoRA在普通消費級GPU上進行模型訓(xùn)練。...

選擇DeepSeek時，是選滿血版還是蒸餾版，需要根據(jù)具體的業(yè)務(wù)需求、硬件資源、成本預(yù)算以及應(yīng)用場景來綜合評估。以下是詳細的對比和建議：1.性能與精度滿血版參數(shù)規(guī)模：基于671B參數(shù)（如R1V3模型），支持超長上下文理解，功能覆蓋復(fù)雜推理、代碼生成（LeetCode難題通過率92%）、科研論文框架生成等。硬件要求：需專業(yè)服務(wù)器（如雙H100GPU+1TB內(nèi)存或8卡A100集群），適合企業(yè)級部署。應(yīng)用場景：適用于自動駕駛、金融風(fēng)控、醫(yī)療影像...

大語言模型（LLMs）是經(jīng)過海量文本（有時包含其他數(shù)據(jù)）訓(xùn)練的高級人工智能系統(tǒng)，能夠理解和生成類人語言。它們使用具有數(shù)十億參數(shù)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)（通常為Transformer架構(gòu)），以連貫且具備上下文感知的方式預(yù)測和生成文本。如今的LLM不僅能進行對話、編寫代碼、分析圖像，還能通過訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的模式完成更多復(fù)雜任務(wù)。某些LLM尤其因突破AI能力邊界而脫穎而出：GPT4o、Claude3.5Sonnet、Gemini2.0Flash、Grok3和DeepSee...

DeepSeek今天有兩個大新聞：一個是開源了自家用于助力V3R1模型訓(xùn)練與推理的一個FP8通用矩陣乘法(GEMM)加速庫，這一塊相信不少業(yè)內(nèi)人士會感興趣，據(jù)悉性能高達1350+TFLOPS，進一步揭秘了為什么現(xiàn)在的DeepSeek可以吐字這么流暢，訓(xùn)練和計算成本為什么如此低廉。不過更為讓人震驚的，相信還是第二個：DeepSeek原定于要5月初發(fā)布的DeepSeekR2，現(xiàn)在正在爭取提前甚至盡可能早的發(fā)布！這一提前發(fā)布R2的消息，是路透社當(dāng)?shù)貢r間周二發(fā)布...

?家人們誰懂啊?！DeepSeek連續(xù)兩天向AI圈扔出炸彈后，今天又甩出一個王炸——?DeepGEMM?！這玩意兒簡直可以稱作一鍵榨干顯卡性能，讓算法速度原地蕪湖起飛??。本摸魚小編帶你們盤一盤這個讓碼農(nóng)狂喜、資本沉默的「算力永動機」！一、啥是DeepGEMM？先來給大家介紹一下，DeepGEMM是一款專注于FP8高效通用矩陣乘法（GEMM）的庫。咱都知道，矩陣乘法在深度學(xué)習(xí)里那可是家常便飯，就像是蓋房子時的磚頭，少了它啥都干不成。而De...

DeepSeek顛覆了AI領(lǐng)域，通過推出一系列全新高級推理模型挑戰(zhàn)OpenAI的主導(dǎo)地位。最棒的是？這些模型完全免費使用，沒有任何限制，每個人都可以使用。您可以在下面觀看有關(guān)如何微調(diào)DeepSeek的視頻教程。在本教程中，我們將在HuggingFace的醫(yī)療思維鏈數(shù)據(jù)集上對模型進行微調(diào)，微調(diào)的基礎(chǔ)模型為DeepSeekR1DistillLlama8B。這個精簡的DeepSeekR1模型是通過在使用DeepSeekR1生成的數(shù)據(jù)上對Llama3.18B模型進行微調(diào)而創(chuàng)建的。它展示了與...

一、什么是線性回歸？線性回歸是一種基本但極為重要的監(jiān)督學(xué)習(xí)算法，廣泛用于預(yù)測連續(xù)數(shù)值型數(shù)據(jù)。其主要目標(biāo)是通過分析已知數(shù)據(jù)點之間的關(guān)系，找出一個能夠用來預(yù)測新數(shù)據(jù)點的函數(shù)模型。在最簡單的情況下，線性回歸嘗試找到一條直線，這條直線能夠最佳地通過數(shù)據(jù)點，并最小化預(yù)測值與實際值之間的差異。二、線性回歸的原理圖11維和2維輸入特征的線性模型2.4模型的評估在得到模型后，我們需要評估其效果，常用的評估指標(biāo)包括：...

你是否曾好奇，是什么讓手機助手能夠流暢對話，是什么驅(qū)動著智能翻譯的背后引擎？答案之一就是GPT。我們今天就來深入探討一下GPT，這個正在引領(lǐng)語言模型革命的AI工具。什么是GPT？——人工智能的語言大師GPT，全稱GenerativePreTrainingTransformer，是由OpenAI公司提出的一種先進的語言預(yù)訓(xùn)練模型。自從OpenAI在2018年發(fā)布首款GPT模型以來，GPT系列已經(jīng)迅速成為自然語言處理領(lǐng)域的標(biāo)桿。最初，OpenAI在論文《ImprovingLanguage...

在當(dāng)代科技風(fēng)潮中，AIAgent憑借其獨特能力嶄露頭角。其核心構(gòu)造基于LLM，輔以記憶、任務(wù)規(guī)劃及工具使用等關(guān)鍵組件，共同構(gòu)建出完整體系。作為掌控LLM的智能代理，AIAgent通過理解意圖與生成文本，展現(xiàn)卓越能力。尤其當(dāng)學(xué)會利用工具時，其潛力無限放大，有望成為人類的得力助手。進入大語言模型時代，AIAgent以自治、知覺、反應(yīng)、推理與決策、學(xué)習(xí)、通信及以目標(biāo)為導(dǎo)向等特性脫穎而出。它不僅能自主執(zhí)行任務(wù)，還能感知環(huán)境并作出...

圣誕節(jié)在二月，Claude扔了個王炸！看來爆料者的信息還挺準(zhǔn)的：明天：Claude4沒等到，Claude3.7要來了？不是嘛，哈哈哈。Anthropic官方有個毛病，他們通常不會做任何的預(yù)發(fā)布，大半夜他給你扔出來了個王炸：這次的新模型叫：Claude3.7Sonnet，它帶來了一種新的思維方式。它不再把快速回答和深度思考割裂開來，而是像人類大腦一樣，在同一個模型中實現(xiàn)兩種能力。Claude3.7Sonnet既能快速回答問題，也能在需要時進行深度思考，給用...

Anthropic正式推出Claude3.7Sonnet，不僅是目前最智能的模型，更是全球首個支持混合推理的AI系統(tǒng)。它能像人類一樣在“秒回”與“深度思考”間無縫切換，還能通過命令行工具ClaudeCode直接接管復(fù)雜編程任務(wù)，被開發(fā)者稱為“效率核武器”！一、Claude3.7Sonnet的三大顛覆性突破混合推理模式：一腦兩用標(biāo)準(zhǔn)模式：響應(yīng)速度與Claude3.5相當(dāng)，但準(zhǔn)確性全面提升。擴展思考模式：自我反思后輸出答案，數(shù)學(xué)、物理、代碼等任務(wù)性能飆升。A...

今天開源了deepseekv3中提到的的FP8GEMM內(nèi)核。300行代碼的暴力cuda美學(xué)，看不太懂，但是每天都可以打個醬油支持普通的矩陣乘法以及MixofExperts分組矩陣乘法。使用CUDA編寫，安裝時無需編譯，所有內(nèi)核在運行時通過輕量級的即時編譯（JIT）模塊動態(tài)編譯。DeepGEMM設(shè)計，避免了對CUTLASS和CuTe的過度依賴，采用了更簡潔的設(shè)計，核心代碼只有大約300行。整個庫就是非常“輕量化”，但同時性能又很強大，甚至超過了專家調(diào)優(yōu)的庫。在...

大語言模型的落地應(yīng)用離不開高效推理框架的支持，vLLM以其卓越的性能在眾多框架中脫穎而出。本文將帶你深入探索如何使用vLLM框架部署DeepSeekR1DistillQwen大語言模型，無論是深度學(xué)習(xí)新手還是有經(jīng)驗的開發(fā)者，都能從中獲取實用的知識和技能。一、vLLM框架特性解析1、高效內(nèi)存管理：vLLM的PagedAttention算法，通過動態(tài)分頁管理顯存，內(nèi)存利用率提升24倍，顯著降低硬件門檻。2、吞吐量提升：支持連續(xù)批處理和異步推理，在A100GP...