論文筆記分享，ReasoningModelsCanBeEffectiveWithoutThinking。ucberkeley。目前主流的推理模型在解決問(wèn)題時(shí)，通常會(huì)有一個(gè)think階段。這種方式雖然結(jié)果會(huì)大幅提升，但消耗的計(jì)算資源卻不少。所以，這個(gè)文章研究的問(wèn)題是：AI真的需要這么“認(rèn)真思考”嗎？注：本文寫(xiě)于o3發(fā)布之前，o3的思考充分利用工具能力，模型即產(chǎn)品，有一點(diǎn)跳脫o1版推理大模型的范疇了。另外，今天開(kāi)源的Gemini2.5Flash，支持了thinkingbudget，有一些理念...

Meta開(kāi)源llama4，原生多模態(tài)模型，慣例，支持200多種語(yǔ)言，除了中文。有點(diǎn)堆活，主要特色是，可以單張GPU運(yùn)行近1000wtoken上下文的模型，所以直接對(duì)標(biāo)gemini了？1000萬(wàn)token上下文窗口意味著什么？相當(dāng)于可以處理20多小時(shí)的視頻內(nèi)容（因?yàn)樗窃嗄B(tài)模型）。三款全新模型同步發(fā)布Scout：17B激活參數(shù)（16個(gè)專(zhuān)家）。速度極快，原生多模態(tài)，智能程度高。達(dá)到業(yè)界領(lǐng)先的1000萬(wàn)+token上下文窗口，并且可以在單個(gè)GPU上運(yùn)行！Maver...

一篇對(duì)deepseekr1論文補(bǔ)漏的文章，做了很多額外的實(shí)驗(yàn)，內(nèi)容很到位，標(biāo)題：UnderstandingR1ZeroLikeTraining:ACriticalPerspective。論文地址：https:github.comsailsgunderstandr1zeroblobmainunderstandr1zero.pdf基礎(chǔ)模型分析驗(yàn)證模板對(duì)幾種基礎(chǔ)模型的影響觀(guān)察結(jié)果如下：模板對(duì)模型是回答question，還是補(bǔ)全question很重要測(cè)試的幾個(gè)基礎(chǔ)模型在RL之前已經(jīng)具備數(shù)學(xué)解題能力Llama和DeepSeek模型使用R1模板時(shí)回答能力顯著提升De...

Qwen2.5Omni7B開(kāi)源，Qwen的第一個(gè)端到端的多模態(tài)模型，可以文本、圖像、音頻和視頻輸入，同時(shí)以流式方式生成文本和自然語(yǔ)音回復(fù)。提出了ThinkerTalker架構(gòu)。PR還沒(méi)合進(jìn)去，要注意安裝方式評(píng)測(cè)的榜似乎畫(huà)的有點(diǎn)趕，看不出信息量。提出了一種新的位置嵌入，稱(chēng)為T(mén)MRoPE（時(shí)間對(duì)齊多模態(tài)RoPE），用于同步視頻輸入的時(shí)戳與音頻。資源占用：理論值如下，實(shí)際要在高1.2倍，看起來(lái)消耗有點(diǎn)大。瞄下代碼，關(guān)于輸入，每個(gè)模態(tài)都有專(zhuān)門(mén)的處...

基于圖的RAG統(tǒng)一框架indepth分析作者：港中深與華為的研究人員核心速覽研究背景研究問(wèn)題：這篇文章要解決的問(wèn)題是如何在統(tǒng)一框架下對(duì)基于圖的檢索增強(qiáng)生成(RAG)方法進(jìn)行系統(tǒng)的比較和分析?，F(xiàn)有的基于圖的RAG方法沒(méi)有在同一實(shí)驗(yàn)設(shè)置下進(jìn)行系統(tǒng)的比較。研究難點(diǎn)：包括缺乏統(tǒng)一的框架來(lái)抽象和比較各種基于圖的RAG方法；現(xiàn)有工作主要關(guān)注整體性能評(píng)估而非單個(gè)組件的性能；以及缺乏對(duì)各種方法在準(zhǔn)確性和效率方面的全面比較。相關(guān)工作...

論文筆記，LongRoPE2:NearLosslessLLMContextWindowScaling，https:arxiv.orgpdf2502.20082。longropev1的升級(jí)工作，應(yīng)對(duì)長(zhǎng)度外推的。longropev1簡(jiǎn)單回顧，核心思想是非均勻插值+漸進(jìn)式微調(diào)：對(duì)比NTK、YaRN之類(lèi)的插值方式，LongROPE的每個(gè)頻率都有自己的縮放因子。所以先進(jìn)行基于困惑度的進(jìn)化搜索，得到每個(gè)rope維度的最佳縮放因子。在應(yīng)用當(dāng)前階段的RescaledRoPE后，對(duì)模型進(jìn)行微調(diào)，讓模型權(quán)重適應(yīng)新的上下文窗口大小和位置編...

今天開(kāi)源了deepseekv3中提到的的FP8GEMM內(nèi)核。300行代碼的暴力cuda美學(xué)，看不太懂，但是每天都可以打個(gè)醬油支持普通的矩陣乘法以及MixofExperts分組矩陣乘法。使用CUDA編寫(xiě)，安裝時(shí)無(wú)需編譯，所有內(nèi)核在運(yùn)行時(shí)通過(guò)輕量級(jí)的即時(shí)編譯（JIT）模塊動(dòng)態(tài)編譯。DeepGEMM設(shè)計(jì)，避免了對(duì)CUTLASS和CuTe的過(guò)度依賴(lài)，采用了更簡(jiǎn)潔的設(shè)計(jì)，核心代碼只有大約300行。整個(gè)庫(kù)就是非常“輕量化”，但同時(shí)性能又很強(qiáng)大，甚至超過(guò)了專(zhuān)家調(diào)優(yōu)的庫(kù)。在...

最近在折騰DeepSeekR1的私有部署，發(fā)現(xiàn)不少開(kāi)發(fā)者都遇到了類(lèi)似的困擾。明明按照文檔一步步來(lái)，卻總是會(huì)碰到這樣那樣的問(wèn)題分片下載老是斷，模型合并偶爾出錯(cuò)，環(huán)境配置更是讓人頭大。要是再遇到多機(jī)分布式、高并發(fā)或者國(guó)產(chǎn)芯片這些場(chǎng)景，那就更不好處理了。正好最近看到一個(gè)挺有意思的開(kāi)源項(xiàng)目GPUStack(https:github.comgpustackgpustack)。它用Apache協(xié)議開(kāi)源，主要就是為了解決DeepSeekR1這類(lèi)大模型的部署問(wèn)題。試用下來(lái)體驗(yàn)...

這個(gè)工作目標(biāo)是，找到一種簡(jiǎn)單的方法，可以實(shí)現(xiàn)testtimescalling。關(guān)鍵點(diǎn)有2個(gè)，構(gòu)建高質(zhì)量的監(jiān)督數(shù)據(jù)1k，用于監(jiān)督微調(diào)；一個(gè)BudgetForcing的方法，用于限定模型的推理過(guò)程。經(jīng)過(guò)這么一折騰，模型的性能隨著推理token數(shù)量變長(zhǎng)而編號(hào)。如何構(gòu)建高質(zhì)量的1k數(shù)據(jù)初始收集：從16個(gè)不同的來(lái)源收集了59,029個(gè)問(wèn)題，包括NuminaMATH、AIME、OlympicArena、OmniMath、AGIEval等。最終篩選：通過(guò)質(zhì)量、難度和多樣性三個(gè)標(biāo)準(zhǔn)，從59K個(gè)問(wèn)題中...

??摘要檢索增強(qiáng)生成（RAG）在開(kāi)放域問(wèn)答任務(wù)中表現(xiàn)出色。然而，傳統(tǒng)搜索引擎可能會(huì)檢索淺層內(nèi)容，限制了大型語(yǔ)言模型（LLM）處理復(fù)雜、多層次信息的能力。為了解決這個(gè)問(wèn)題，我們引入了WebWalkerQA，一個(gè)旨在評(píng)估LLM執(zhí)行網(wǎng)頁(yè)遍歷能力的基準(zhǔn)。它評(píng)估LLM系統(tǒng)性地遍歷網(wǎng)站子頁(yè)面以獲取對(duì)應(yīng)信息的能力。同時(shí)我們提出了WebWalker，一個(gè)通過(guò)explorercritic范式模擬人類(lèi)網(wǎng)頁(yè)導(dǎo)航的multiagent框架。廣泛的實(shí)驗(yàn)結(jié)果表明，WebWalkerQA具有...

CAG：CacheAugmentedGeneration緩存增強(qiáng)生成。不要做RAG了：當(dāng)緩存增強(qiáng)生成對(duì)于知識(shí)任務(wù)就足夠時(shí)檢索增強(qiáng)生成（RAG）作為一種通過(guò)整合外部知識(shí)源來(lái)增強(qiáng)語(yǔ)言模型的有效方法，已經(jīng)得到了廣泛應(yīng)用。然而，RAG引入了檢索延遲、文檔選擇潛在錯(cuò)誤和系統(tǒng)復(fù)雜性增加等挑戰(zhàn)。隨著具有顯著擴(kuò)展上下文窗口的大型語(yǔ)言模型（LLMs）的出現(xiàn)，本文提出了一種替代范式，即緩存增強(qiáng)生成（CAG），它繞過(guò)了實(shí)時(shí)檢索。我們的方法涉及預(yù)先加載所有相關(guān)...

langchain也送來(lái)新年禮物了，對(duì)標(biāo)openaicanvas的項(xiàng)目開(kāi)源。OpenCanvas不是又一個(gè)AI聊天機(jī)器人。它是一個(gè)開(kāi)源的Web應(yīng)用，可以讓你與AI助手協(xié)同工作，以更高效、更智能的方式創(chuàng)作文檔和代碼。它汲取了OpenAI“Canvas”的靈感，但又有所創(chuàng)新，為你帶來(lái)更強(qiáng)大的功能和更靈活的體驗(yàn)。試用地址：https:opencanvas.langchain.comOpenCanvas的獨(dú)特之處：完全開(kāi)源，自由掌控：所有代碼都是開(kāi)源的，并采用MIT許可。你可以自由地使用、修改...

宇航員如何在火星上生存而無(wú)需谷歌搜索？太空、火星、外星人、太空任務(wù)……自從人類(lèi)首次見(jiàn)證尼爾·阿姆斯特朗登上月球以來(lái)，所有關(guān)于太空探索的話(huà)題以及太空的隱藏秘密一直讓我們著迷。隨著技術(shù)的進(jìn)步，我們的目光投向了火星殖民和深空探索。盡管太空探索的美麗吸引了無(wú)數(shù)電影的關(guān)注，但它也帶來(lái)了許多挑戰(zhàn)，其中一個(gè)關(guān)鍵挑戰(zhàn)是：在不依賴(lài)地球互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的情況下獲取實(shí)時(shí)、可操作的信息。顯然，宇航員在太空中無(wú)法使用谷歌...

Anthropic剛剛發(fā)布了一篇瘋狂的新論文。ALIGNMENTFAKINGINLARGELANGUAGEMODELS。人工智能模型會(huì)“偽裝對(duì)齊”——在訓(xùn)練期間假裝遵守訓(xùn)練規(guī)則，但在部署后會(huì)恢復(fù)其原始行為！研究表明，Claude3Opus在訓(xùn)練中有策略地遵守有害請(qǐng)求，以保持其無(wú)害行為。也就是說(shuō)，模型并非簡(jiǎn)單地隨機(jī)或無(wú)意識(shí)地做出反應(yīng)，而是經(jīng)過(guò)了類(lèi)似人類(lèi)的思考過(guò)程，并且其思考的目標(biāo)是維持它原本“無(wú)害”的行為模式。舉個(gè)例子，模型可能會(huì)這樣“思考”：“我現(xiàn)...

分詞化tokenize化，是模型理解自然語(yǔ)言的最小單元。但是一些問(wèn)題，如多語(yǔ)言、錯(cuò)別字、計(jì)算開(kāi)銷(xiāo)等問(wèn)題，基于Byte的分詞更為流行。Meta的這個(gè)工作開(kāi)源ByteLatentTransformer（BLT）的方法。BLT的核心思想：直接處理原始字節(jié)：與傳統(tǒng)的基于詞元的模型不同，BLT直接使用構(gòu)成文本的最小數(shù)字單位字節(jié)進(jìn)行處理。這從根本上消除了對(duì)分詞的需求，避免了分詞可能帶來(lái)的誤差和局限性。動(dòng)態(tài)patching：這是BLT的關(guān)鍵創(chuàng)新。它根據(jù)文本的復(fù)雜度...

OpenAI和Deepmind在pk了？紅方：openai從明天開(kāi)始“OpenAI的12天”，每天都會(huì)有直播活動(dòng)，展示新產(chǎn)品和演示。目前社區(qū)猜測(cè)可能發(fā)布的產(chǎn)品，如O1full、Sora視頻模型和GPT4.5。openai挖走了deepmind的3名高級(jí)工程師，他們?cè)谝曈X(jué)方面的研究，目前落后于最近的SOTA視覺(jué)方法，像ViT、SigLIP、PaliGemma這些開(kāi)源模型，開(kāi)始搶人大戰(zhàn)。藍(lán)方：deepmindGenCast天氣模型代碼和模型開(kāi)源，GoogleDeepMind在《自然》雜志上發(fā)布了一個(gè)AI天氣預(yù)...

微軟最新又改版了一波GraphRAG，這波把知識(shí)圖譜丟了，只剩下無(wú)向圖了。帶來(lái)的優(yōu)勢(shì)是：LazyGraphRAG數(shù)據(jù)索引成本與向量RAG相同，且為全圖RAG成本的0.1%。對(duì)于與向量RAG相當(dāng)?shù)牟樵?xún)成本，LazyGraphRAG在局部查詢(xún)中優(yōu)于所有競(jìng)爭(zhēng)方法，包括LongRAG和GraphRAGDRIFT搜索以及GraphRAG局部搜索。相同的LazyGraphRAG配置在全局查詢(xún)方面也顯示出與GraphRAG全局搜索相當(dāng)?shù)拇鸢纲|(zhì)量，但查詢(xún)成本降低了700多倍。對(duì)于GraphRAG全局搜索的4%查詢(xún)...

論文筆記分享，標(biāo)題：TheSurprisingEffectivenessofTestTimeTrainingforAbstractReasoning測(cè)試時(shí)訓(xùn)練（TTT）是個(gè)新概念：在推理過(guò)程中使用從輸入數(shù)據(jù)派生的損失暫時(shí)更新模型參數(shù)文章的結(jié)論：TTT顯著提高了ARC任務(wù)上的性能，與基線(xiàn)微調(diào)模型相比，準(zhǔn)確率提高了高達(dá)6倍；將TTT應(yīng)用于一個(gè)8B參數(shù)的語(yǔ)言模型，在A(yíng)RC的公共驗(yàn)證集上達(dá)到了53%的準(zhǔn)確率，將公共和純神經(jīng)網(wǎng)絡(luò)方法的最新水平提高了近25%。通過(guò)將我們的方法與最近的程序生成...

circlemindai?組織開(kāi)發(fā)了一個(gè)名為fastgraphrag的開(kāi)源項(xiàng)目。這個(gè)項(xiàng)目的目標(biāo)是提供一個(gè)高效、可解釋且精度高的快速圖檢索增強(qiáng)生成（FastGraphRAG）框架。該框架專(zhuān)門(mén)為Agent驅(qū)動(dòng)的檢索工作流程設(shè)計(jì)，能夠輕松融入檢索管道中，提供先進(jìn)的RAG功能，同時(shí)避免了構(gòu)建和設(shè)計(jì)Agent工作流程的繁瑣復(fù)雜性。項(xiàng)目的宗旨是增加全球成功的通用人工智能（GenAI）應(yīng)用數(shù)量。為實(shí)現(xiàn)這一目標(biāo)，他們開(kāi)發(fā)了記憶和數(shù)據(jù)工具，使LLM應(yīng)用能夠利用高度專(zhuān)業(yè)...

好久沒(méi)分享過(guò)綜述了，今天分享一個(gè)最新的RAG綜述，來(lái)自卡內(nèi)基梅隆大學(xué)。標(biāo)題：AComprehensiveSurveyofRetrievalAugmentedGeneration(RAG):Evolution,CurrentLandscapeandFutureDirections1.引言1.1RAG技術(shù)概述檢索增強(qiáng)生成技術(shù)（RAG）主要由兩個(gè)關(guān)鍵部分構(gòu)成：其一是檢索組件，主要職責(zé)是從外部數(shù)據(jù)庫(kù)（如維基百科或私有庫(kù)）中提取相關(guān)信息，通過(guò)密集向量表征進(jìn)行文檔識(shí)別；其二是生成組件，基于transformer結(jié)構(gòu)，對(duì)獲取的信息...