突破性能瓶頸：動態(tài)超級塊剪枝如何重塑信息檢索效率在當(dāng)今數(shù)據(jù)爆炸的時代，高效的信息檢索系統(tǒng)對于各類應(yīng)用至關(guān)重要，從搜索引擎到基于檢索增強的大語言模型（RAG）。隨著學(xué)習(xí)型稀疏表示模型的興起，如何在保持高檢索質(zhì)量的同時提升檢索速度成為研究熱點。本文深入探討一項革命性技術(shù)——動態(tài)超級塊剪枝（SuperblockPruning，簡稱SP），這一創(chuàng)新方法在保持高相關(guān)性的前提下，顯著提升了稀疏檢索的效率。稀疏檢索的挑戰(zhàn)與機遇稀...

在人工智能的發(fā)展歷程中，大語言模型(LLM)的推理能力一直是研究的核心焦點。然而，傳統(tǒng)的推理能力增強方法往往依賴于高質(zhì)量的監(jiān)督信號，如標(biāo)注好的答案或外部獎勵模型，這不僅成本高昂，而且難以擴展。近期，來自上海人工智能實驗室、西安交通大學(xué)等機構(gòu)的研究團隊提出了一個革命性的解決方案——Genius框架，這是一個可泛化、純無監(jiān)督的高級推理自訓(xùn)練框架，能夠讓大語言模型在沒有任何外部監(jiān)督的情況下自我提升推理能力。傳統(tǒng)...

大型語言模型（LLM）在處理超出訓(xùn)練長度的上下文時往往會遇到嚴(yán)重的性能下降問題。NVIDIA研究團隊最新提出的SWANGPT架構(gòu)通過巧妙的設(shè)計，成功解決了這一行業(yè)難題，無需額外的長上下文訓(xùn)練即可實現(xiàn)穩(wěn)健的長度外推能力。本文深入剖析SWANGPT的創(chuàng)新架構(gòu)、工作原理及其在長上下文處理領(lǐng)域的重大突破。1.長上下文處理的挑戰(zhàn)與現(xiàn)狀大型語言模型的上下文長度限制一直是制約其應(yīng)用場景的關(guān)鍵因素。目前主流的Transformer架構(gòu)在處理超出...

近年來，大型語言模型(LLMs)在復(fù)雜推理任務(wù)上的能力取得了顯著突破，從快速直覺思維(System1)向緩慢深度推理(System2)轉(zhuǎn)變。這種轉(zhuǎn)變雖然提高了任務(wù)準(zhǔn)確性，但也帶來了巨大的計算成本。這種性能與成本之間的權(quán)衡引發(fā)了"推理經(jīng)濟"(ReasoningEconomy)的概念，它關(guān)注如何在保持模型推理能力的同時，最大化計算資源的使用效率。本文將深入探討推理經(jīng)濟的核心問題，分析LLMs在訓(xùn)練后和推理階段的效率挑戰(zhàn)，并探索實現(xiàn)推理經(jīng)濟的潛在...

引言：大模型推理與搜索的融合挑戰(zhàn)隨著OpenAIo1和DeepSeekR1等模型的出現(xiàn)，大型語言模型(LLMs)在推理能力上取得了顯著突破。然而，將復(fù)雜推理與外部搜索過程有效整合仍然面臨重大挑戰(zhàn)，尤其是在處理需要多步檢索的復(fù)雜多跳問題時。傳統(tǒng)方法往往依賴手動設(shè)計的提示或啟發(fā)式規(guī)則，這在可擴展性和靈活性方面存在明顯局限。更重要的是，為多步推理場景生成監(jiān)督數(shù)據(jù)通常成本高昂且在實踐中難以實現(xiàn)。百川科技、同濟大學(xué)、愛丁堡大學(xué)...

背景大型語言模型（LLMs）如GPT4和LLaMA3憑借Transformer架構(gòu)的強大情境學(xué)習(xí)（InContextLearning,ICL）能力，能夠從有限的示例中快速學(xué)習(xí)并適應(yīng)新任務(wù)。然而，ICL的泛化邊界和脆弱性一直缺乏系統(tǒng)性的理解，這限制了其在實際應(yīng)用中的潛力發(fā)揮。清華大學(xué)的研究團隊通過定義一個以任務(wù)為中心的框架，從三個維度系統(tǒng)地研究了Transformer架構(gòu)在ICL下的泛化能力，并提出了優(yōu)化訓(xùn)練數(shù)據(jù)設(shè)計的重要指導(dǎo)原則。研究框架：三維泛化能力分析...

融合地理定位與對話能力的新型多模態(tài)模型圖像地理定位技術(shù)在過去幾年取得了顯著進(jìn)展，但傳統(tǒng)模型僅限于提供GPS坐標(biāo)，缺乏對位置的深入理解和與用戶進(jìn)行有意義對話的能力。中佛羅里達(dá)大學(xué)的研究團隊最近提出了一種創(chuàng)新解決方案——GAEA（GeolocationAwareConversationalModel），這是首個將精確地理定位能力與豐富對話功能相結(jié)合的開源多模態(tài)模型。GAEA不僅能確定圖像的拍攝位置，還能提供關(guān)于該位置的詳細(xì)信息，包括附近的地標(biāo)...

引言解碼人類大腦處理語言的機制是神經(jīng)科學(xué)的核心目標(biāo)之一。人類語言處理由大腦的語言網(wǎng)絡(luò)（LanguageNetwork,LN）支持，這是一組位于大腦左側(cè)的前額葉和顳葉區(qū)域，具有對語言輸入的選擇性反應(yīng)能力。近年來，隨著機器學(xué)習(xí)的快速發(fā)展，基于大規(guī)模文本語料庫訓(xùn)練的下一詞預(yù)測的大型語言模型（LLMs）成為了模擬人類語言網(wǎng)絡(luò)內(nèi)部過程的有力工具。本文旨在探討大型語言模型如何與人類語言網(wǎng)絡(luò)對齊，并分析這種對齊在模型訓(xùn)練中的演化...

引言大型語言模型（LLMs）的推理能力近年來取得了顯著進(jìn)展，尤其是在訓(xùn)練后階段。諸如DeepSeekR1、KimiK1.5和OpenAIo1等模型展現(xiàn)了卓越的邏輯推理能力。然而，這些成果的可復(fù)現(xiàn)性和擴展性仍面臨諸多挑戰(zhàn)，特別是在缺乏訓(xùn)練代碼和數(shù)據(jù)集的情況下。LogicRL框架的提出旨在通過基于規(guī)則的強化學(xué)習(xí)（RL）方法，填補這一研究空白，并推動LLMs推理能力的進(jìn)一步發(fā)展。LogicRL通過在邏輯謎題上進(jìn)行訓(xùn)練，成功開發(fā)了類似DeepSeekR1的推理...

研究背景與創(chuàng)新點深度學(xué)習(xí)模型，尤其是大型語言模型（LLMs）在推理任務(wù)上的表現(xiàn)令人矚目。傳統(tǒng)觀點認(rèn)為，模型參數(shù)量是決定推理能力的主要因素。然而，GoogleResearch團隊的這項研究《推理潛在思維：循環(huán)變換器的力量》提出了一個更為大膽的觀點：許多推理問題主要需要的是足夠的深度，而非海量參數(shù)。該研究探索了循環(huán)變換器（LoopedTransformers）在推理任務(wù)中的應(yīng)用潛力，并揭示了模型架構(gòu)與推理能力之間的深層聯(lián)系。本文的核...

摘要大型語言模型（LLMs）在各個領(lǐng)域都取得了顯著的成功，然而，由于它們所處的復(fù)雜和高維損失景觀，其優(yōu)化仍然是一個重大挑戰(zhàn)。雖然自適應(yīng)優(yōu)化器如AdamW被廣泛使用，但它們存在關(guān)鍵限制，包括無法捕捉坐標(biāo)之間的相互依賴性以及高內(nèi)存消耗。本文分析了COSMOS優(yōu)化器，這是一種新穎的混合優(yōu)化器，它利用梯度矩陣中特征子空間的重要性變化來實現(xiàn)內(nèi)存效率，同時不犧牲優(yōu)化性能。COSMOS將SOAP應(yīng)用于主特征子空間，該子空間捕捉了主要...

摘要模仿學(xué)習(xí)（ImitationLearning,IL）作為一種通過模仿示范來教授智能體復(fù)雜行為的范式，已經(jīng)在機器人學(xué)習(xí)領(lǐng)域展現(xiàn)出巨大潛力。然而，隨著機器學(xué)習(xí)技術(shù)的快速發(fā)展，設(shè)計現(xiàn)代模仿學(xué)習(xí)策略需要在特征編碼、架構(gòu)、策略表示等方面做出眾多決策，這些選擇構(gòu)成了一個龐大且尚未被充分探索的設(shè)計空間。本文詳細(xì)分析了XIL框架，這是一個開源的模塊化框架，旨在系統(tǒng)地探索模仿學(xué)習(xí)策略的設(shè)計空間。通過對XIL的架構(gòu)設(shè)計、核心組件以及在L...

研究背景與動機本文提出了一種新的低秩適應(yīng)(LoRA)變體GoRA(GradientdrivenAdaptiveLowRankAdaptation)，通過梯度信息來自適應(yīng)地分配秩和初始化低秩適配器的權(quán)重。該方法在保持LoRA高可用性和效率的同時顯著提升了模型性能。現(xiàn)有問題秩的選擇問題：LoRA的性能很大程度上取決于秩的選擇，但增加秩會導(dǎo)致內(nèi)存使用量上升。初始化策略局限：現(xiàn)有的非零初始化方法要么需要重置全部權(quán)重，要么需要保存額外的初始化結(jié)果。可用性與效率的...

論文概述本文針對可解釋人工智能(XAI)中的一個關(guān)鍵問題展開研究局部代理模型在文本領(lǐng)域中的穩(wěn)定性估計。研究重點關(guān)注了相似度度量方法對XAI穩(wěn)定性評估的影響,并提出了一種基于同義詞權(quán)重的新型評估框架。研究背景可解釋AI的重要性隨著AIML技術(shù)的快速發(fā)展,模型的復(fù)雜度不斷提高,其內(nèi)部工作機制越來越難以理解。這種"黑盒"特性在醫(yī)療、金融等高風(fēng)險領(lǐng)域尤其令人擔(dān)憂。例如:醫(yī)療診斷系統(tǒng)的錯誤判斷可能導(dǎo)致嚴(yán)重后果金融模型的決策...

研究背景與意義在當(dāng)前推薦系統(tǒng)研究領(lǐng)域中,知識圖譜(KnowledgeGraph,KG)作為一種強大的數(shù)據(jù)集成和表示工具,已經(jīng)被廣泛應(yīng)用于解決數(shù)據(jù)稀疏性和可解釋性等問題。然而,不同推薦系統(tǒng)之間知識圖譜的異構(gòu)性和集成問題仍然是一個亟待解決的挑戰(zhàn)。本文提出了RecKG(RecommendersystemKnowledgeGraph),一個專門面向推薦系統(tǒng)的標(biāo)準(zhǔn)化知識圖譜框架,旨在實現(xiàn)異構(gòu)推薦系統(tǒng)之間的無縫集成和互操作。核心創(chuàng)新點標(biāo)準(zhǔn)化知識圖譜設(shè)計提出了專門針對...

一、研究背景與意義近年來，大語言模型(LLMs)在醫(yī)療領(lǐng)域的應(yīng)用展現(xiàn)出巨大潛力，特別是在疾病診斷和治療規(guī)劃等方面。然而，現(xiàn)有的醫(yī)學(xué)大語言模型在處理復(fù)雜臨床場景時，往往難以進(jìn)行深度推理，尤其是在差異化診斷和個性化治療建議等方面存在明顯短板。本研究提出的FineMedLMo1模型，通過創(chuàng)新性地結(jié)合高質(zhì)量合成醫(yī)學(xué)數(shù)據(jù)和長格式推理數(shù)據(jù)，采用監(jiān)督微調(diào)(SFT)和直接偏好優(yōu)化(DPO)技術(shù)，顯著提升了模型的醫(yī)學(xué)推理能力。二、技術(shù)創(chuàng)新...