OpenAI大佬姚順雨發(fā)表一篇名為“TheSecondHalf”博客，核心觀點(diǎn)是人工智能（AI）的發(fā)展已經(jīng)進(jìn)入了一個(gè)新的階段，即“下半場(chǎng)”：從現(xiàn)在開(kāi)始，將把重點(diǎn)從解決問(wèn)題轉(zhuǎn)移到定義問(wèn)題上；評(píng)估將比訓(xùn)練更為重要，不再只是問(wèn)：“我們能否訓(xùn)練一個(gè)模型來(lái)解決X問(wèn)題？”而是要問(wèn)：“我們應(yīng)該訓(xùn)練人工智能去做什么，以及我們?nèi)绾魏饬空嬲倪M(jìn)步？”；為了在AI的下半場(chǎng)取得成功，需要及時(shí)轉(zhuǎn)變思維方式和技能組合，這些思維方式和技能組合或許...

微軟研究院發(fā)布了第一個(gè)開(kāi)源的、原生的1bit大型語(yǔ)言模型（LLM）：BitNetb1.582B4T：內(nèi)存占用：BitNetb1.582B4T的非嵌入層內(nèi)存占用僅為0.4GB，遠(yuǎn)低于其他全精度模型。能耗：估計(jì)的解碼能耗為0.028焦耳，遠(yuǎn)低于其他模型。解碼延遲：在CPU上，BitNetb1.582B4T的平均延遲為29ms，遠(yuǎn)低于其他模型。BitNetb1.582B4T參數(shù)規(guī)模達(dá)到20億，在包含4Ttokens的語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，并在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出與同規(guī)模的領(lǐng)先全精度模型（LLaMA3.21...

Llama4（家族）發(fā)布并重回開(kāi)源榜Top1，我梳理了Llama4第一手效果實(shí)測(cè)（編碼、多模態(tài)、長(zhǎng)上下文，啥啥都不行？）、本地部署、體驗(yàn)link：一、Llama4實(shí)測(cè)（真是水平如何）strawberry中有幾個(gè)r，回答：2個(gè)R9.9與9.11哪個(gè)大“Llama4”反著輸出結(jié)果：4amallL表格抽取，extractSwinTTNTS、Transformer'sThroughputLlama4給出了SwinV2T的結(jié)果Llama4編程，Llama4Maverick——Python六邊形測(cè)試失敗來(lái)自karminski的Llama4編程能力真是總結(jié)...

幾乎就在同一天，兩個(gè)國(guó)內(nèi)著名大模型廠商DeepSeek與阿里通義千問(wèn)組團(tuán)開(kāi)源了模型：DeepSeekV30324（更美觀的網(wǎng)頁(yè)和游戲前端），Qwen2.5VL32BInstruct（以小博大）：Qwen2.5vl32B模型72B對(duì)VLM來(lái)說(shuō)太大？7B不夠強(qiáng)！那么可以使用32B模型響應(yīng)更符合人類偏好：調(diào)整輸出樣式以提供更詳細(xì)、格式更好的答案，使其更符合人類偏好。數(shù)學(xué)推理：顯著提高解決復(fù)雜數(shù)學(xué)問(wèn)題的準(zhǔn)確性。細(xì)粒度圖像理解與推理：增強(qiáng)圖像解析、內(nèi)容識(shí)別、視覺(jué)邏輯推...

盡管DeepSeekR1風(fēng)格的模型在語(yǔ)言模型中已經(jīng)取得了成功，但其在多模態(tài)領(lǐng)域的應(yīng)用仍然有待深入探索。上交大等提出并開(kāi)源VisualRFT，將RFT擴(kuò)展到視覺(jué)任務(wù)，通過(guò)設(shè)計(jì)針對(duì)不同視覺(jué)任務(wù)的可驗(yàn)證獎(jiǎng)勵(lì)函數(shù)，提升LVLMs在視覺(jué)感知和推理任務(wù)中的性能。視覺(jué)強(qiáng)化微調(diào)（VisualRFT）的概述。與（a）數(shù)據(jù)驅(qū)動(dòng)的視覺(jué)指令微調(diào)相比，（b）視覺(jué)強(qiáng)化微調(diào)（VisualRFT）在有限數(shù)據(jù)下更具數(shù)據(jù)效率。（c）成功地將RFT應(yīng)用于一系列多模態(tài)任務(wù)，并在底部展...

微軟GraphRAG自提出，已歷時(shí)快一年，PaperAgent對(duì)其發(fā)展歷程進(jìn)行了專門梳理與總結(jié)：去年4月，為解決傳統(tǒng)RAG在全局性的查詢總結(jié)任務(wù)上表現(xiàn)不佳，微軟多部門聯(lián)合提出ProjectGraphRAG（大模型驅(qū)動(dòng)的KG）；去年7月，微軟正式開(kāi)源GraphRAG項(xiàng)目，引起極大關(guān)注，至今23.2kstar，但落地時(shí)卻面臨巨大成本痛點(diǎn)（具體：LLM用于實(shí)體關(guān)系抽取+描述，社區(qū)總結(jié)）；去年11月，為了上述痛點(diǎn)，微軟發(fā)布了LazyGraphRAG，將數(shù)據(jù)索引成本降低1000倍，...

?為解決現(xiàn)有檢索增強(qiáng)生成（RAG）系統(tǒng)在模擬人類長(zhǎng)期記憶的動(dòng)態(tài)和關(guān)聯(lián)性方面的局限性，一種新型框架HippoRAG2提出并將開(kāi)源！在三個(gè)關(guān)鍵維度上評(píng)估持續(xù)學(xué)習(xí)能力：事實(shí)記憶、感知構(gòu)建和關(guān)聯(lián)性。HippoRAG2在所有基準(zhǔn)類別中均超越了其他方法（RAPTOR、GraphRAG、LightRAG、HippoRAG），使其更接近真正的長(zhǎng)期記憶系統(tǒng)。?HippoRAG2框架的核心思想：HippoRAG2基于HippoRAG的個(gè)性化PageRank算法，通過(guò)深度段落整合和更有效的在線LLM使...

DeepSeek開(kāi)源周并未結(jié)束，OneMoreThing：DeepSeekV3R1推理系統(tǒng)概述以及高達(dá)545%的成本利潤(rùn)率：通過(guò)以下方式優(yōu)化吞吐量和延遲??跨節(jié)點(diǎn)EP驅(qū)動(dòng)的批量擴(kuò)展??計(jì)算通信重疊??負(fù)載均衡DeepSeek在線服務(wù)的統(tǒng)計(jì)數(shù)據(jù)?每個(gè)H800節(jié)點(diǎn)每秒73.7k14.8k輸入輸出tokens??成本利潤(rùn)率545%圖片DeepSeekV3R1推理系統(tǒng)的優(yōu)化目標(biāo)是：更大的吞吐，更低的延遲。圖片大規(guī)模跨節(jié)點(diǎn)專家并行（EP）由于DeepSeekV3R1模型具有高度稀疏性，每層256個(gè)專家中僅激...

文本豐富的圖像（如文檔、圖表、場(chǎng)景圖等）在現(xiàn)實(shí)場(chǎng)景中扮演著重要角色，準(zhǔn)確理解這些圖像對(duì)于自動(dòng)化信息提取和優(yōu)化用戶交互至關(guān)重要。文本豐富圖像理解（TextrichImageUnderstanding,TIU）領(lǐng)域涉及兩個(gè)核心能力：感知（如文本檢測(cè)、識(shí)別）理解（如信息抽取、視覺(jué)問(wèn)答）多模態(tài)大語(yǔ)言模型（MLLMs）的出現(xiàn)為文本豐富的圖像理解（TIU）領(lǐng)域帶來(lái)了新的維度，系統(tǒng)地分析了該領(lǐng)域MLLMs的時(shí)間線、架構(gòu)、訓(xùn)練流程、數(shù)據(jù)集與基準(zhǔn)測(cè)試。TI...

DeepSeek官推發(fā)布了最新技術(shù)成果NSA：一種面向硬件且支持原生訓(xùn)練的稀疏注意力機(jī)制，專為超快長(zhǎng)上下文訓(xùn)練與推理設(shè)計(jì)。NSA的核心組成：動(dòng)態(tài)分層稀疏策略粗粒度的token壓縮細(xì)粒度的token選擇??NSA針對(duì)現(xiàn)代硬件進(jìn)行了優(yōu)化設(shè)計(jì)，顯著提升了推理速度，并有效降低了預(yù)訓(xùn)練成本——同時(shí)不損失性能。在通用基準(zhǔn)測(cè)試、長(zhǎng)文本任務(wù)和基于指令的推理任務(wù)中，NSA的表現(xiàn)均能達(dá)到甚至超越傳統(tǒng)全注意力模型的水平。1.動(dòng)態(tài)分層稀疏策略NSA的核心...

繼GraphRAG之后，微軟又發(fā)布PIKERAG，主打在復(fù)雜企業(yè)場(chǎng)景中私域知識(shí)提取、推理和應(yīng)用能力，PIKERAG已在工業(yè)制造、采礦、制藥等領(lǐng)域進(jìn)行了測(cè)試，顯著提升了問(wèn)答準(zhǔn)確率。demo示例：多層次異構(gòu)的知識(shí)庫(kù)構(gòu)建與檢索+自我進(jìn)化的領(lǐng)域知識(shí)學(xué)習(xí)RAG系統(tǒng)在滿足現(xiàn)實(shí)世界應(yīng)用的復(fù)雜和多樣化需求方面仍然面臨挑戰(zhàn)。僅依靠直接檢索不足以從專業(yè)語(yǔ)料庫(kù)中提取深度領(lǐng)域特定知識(shí)并進(jìn)行邏輯推理。企業(yè)場(chǎng)景復(fù)雜多樣的Query基于此，微軟亞洲研究院提出...

將推理與RAG相結(jié)合仍面臨挑戰(zhàn)，例如復(fù)雜查詢需要多步分解，且LLMs難以生成精確的子查詢，導(dǎo)致檢索效率低下。人類思維過(guò)程與DeepRAG的對(duì)應(yīng)關(guān)系。具體來(lái)說(shuō)，檢索敘事確保了結(jié)構(gòu)化和自適應(yīng)的檢索流程，根據(jù)之前檢索到的信息生成子查詢，并且原子決策動(dòng)態(tài)地決定是否檢索外部知識(shí)，或者僅依賴于每個(gè)子查詢的參數(shù)知識(shí)。中科院&中科大&騰訊微信AI部聯(lián)合推出最新（2025.02）DeepRAG，讓大型語(yǔ)言模型逐步推理檢索：DeepRAG框架將檢索增強(qiáng)...

Kimi發(fā)布新一代多模態(tài)思考模型k1.5，在競(jìng)賽數(shù)學(xué)、代碼能力及視覺(jué)思考等測(cè)試中，k1.5模型性能已達(dá)到全球領(lǐng)先模型OpenAIo1正式版水平，月之暗面也成為OpenAI之外，全球第二家到達(dá)該水平的人工智能企業(yè)。Kimi1.5longCoT評(píng)測(cè)結(jié)果longtoshort，用長(zhǎng)鏈?zhǔn)剿伎技夹g(shù)改進(jìn)短鏈?zhǔn)剿伎寄Ｐ?，在短鏈?zhǔn)酵评硇阅軠y(cè)試中，k1.5模型在數(shù)學(xué)、代碼、視覺(jué)多模態(tài)和通用能力等方面到達(dá)或超越GPT4o、ClaudeSonnet3.5等全球領(lǐng)先模型。Kimi1.5shortCoT評(píng)測(cè)...

科學(xué)發(fā)現(xiàn)漫長(zhǎng)且成本高昂，為了加速科學(xué)發(fā)現(xiàn)，降低研究成本，并提高研究質(zhì)量，芯片廠商AMD推出了AgentLaboratory，這是一個(gè)基于自主大型語(yǔ)言模型（LLM）的框架，能夠完成整個(gè)研究流程。AgentLaboratory接受人類研究想法和一組筆記作為輸入，將其提供給一系列由LLM驅(qū)動(dòng)的專門Agent組成的流程線，并產(chǎn)生研究報(bào)告和代碼倉(cāng)庫(kù)。AgentLaboratory接受人類提供的研究想法，并通過(guò)三個(gè)階段——文獻(xiàn)綜述、實(shí)驗(yàn)和報(bào)告撰寫——來(lái)產(chǎn)生全面的研...

關(guān)于主流閉源LLM的參數(shù)規(guī)模一直討論不斷，在2024年最后2天來(lái)自微軟的一篇關(guān)于檢測(cè)和糾正臨床筆記中醫(yī)療錯(cuò)誤的測(cè)試基準(zhǔn)MEDEC的研究一不小心直接漏了它們的參數(shù)規(guī)模：o1preview,GPT4，GPT4o和Claude3.5Sonnet。Claude3.5Sonnet（20241022），175BChatGPT，175BGPT4，約1.76TGPT4o，200BGPT4omini（gpt4o20240513）只有8B最新的o1mini（o1mini20240912）僅100Bo1preview（o1preview20240912）300B實(shí)驗(yàn)部分也是將大模型參數(shù)規(guī)模分為...

PromptWizard(PW)旨在自動(dòng)化和簡(jiǎn)化提示優(yōu)化。它將LLM的迭代反饋與高效的探索和改進(jìn)技術(shù)相結(jié)合，在幾分鐘內(nèi)創(chuàng)建高效的prompts。PW的核心是其自我進(jìn)化和自適應(yīng)機(jī)制，LLM會(huì)同時(shí)迭代生成、評(píng)論和改進(jìn)提示和示例。此過(guò)程通過(guò)反饋和綜合確保持續(xù)改進(jìn)，實(shí)現(xiàn)針對(duì)特定任務(wù)的整體優(yōu)化。PromptWizard經(jīng)過(guò)45多項(xiàng)任務(wù)的嚴(yán)格評(píng)估，涵蓋了一般挑戰(zhàn)和特定領(lǐng)域挑戰(zhàn)。與最先進(jìn)的技術(shù)（包括Instinct、InstructZero、APE、PromptBreeder、EvoPrompt...

OpenAI年終大戲第二場(chǎng)推出了強(qiáng)化微調(diào)RFT(ReinforcementFineTuning)，它可以讓你用幾十到幾千個(gè)的訓(xùn)練數(shù)據(jù)，為特定的復(fù)雜任務(wù)構(gòu)建專家模型，加強(qiáng)了模型如何處理類似問(wèn)題的推理，微調(diào)后的o1mini得分提高80%，反超o1正式版！強(qiáng)化微調(diào)技術(shù)的一種實(shí)現(xiàn)方式：首先通過(guò)監(jiān)督式微調(diào)（SupervisedFineTuning）對(duì)模型進(jìn)行預(yù)熱，然后利用在線強(qiáng)化學(xué)習(xí)，特別是PPO算法，進(jìn)一步微調(diào)模型。這種方法能夠自動(dòng)采樣多種推理路徑，并從真實(shí)答案中自然...

?AutoRAG是一個(gè)以LLM強(qiáng)大的決策能力為核心的自主迭代檢索模型，通過(guò)多輪對(duì)話的方式建立LLM與檢索者之間的交互模型，通過(guò)迭代推理確定何時(shí)檢索信息、檢索什么內(nèi)容，在獲得足夠的外部知識(shí)后停止迭代，并將答案提供給用戶。一個(gè)具體的例子展示了AutoRAG如何處理復(fù)雜的多跳問(wèn)題。AutoRAG進(jìn)行迭代推理，策略性地規(guī)劃?rùn)z索，提取相關(guān)知識(shí)，精確識(shí)別信息需求，并為下一次檢索細(xì)化查詢，最終收斂到最終答案。在這個(gè)例子中，AutoRAG在與...

開(kāi)源LLaVAo1：一個(gè)設(shè)計(jì)用于進(jìn)行自主多階段推理的新型VLM。與思維鏈提示不同，LLaVAo1獨(dú)立地參與到總結(jié)、視覺(jué)解釋、邏輯推理和結(jié)論生成的順序階段。LLaVAo1超過(guò)了一些更大甚至是閉源模型的性能，例如Gemini1.5pro、GPT4omini和Llama3.290BVisionInstruct。基礎(chǔ)模型與LLaVAo1的比較?；A(chǔ)模型Llama3.211BVisionInstruct在推理過(guò)程中有明顯的缺陷，整個(gè)推理過(guò)程中出現(xiàn)了幾個(gè)錯(cuò)誤。相比之下，LLaVAo1首先概述問(wèn)題，從圖像中解釋相關(guān)...

Chonkie：實(shí)用的RAG分塊庫(kù)，輕量級(jí)、速度快，可隨時(shí)對(duì)文本進(jìn)行分塊。圖片支持的方法Chonkie提供了多個(gè)分塊器，可高效地為RAG應(yīng)用程序拆分文本。以下是可用分塊器的簡(jiǎn)要概述：TokenChunker：將文本分割成固定大小的標(biāo)記塊。WordChunker：根據(jù)單詞將文本分成塊。SentenceChunker：根據(jù)句子將文本分成塊。SemanticChunker：根據(jù)語(yǔ)義相似性將文本分成塊。SDPMChunker：使用語(yǔ)義雙重合并方法分割文本?；鶞?zhǔn)(VSLangChainLlamaIndex)尺...