今天凌晨2點，著名大模型平臺Anthropic發(fā)布了首個雙思維模型——Claude3.7Sonnet。Claude3.7提供了標準和擴展兩種思考模式：標準思考是無需進行復雜的推理過程，就能立刻提供答案，例如，當用戶詢問“巴黎的埃菲爾鐵塔有多高？”，會迅速給出324米。擴展思維則提供復雜的推理過程，會展示詳細的推理思維鏈，用戶可以清晰地看到模型是如何逐步分析問題、應用邏輯，非常適合數(shù)學、生物等科研領域，還能通過API精準控制模型的思考...

谷歌研究院發(fā)布一項新的研究Titans。通過引入全新的神經(jīng)長期記憶模塊，三頭協(xié)同架構(gòu)與硬件優(yōu)化設計等模塊，在算力僅增加1.8倍的情況下，將大模型的上下文窗口擴展至200萬token。在語言建模、基因組分析、長時序預測等任務中全面超越現(xiàn)有Transformer及線性循環(huán)模型。目前，以Transformer為核心的預訓練大模型面臨一個悖論：依賴注意力機制精準建模依賴關系，但受限于二次方計算復雜度，上下文窗口難以突破數(shù)萬token。即便是線性T...

譯者劉汪洋審校重樓大語言模型(LLMs)在技術(shù)發(fā)展上取得了顯著突破。OpenAI的o3、Google的Gemini2.0和DeepSeek的R1展現(xiàn)出了卓越的能力：它們能處理復雜問題、生成自然的對話內(nèi)容，甚至精確編寫代碼。業(yè)界常把這些先進的LLMs稱為"推理模型"，因為它們在分析和解決復雜問題時表現(xiàn)非凡。但我們需要思考一個關鍵問題：這些模型是否真的具備推理能力，還是僅僅在規(guī)劃方面特別出色？這個差異雖然細微，卻對理解LLMs的本質(zhì)至關重要。讓我...

引言本文將探討KVCache如何通過在內(nèi)存使用和計算時間之間進行巧妙的權(quán)衡，使像ChatGPT和DeepSeek這樣的語言模型在生成文本時更快?？偨Y(jié)11篇最近的研究論文，歸納三大類：token選擇、后處理壓縮技術(shù)和架構(gòu)重新設計。包括DeepSeek的多頭潛在注意力（MLA），這些論文在這一基本思想的基礎上，進一步提高了大型語言模型（LLM）推理的時間效率。一、思考為什么文本生成如此緩慢讓我們從一個簡單的類比開始。想象你在寫一個故事，每寫...

黃仁勛首度回應DeepSeek？其實不準確！在采訪中黃仁勛主動提及的DeepSeek，親自下場滅火，并稱贊到“（R1是）世界上第一個開源推理模型，這太令人興奮了，全球?qū)ξ覀冮_源的反響不可思議”！黃仁勛大膽總結(jié)說：（有人說R1出現(xiàn)后）我們不再需要進行任何計算了。實際上，情況正好相反！為啥呢？在老黃看來，未來的AI仍然需要三方面的Scaling：預訓練“仍然需要嚴謹，數(shù)據(jù)量要大，（還要有）多模態(tài)數(shù)據(jù)”后訓練的相關學習范式有很多...

DeepSeekR1在其論文（???https:arxiv.orgabs2501.12948???）引言部分指出，通過蒸餾技術(shù)，成功地將大模型的推理能力（比如：DeepSeekR1671B）傳遞給了更小型化的模型（比如：Qwen7B）?？梢钥闯觯麴s技術(shù)是DeepSeekR1重要的3大創(chuàng)新技術(shù)之一，下面詳細剖析。1、DeepSeek蒸餾技術(shù)深度解讀蒸餾(KnowledgeDistillation)是一種將大型復雜模型（教師模型，比如：D蒸餾(KnowledgeDistillation)是一種將大型復雜模型（教師模型，...

今日分享100多個常用的論文指令，希望對大家能帶來prompt的啟發(fā)和幫助...確定主題和標題1.舉例說明醫(yī)療保健的新趨勢，這可能是研究論文中有趣的研究主題。2.分析[插入主題名稱]的研究是否存在空白，并提出潛在的研究主題。3.使用定量和定性研究方法推薦研究[插入主題名稱]的主題。4.分析主題[插入主題名稱]的范圍是否足夠廣泛，并推薦我可以撰寫的相關主題。5.比較以下主題，并根據(jù)哪些主題具有更大的范圍和相關性，幫助我決定...

編輯伊風出品51CTO技術(shù)棧（微信號：blog51cto）上周五，DeepSeek剛剛預告了重磅開源周！周一一早，DeepSeek就履行承諾，開源了針對HopperGPU的高效MLA解碼內(nèi)核——FlashMLA！圖片根據(jù)DeepSeek介紹，F(xiàn)lashMLA內(nèi)核針對變長序列進行了優(yōu)化，是已投入生產(chǎn)的核心技術(shù)。從DeepSeekV2開始，MLA出現(xiàn)在的所有的DeepSeek大模型里面，是DeepSeek大模型提升效果的非常重要的機制。MLA（MatrixLessAttention）多頭潛在注意力，通過數(shù)學變換避...

一、RAG系統(tǒng)的背景與挑戰(zhàn)在自然語言處理（NLP）領域，大型語言模型（LLMs）如GPT、BERT等已經(jīng)展現(xiàn)出了強大的文本生成、問答和摘要能力。然而，這些模型也存在一些顯著的局限性。?首先，LLMs的知識是靜態(tài)的，這意味著它們無法及時更新以反映新信息，導致生成的回答可能過時。?其次，LLMs有時會生成聽起來合理但事實上錯誤的回答，這種現(xiàn)象被稱為“幻覺”。?最后，LLMs在涉及高級專業(yè)領域的知識時，往往缺乏足夠的深度。為了應...

一、背景最近幾天DeepSeek的NSA以及Moonshot的MoBA受到廣泛關注，我也在第一時間看了相關論文。由于最近DeepSeek的火爆，各大平臺上也出現(xiàn)了非常多對這兩篇文章的介紹，這里不再贅述其襲擊，只是簡單陳述一下我的一些思考和看法。在看這兩篇論文的時候，我們可以發(fā)現(xiàn)其很多觀點和手段都似曾相識，其他在之前的Quest、SeerAttention（之前也分享過）等論文都有相關介紹。不過，其在工業(yè)落地方面提供了更多的可能性，比如Moonshot...

圖片在大模型訓練領域，顯存一直是一個讓研究者和開發(fā)者頭疼的問題。特別是在進行長文本上下文訓練時，動輒需要幾百GB的顯存需求，這讓很多研究者望而卻步。不過最近，AI基礎設施優(yōu)化團隊Unsloth帶來了一個重大突破他們推出的新算法可以讓GRPO訓練所需顯存減少高達90%！文章公布了Llama3.1(8B)GRPO在Colab上notebook，見：https:colab.research.google.comgithubunslothainotebooksblobmainnbLlama3.1(8B)GRPO.ipynb1、從510GB...

圖片想知道ChatGPT這樣的大語言模型是如何煉成的嗎？今天帶你揭開大模型訓練的神秘面紗，看看在數(shù)百個GPU上協(xié)同訓練大語言模型的技術(shù)秘密。為什么這很重要？曾幾何時，訓練大語言模型是少數(shù)頂級研究實驗室的專利。雖然現(xiàn)在我們可以下載Llama或DeepSeek這樣的開源模型，但最具挑戰(zhàn)性的部分——訓練代碼、知識和技術(shù)仍然隱藏在復雜性之后。這些關鍵知識分散在眾多論文和私有代碼庫中，讓大多數(shù)開發(fā)者和研究者望而卻步。圖片圖片深...

RAG增強技術(shù)分類來源：https:arxiv.orgabs2402.19473最近一項關于檢索增強生成（RAG）的調(diào)查總結(jié)了三種最新發(fā)展的范式：基礎RAG高級RAG模塊化RAGArepresentativeinstanceoftheRAGprocessappliedtoquestionanswering.Itmainlyconsistsof3steps.1)Indexing.Documentsaresplitintochunks,encodedintovectors,andstoredinavectordatabase.2)Retrieval.RetrievetheTopkchunksmostrelevanttothequestionbasedonsemanticsimilarity.3)G...

（MoBA）大語言模型長文本處理新解法：塊注意力混合在自然語言處理領域，高效處理長文本一直是個老大難問題。隨著大語言模型在閱讀、理解和生成文本方面的能力不斷提升，其處理輸入的核心——注意力機制，卻逐漸成了瓶頸。在典型的Transformer架構(gòu)里，這種機制要把每個詞元（token）和其他所有詞元進行比較，這就導致計算成本會隨著序列長度的增加呈二次方增長。如今，我們把語言模型應用到長篇文檔、多章節(jié)書籍、法律文書或是...

今天分享一篇來自上海人工智能實驗室、清華大學、哈爾濱工業(yè)大學和北京郵電大學聯(lián)合的一篇文章，標題是：Can1BLLMSurpass405BLLMRethinkingComputeOptimalTestTimeScaling（1B的LLM能否超越405B的LLM？重新思考計算最優(yōu)的測試時縮放）。這篇文章研究了大型語言模型（LLMs）在「推理階段通過增加計算量來提高性能的測試時縮放」（TestTimeScaling,TTS）方法。作者們「系統(tǒng)地分析了策略模型、過程獎勵模型（PRMs）和問題難度如何...

編輯伊風出品51CTO技術(shù)棧（微信號：blog51cto）年初，DeepSeekR1模型的開源讓這個低調(diào)的技術(shù)品牌一炮打響。隨著DeepSeek應用的飛速增長，AI巨頭正在集體重新審視開源模式的商業(yè)價值——這不再只是“賠本賺吆喝”的事情，而是可能帶來實實在在的商業(yè)回報。DeepSeek帶來的競爭壓力肉眼可見，連OpenAI的Altman都罕見地改口反思，承認OpenAI在開閉源問題上“站在了歷史錯誤的一端”。Altman甚至在X上發(fā)起了投票，詢問大家OpenAI的下...

在醫(yī)療領域，大模型的應用和影響力正在不斷擴大。但當前對于大模型在醫(yī)療任務中的評估主要依賴于選擇題基準測試，這種方式存在很多局限性，例如，高度受限、無法真實反映臨床決策復雜性以及模型可能通過語義結(jié)構(gòu)答題等問題。為了更全面真實地評估大模型在醫(yī)學推理任務中的實際能力，哈佛醫(yī)學院、馬里蘭大學醫(yī)學院、劍橋健康聯(lián)盟、斯坦福大學等通過OpenAI的o1preview模型，設計了一系列嚴謹?shù)膶嶒灒ㄨb別診斷生成、推理展示、...

近期，公司在AI相關項目，尤其是問答系統(tǒng)領域，對回答的準確率和表述質(zhì)量提出了更高的要求。用戶提出的問題不僅限于基礎性問題，還可能涉及多樣化、復雜化的場景。也就在上周五快下班的時候，項目經(jīng)理向我反饋，之前的項目團隊支持的某客戶在使用問答系統(tǒng)時，除了查詢私有知識庫中的信息外，還會提出以下幾類問題：可直接由大語言模型（LLM）回答的問題：例如通用知識或常識性問題。非知識庫相關的口頭表達：如“謝謝”、“再見...

微軟在官網(wǎng)發(fā)布了專用于游戲領域的創(chuàng)新大模型——Muse。雖然Muse基于Transformer架構(gòu)，但創(chuàng)建游戲場景的方式卻非常獨特，并不依賴傳統(tǒng)的文本提示，而是通過游戲畫面和控制器操作的序列化數(shù)據(jù)作為輸入提示，從而生成連貫的游戲場景和玩法，同時更符合游戲機制和物理規(guī)則的游戲內(nèi)容。例如，僅通過一張游戲截圖，Muse就能迅速生成多個可能的后續(xù)游戲畫面，并通過Xbox手柄控制角色生成與開發(fā)者操作相匹配的后續(xù)游戲內(nèi)容，游戲開發(fā)效...

論文鏈接：https:arxiv.orgpdf2502.12135Git鏈接：https:chaoyuesong.github.ioMagicArticulate亮點直擊首個大規(guī)模關節(jié)化基準數(shù)據(jù)集，包含超過48,000個具有高質(zhì)量關節(jié)標注的模型；一種新穎的兩階段框架，有效處理骨架生成和蒙皮權(quán)重預測；實現(xiàn)了當前最先進的性能，并在實際動畫生產(chǎn)流程中展現(xiàn)了實用性?？偨Y(jié)速覽解決的問題隨著3D內(nèi)容創(chuàng)作的快速增長，自動將靜態(tài)3D模型轉(zhuǎn)換為支持真實動畫的可關節(jié)化版本的需求日益增加。然而，傳...