千呼萬喚，特斯拉FSD真的來了！特斯拉已開始在中國向車主分批次推送FSD的軟件更新了，版本號2024.45.32.12，與北美版一致。不過，馬斯克急急慌慌入華的FSD，槽點好像真的有點多。首先，這波國內(nèi)FSD的推送需要配備HW4.0硬件的汽車，大概是去年買到國產(chǎn)ModelY和Model3的新車主可以嘗鮮。至于其他車主，可能要繼續(xù)等待一段時間（特斯拉表示會進行車型的擴展）……其次，不是有了車就能體驗特斯拉的FSD，還需要再氪金才行！特斯拉所...

DeepSeek開啟了本周連續(xù)5天技術(shù)分享的第2天，開源了專為混合專家模型（MoE）訓練和推理設(shè)計的開源EP通信庫——DeepEP。值得一提的是，DeepSeek昨天開源的FlashMLA已經(jīng)超過7000顆星，成為github霸榜項目。今天這個已經(jīng)破1000顆星啦。開源地址：https:github.comdeepseekaiDeepEP通常在MoE模型中，不同的GPU節(jié)點往往需要分工合作處理數(shù)據(jù)，而AlltoAll通信是一種常見的模式，用來實現(xiàn)GPU之間數(shù)據(jù)的互相交換。DeepEP通過高效且優(yōu)化...

今早9點，DeepSeek開啟了本周連續(xù)5天技術(shù)分享的第3天，開源了專用于執(zhí)行高效FP8精度矩陣乘法運算庫——DeepGEMM。DeepGEMM的核心代碼僅300行，但在GPU上可實現(xiàn)高達每秒1350+FP8萬億次浮點運算性能。在大多數(shù)矩陣規(guī)模下性能超過了專家調(diào)優(yōu)的內(nèi)核，同時支持密集布局和兩種MoE布局，適配不同的運算場景。開源地址：https:github.comdeepseekaiDeepGEMM看到DeepSeek又發(fā)布高效訓練方法，網(wǎng)友表示，英偉達股票又要下跌了。在澳大利亞...

何愷明再次開宗立派！開辟了生成模型的全新范式——分形生成模型FractalGenerativeModels，首次使逐像素生成高分辨率圖像成為可能，論文名字依舊延續(xù)以往的大道至簡風格。團隊將生成模型本身抽象為可復(fù)用的“原子模塊”。通過遞歸地在生成模型中調(diào)用這些原子生成模塊，可以構(gòu)建出一種自相似的分形架構(gòu)。其靈感源于數(shù)學中的分形思想。它相當于一個粗糙或零碎的幾何形狀分成數(shù)個部分，每一部分都（至少近似地）是整體縮小后的形狀...

代理人工智能可以利用多個代理的集體智能，來自動化決策過程，徹底改變行業(yè)，并推動產(chǎn)業(yè)的轉(zhuǎn)型。2022年11月30日，OpenAI通過發(fā)布ChatGPT，普及了生成式人工智能（GenAI），也引發(fā)了一場對于AI的追捧。最近，代理人工智能（AgenticAI）已悄然的興起，它雖然沒有遇到同樣的炒作，但是很可能會徹底改變不同行業(yè)，并推動產(chǎn)業(yè)的轉(zhuǎn)型。什么是代理AI？有人認為代理AI屬于人工智能發(fā)展??五層級??中的第三層級，即：夾在作為第一層級...

今天，Anthropic搞出了個大動靜，推出首個混合推理模型、堪稱AI編程霸主的Claude3.7Sonnet，還連帶發(fā)布智能編碼命令行工具ClaudeCode。Claude3.7Sonnet作為混合推理模型，打破傳統(tǒng)AI單一模式，有標準和擴展思維兩種模式。標準模式下能秒回信息，擴展模式則擅長深度反思、分步思考，面對數(shù)學、編碼等復(fù)雜任務(wù)不在話下，給用戶更多使用場景選擇。和上一代比，它數(shù)學、編碼能力暴增10%以上，多項基準測試刷爆紀錄，實力碾壓同類。...

整理星璇出品51CTO技術(shù)棧（微信號：blog51cto）就在OpenAI還在吊胃口之際，最強競對Anthropic深夜開大了！Anthropic直接把自家的“通用+推理”二合一的模型發(fā)布了，并把自家內(nèi)部在用的AI編程工具也上線，直接可以終端執(zhí)行任務(wù)的那種！這就帶大家看看這家公司在大模型以及AI產(chǎn)品上的不同打法！用戶不用再選擇模型了，業(yè)界首個混合AI模型Anthropic正在發(fā)布一款名為Claude3.7Sonnet的新型前沿AI模型，該模型被設(shè)計為能夠根據(jù)用戶的...

一、模型概述與架構(gòu)分析DeepSeekR1是一款全新的大規(guī)模語言模型系列,支持復(fù)雜推理、多模態(tài)處理和技術(shù)文檔生成。其核心特點包括:1.架構(gòu)特性?支持多種精度訓練和推理(FP8BF16INT8INT4)?采用MoE(MixtureofExperts)架構(gòu)實現(xiàn)671B超大規(guī)模?支持混合精度訓練和推理優(yōu)化2.模型系列規(guī)格模型名稱參數(shù)規(guī)模計算精度模型大小典型應(yīng)用場景DeepSeekR1671BFP81,342GB超大規(guī)?？蒲杏嬎鉊eepSeekR1DistillLlama70B70BBF1643GB大規(guī)模推理任務(wù)DeepS...

繼谷歌、OpenAI和Perplexity相繼發(fā)布各自的DeepResearch后，牛津大學發(fā)布了一個“AgenticReasoning:ReasoningLLMswithToolsfortheDeepResearch”的工作，并且代碼開源了，今天咱們來詳細看看他們的deepresearch的玩法！這個框架，不僅在PhD級別的科學推理測試(GPQA)上超越了現(xiàn)有的RAG系統(tǒng)和閉源大模型，而且在金融、醫(yī)療和法律等領(lǐng)域的深度研究任務(wù)中，擊敗了谷歌的GeminiDeepResearch!為什么能做到這一點普通的推理模型只能依...

引言前段時間，AI圈被國產(chǎn)黑馬DeepSeekR1模型“霸屏”了！這匹開源領(lǐng)域的“潛力新星”，在推理能力上和OpenAI的o1不相上下，甚至在資源利用上更勝一籌，很“省資源”。它的橫空出世，不僅打破了大眾對國產(chǎn)AI的固有認知，更是讓世界看到了中國AI厚積薄發(fā)的硬核實力，這波操作簡直“殺瘋了”！DeepSeek乘勝追擊，基于R1模型又推出了更具針對性應(yīng)用的DeepSeekR1DistillQwen32B和適合大規(guī)模數(shù)據(jù)處理的DeepSeekR1DistillLlama70B兩款...

小程序是一種運行在快手生態(tài)內(nèi)，無需下載安裝、即用即走的輕量級應(yīng)用。其中，模擬器是快手開發(fā)者所使用的工具中最核心的模塊之一，但因性能問題收到開發(fā)者反饋。為此，24年Q2快手啟動了模擬器性能優(yōu)化專項，從線上數(shù)據(jù)看：模擬器秒開率從18%提升至64%，F(xiàn)CPP90從4.4s提升至1.9s。本文詳細介紹優(yōu)化措施和成效。一、問題背景小程序是快手開放平臺對外提供的開放能力之一，是一種運行在快手生態(tài)內(nèi)，無需下載安裝、即用即走的輕量級...

快手靜態(tài)部署托管服務(wù)（KFX）歷經(jīng)四年發(fā)展，經(jīng)歷了三個階段，一步步從勉強能行車的“崎嶇土路”到現(xiàn)在多車道并行的“平坦高速”，這一轉(zhuǎn)變極大地提升了資源利用率和效率，滿足業(yè)務(wù)的實際需要。本文將帶你了解其背后的演進歷程。一、KFX前端通用靜態(tài)托管服務(wù)KFX是什么：KFX是快手前端通用靜態(tài)托管服務(wù)。為什么要有KFX？靜態(tài)托管服務(wù)是前端工程化發(fā)展的必然結(jié)果?？焓智岸瞬渴鸬陌l(fā)展大致經(jīng)歷了這三個階段：1.直接在物理機上部署ng...

在檢索增強生成（RAG）技術(shù)嶄露頭角之際，業(yè)界對其賦予厚望，期待它能夠推動AI邁向新的智能高度。然而，實踐中RAG暴露出諸多缺陷，極大地限制了其應(yīng)用效果與AI的發(fā)展進程。在此背景下，推理增強生成（ReAG）技術(shù)應(yīng)運而生。ReAG憑借其獨特的技術(shù)架構(gòu)與運行邏輯，為解決RAG問題提供新思路和可行方案，在AI升級之路上潛力巨大。1.傳統(tǒng)RAG的“槽點”傳統(tǒng)RAG系統(tǒng)就好比記憶力差的圖書管理員，看似在努力找資料，實則狀況百出：語義搜...

1.KAN這種新型的網(wǎng)絡(luò)架構(gòu)的核心思想基于由柯爾莫哥洛夫阿諾德表示定理，它被寄予期望能夠替代多層感知器。MLP在節(jié)點（“神經(jīng)單元”）上具有固定的激活函數(shù)，而KAN在邊上（“權(quán)重”）具有可學習的激活函數(shù)。KAN根本沒有線性權(quán)重—每個權(quán)重參數(shù)都被參數(shù)化為一元的splinefunction。大白話的意思就是：KAN中的每個激活函數(shù)不是在每個節(jié)點，而是在每條邊上。由一個一元函數(shù)（univariatefunction）組成，這些函數(shù)本身也是參數(shù)。意味著...

言簡意賅，發(fā)現(xiàn)月之暗面開源MoE模型，總參數(shù)量15.29B，激活參數(shù)2.24B，使用Muon優(yōu)化器，在5.7TTokens的訓練數(shù)據(jù)下，拿到了很好的效果。Github：https:github.comMoonshotAIMoonlightHF：https:huggingface.comoonshotaiMoonlight16BA3BPaper：https:github.comMoonshotAIMoonlightblobmasterMoonlight.pdf效果如下：比較Muon和Adam的擴展定律實驗，發(fā)現(xiàn)Muon的樣本效率比Adam高2倍。Muon優(yōu)化器原理如下：同時，Moonlight16BA3B的...

編輯伊風出品51CTO技術(shù)棧（微信號：blog51cto）吳泳銘親自預(yù)告過的，阿里旗艦推理模型，新消息來了。剛剛，它的預(yù)覽版正式發(fā)布和上線體驗——就是這個QwQMaxPreview！一眼看去，我愿稱之為最萌的推理模型，看blog主頁的名稱，感覺思維鏈中的模型正在很努力的思考中……圖片QwenChat中已經(jīng)可以體驗預(yù)覽版模型：??https:chat.qwen.ai??點進模型的blog，發(fā)現(xiàn)這里有一個隱藏彩蛋，內(nèi)容是由QwQMaxPreview自己寫的，我們可以看到A...

剛剛，DeepSeek放出了開源第二彈——DeepEP！它擁有高效優(yōu)化的alltoall通信，并具有以下特點：內(nèi)部節(jié)點和節(jié)點間均支持NVLink和RDMA高吞吐量內(nèi)核用于訓練和推理預(yù)填充低延遲推理解碼內(nèi)核本地FP8調(diào)度支持可靈活控制的GPU資源，用于計算通信重疊具體來說，DeepEP是一個專為混合專家系統(tǒng)（MoE）和專家并行（EP）設(shè)計的通信庫。它提供高吞吐量和低延遲的GPU全互聯(lián)內(nèi)核，也被稱為MoE的「調(diào)度」和「組合」操作。該庫還支持低精度運算，...

01、概述在人工智能領(lǐng)域，知識檢索與處理方法一直在不斷進化。過去，基于檢索增強生成（RAG，RetrievalAugmentedGeneration）的系統(tǒng)長期占據(jù)主流，但如今，基于緩存增強生成（CAG，CacheAugmentedGeneration）的方法正在顯示出其顛覆傳統(tǒng)的潛力，逐漸成為新一代知識處理的主力軍。那么，RAG和CAG到底有什么區(qū)別？為什么CAG被認為是未來的方向？讓我們深入探討這兩種方法，了解它們各自的優(yōu)缺點，以及為什么CAG可能成為未來知識...

01、概述當?shù)谝淮谓佑|大型語言模型（LargeLanguageModels,LLMs）時，既好奇又興奮。這些模型能夠生成文本、總結(jié)文檔，甚至翻譯語言的潛力讓我們眼前一亮，但與此同時，也會感到無從下手——面對如此強大的技術(shù)，又該從哪里開始呢？今天，想和大家分享五個對學習LLMs影響深遠的Python庫，希望它們也能為你的AI旅程提供啟發(fā)。02、學習LLMs相關(guān)的Python庫1）HuggingFaceTransformers：LLM入門的最佳選擇如果你剛開始接觸LLMs，那么...

文章鏈接：https:arxiv.orgpdf2502.13995項目鏈接：https:fantasyamap.github.iofantasyid亮點直擊首次嘗試從單視角參考圖像中提取3D面部先驗，以增強面部結(jié)構(gòu)的穩(wěn)定性，從而在整個視頻生成過程中有益于身份（ID）保持。通過采用多視角面部增強策略，能夠顯著增強對廣泛視角下2D面部外觀的感知，從而有益于與面部表情和頭部姿勢相關(guān)的運動動態(tài)。設(shè)計了一種可學習的層次化特征引導機制，以促進對身份保持和動態(tài)建模的精確控制，...