終于！終于！Claude4被曝將在未來幾周內(nèi)發(fā)布！高亮重點，最新的它采取了一個與之前模型路線不同的辦法：是個混合型大模型。簡單來說，就是既帶有推理能力，會使用更多的算力來思考和解決難題；在面對簡單問題的時候，又能像傳統(tǒng)大模型一樣短平快地輕巧處理，無需多費不必要的功夫。怎么樣，聽起來是不是和昨天奧特曼透露的GPT5非常類似（doge）。都是不再把傳統(tǒng)通用模型和推理模型分開推出，直接融合在一起。據(jù)透露，Anthropic...

Replit「Agent」正以迅猛之勢，推動著編程行業(yè)的深刻變革。Masad于2016年創(chuàng)立了Replit，成立以來一直積極擁抱AI技術(shù)，近年來推出了一系列自動化編程產(chǎn)品?；仡橫asad近年的言論，會發(fā)現(xiàn)「Agent」的實現(xiàn)速度遠超他之前的預(yù)期。他曾斷言「Agent」在2030年之前很難達成。促使這一轉(zhuǎn)變發(fā)生的關(guān)鍵因素，是Anthropic推出的新模型：Claude3.5Sonnet。此前，Replit一直專注于構(gòu)建自有模型，期望憑借專有數(shù)據(jù)形成獨特優(yōu)勢。然而，Claude3....

Anthropic終于要開始搞點事情啦！近期的「推理模型」熱潮中，Anthropic除了其CEO打了幾個嘴炮外，還沒有掏出一個拿得出手的產(chǎn)品。在這樣下去，可能要退出AI一線模型玩家行列了。Anthropic自己顯然不想看到這種情況發(fā)生。就在剛剛，有消息稱，Anthropic會在未來幾周內(nèi)發(fā)布其全新的「混合AI」模型。Anthropic版「推理模型」，測試時計算完全掌控在OpenAI去年秋季發(fā)布其「推理模型」后，谷歌以及國內(nèi)眾多AI公司紛紛推出了自己的模...

眾所周知，知識蒸餾技術(shù)當(dāng)前正被大模型領(lǐng)域廣泛使用，它可以在大幅壓縮模型體量的同時保持一定的性能、降低模型時延、提升模型精度，與此同時還能對知識域進行集成和遷移。近日，蘋果研究人員提出了一種蒸餾擴展定律（DistillationScalingLaws），基于計算預(yù)算及其在學(xué)生和教師之間的分配，我們現(xiàn)在開始可以估算蒸餾模型的性能了。圖1.蒸餾擴展定律的外推。蒸餾擴展定律適用于一系列損失為LT的教師的弱學(xué)生模型（LS>2.3）。實線...

社交推理游戲是一類需要玩家通過交流和推理來達成目標(biāo)的游戲，典型的例子是我們熟悉的《狼人殺》，這些游戲要求玩家在有限的信息下，通過與其他玩家的交流和互動，推斷出某個隱藏角色的身份。假如讓多智能體玩狼人殺，這些智能體可以合作、競爭或者兩者兼而有之。研究多智能體環(huán)境不僅有助于理解智能體之間的互動，還能為開發(fā)更智能、更協(xié)調(diào)的系統(tǒng)提供理論基礎(chǔ)。在多智能體環(huán)境中，使用自然語言進行交流是一種強大的工具。它不...

我們都知道，普通大模型的數(shù)學(xué)能力并不好，甚至可能會搞不清楚9.8和9.11哪個大。但隨著o1、o3以及DeepSeekR1等推理模型的到來，情況正在發(fā)生變化。比如DeepSeekR1在競賽數(shù)學(xué)基準(zhǔn)AIME2024上達到了79.8%的準(zhǔn)確度，成就了自己頭號開源推理模型的地位。而根據(jù)OpenAI發(fā)布的數(shù)據(jù)，o3mini(high)在AIME2024上的準(zhǔn)確度更是達到了87.3%，預(yù)計o3滿血版的成績還會更好。但即便如此，這些強大的推理模型卻依然常常在一類看起來相當(dāng)簡單的數(shù)學(xué)...

自2017年谷歌提出了Transformer架構(gòu)，以及那篇著名的論文《AttentionIsAllYouNeed》后，注意力機制迅速成為自然語言處理領(lǐng)域的核心技術(shù)。大型語言模型（LLMs）借助Transformer的自注意力機制，實現(xiàn)了對復(fù)雜語言模式的捕捉，在機器翻譯、文本生成、對話系統(tǒng)等領(lǐng)域取得了革命性的突破。它們不僅改變了學(xué)術(shù)研究的方向，更深刻地影響了生產(chǎn)力工具的發(fā)展，提高了人們的工作效率和生活質(zhì)量。隨著模型規(guī)模和數(shù)據(jù)量的不斷增長，LLMs面臨...

編者按：Devin真的能像人類軟件工程師那樣工作嗎？作為2024年備受矚目的AIAgent產(chǎn)品，它的實際表現(xiàn)如何？我們今天為大家?guī)淼奈恼轮?，作者通過一個月的實際使用體驗，發(fā)現(xiàn)Devin在處理簡單、明確的編程任務(wù)時表現(xiàn)不錯，但距離達到初級軟件工程師的水平還有很長的路要走。文章詳細介紹了Devin的使用體驗，包括其出色的上手流程設(shè)計、與GitHub的便捷集成，以及實時代碼審查功能。在處理范圍狹窄、定義明確的代碼修改時，特別是前...

本文介紹了多代理微調(diào)的基本概念，框架組成，以及在實際應(yīng)用中的優(yōu)勢。最近，麻省理工學(xué)院、哈佛大學(xué)、斯坦福大學(xué)以及DeepMind的研究人員聯(lián)合提出了一種新技術(shù)，它使用?多個代理??（MultipleAgents）來解決大語言模型（LLM）最緊迫的問題之一：缺乏高質(zhì)量的訓(xùn)練數(shù)據(jù)。畢竟頂尖模型已經(jīng)消耗了互聯(lián)網(wǎng)上的大部分可用的內(nèi)容，并讓AI實驗室已經(jīng)用完了適合訓(xùn)練LLM的數(shù)據(jù)。解決這一瓶頸問題的一種方案是通過創(chuàng)建合成數(shù)據(jù)（Synthetic...

DeepSeek引爆AI社區(qū)后，人們都在嘗試本地部署和各領(lǐng)域應(yīng)用，在新模型基礎(chǔ)上持續(xù)改進的方向也被不斷提出。與此同時，英偉達卻在嘗試用DeepSeek給大模型pipeline本身搞自動化。本周三，英偉達在博客中介紹了利用DeepSeekR1和推理時擴展技術(shù)來自動生成優(yōu)化GPU內(nèi)核的最新研究成果，效果異常的好。對此有人評價道：難不成英偉達在自拆護城河？也有人已經(jīng)開始擔(dān)心自己的工作會不會被AI代替了。隨著AI大模型規(guī)模不斷擴展，能力持續(xù)進步...

關(guān)乎當(dāng)紅炸子雞DeepSeek，奧特曼最新觀點出爐：對DeepSeek的出現(xiàn)并不意外，而且類似的情況會越來越多。這就是奧特曼在最新一期《泰晤士報》科技播客節(jié)目中所提及的內(nèi)容之一。并且在被問及是否擔(dān)心OpenAI會成為AI界的Napster（首個P2P音樂共享平臺，后因商業(yè)壓力以失敗告終）時，他表示：唯一不讓這種事發(fā)生的方法就是每天都為此擔(dān)心。我覺得這種事不會發(fā)生在我們身上的原因就是我們一直都在為此感到壓力。是有一種沒有壓力就沒...

01、概述隨著2025年的到來，自主智能系統(tǒng)和智能代理（AgenticAI）的發(fā)展正在以驚人的速度改變著人工智能的面貌。這些框架不僅簡化了AI工作流，還推動了復(fù)雜決策和協(xié)作能力的實現(xiàn)，為各行各業(yè)帶來了前所未有的創(chuàng)新機會。那么，在這些迅速崛起的AI框架中，哪些將成為2025年最具變革性的代表？今天，我們將重點介紹五大AgenticAI框架，它們正在引領(lǐng)智能代理領(lǐng)域的未來發(fā)展。02、5個重要的AIAgent代理1）MicrosoftAutoGen：重新定義...

韓國首爾國立大學(xué)的研究人員推出了一個創(chuàng)新文生視頻模型——FIFODiffusion。在傳統(tǒng)的文生視頻模型中，尤其是在基于擴散模型的產(chǎn)品中，生成長視頻經(jīng)常面臨著質(zhì)量和連貫性上的挑戰(zhàn)。這是因為模型在訓(xùn)練時只能看到有限的幀數(shù)，而在實際應(yīng)用中卻需要生成遠超過訓(xùn)練時長度的視頻。FIFODiffusion模型使用了一種創(chuàng)新的“對角去噪”方法來克服生成長視頻的難題，以隊列的方式來處理視頻幀的連續(xù)，該技術(shù)靈感來源于工廠的流水線作業(yè)。在...

01、概述在人工智能的不斷進步中，如何將視覺與語言的能力有效整合，仍然是一個復(fù)雜而富有挑戰(zhàn)性的課題。傳統(tǒng)的模型常常在需要理解視覺和文本數(shù)據(jù)的任務(wù)中顯得力不從心，導(dǎo)致在圖像分析、視頻理解以及交互工具的使用等應(yīng)用場景中存在局限性。這些挑戰(zhàn)突顯了對更加復(fù)雜且高效的視覺語言模型（VLM）的需求，尤其是能夠無縫解析和回應(yīng)多模態(tài)信息的模型。在這種背景下，QwenAI推出了Qwen2.5VL，這款新型的視覺語言模型旨在處理計算...

一、現(xiàn)象級事件：為什么DeepSeek能踏平AI提效的最后一公里？在過去的十年，AI工具為人類工作效率帶來了顯著的提升，然而普通用戶在使用這些工具時，仍然面臨許多挑戰(zhàn)，尤其是與提示詞工程（PromptEngineering）高度相關(guān)的問題。ChatGPT這樣的生成式AI工具對提示詞工程的高度依賴。然而，大多數(shù)普通人并沒有接受過足夠的訓(xùn)練來設(shè)計高效提示詞。需求表述焦慮：普通人難以精準(zhǔn)拆解復(fù)雜問題為AI可執(zhí)行指令。復(fù)雜的問題需要清晰的分...

LLaMA是目前很多SOTA開源大模型的基礎(chǔ)，包括DeepSeek、千問等在內(nèi)的很多大模型的模型機構(gòu)大體上都沿用了LLaMA。因此，LLaMA在模型結(jié)構(gòu)的設(shè)計上可以說是目前大模型的一種最佳實踐。這篇文章就給大家匯總一下LLaMA的核心模型結(jié)構(gòu)。LLaMA的主體結(jié)構(gòu)仍然基于Transformer，本文主要介紹LLaMA各個版本相比于Transformer的改進部分，包括PreNormalization、RMSNorm、SwiGLU激活函數(shù)、RotrayEmbedding等部分。1.PreNormalization基礎(chǔ)的T...

OpenAI的CEOSamAltman在社交媒體上分享了關(guān)于GPT4.5和GPT5的最新進展。OpenAI承認目前的產(chǎn)品線對用戶來說過于復(fù)雜，因此他們正在努力簡化產(chǎn)品，目標(biāo)是讓AI能夠“開箱即用”。GPT4.5(內(nèi)部代號為Orion)將會是最后一個“非思維鏈模型”，而GPT5則將整合包括o3在內(nèi)的多項技術(shù)，成為一個集大成者。未來，OpenAI將不再單獨發(fā)布o(jì)3模型。為了讓更多人體驗到AI的強大功能，免費版ChatGPT用戶將可以在標(biāo)準(zhǔn)智能設(shè)置下無限次使用GPT5，當(dāng)然...

deepseek官網(wǎng)經(jīng)常提示“服務(wù)器繁忙，請稍后再試。”，于是想自己實現(xiàn)本地部署。但是由于個人電腦太菜，只能嘗試一下步驟，記錄一下，后面等有強悍的服務(wù)器或者模型進一步優(yōu)化才能私人真正獨立的使用與生產(chǎn)。總體方案：ollama+deepseekr1+本地AI模型的WebUI第一步：ollama網(wǎng)站下載ollama（Ollama是一個用于管理和運行本地AI模型的軟件工具。它提供了一種簡化的方式來下載、管理和在本地計算機上運行各種AI模型，而無需依賴云計算...

DeepSeek正在通過其開源模型DeepSeekR1革新AI產(chǎn)業(yè)，盡管資源有限，卻能媲美OpenAI的能力。通過讓前沿大模型更廣泛地開放，DeepSeek推動了全球的創(chuàng)新與合作。其創(chuàng)新的基于強化學(xué)習(xí)（RL）的后訓(xùn)練技術(shù)可增強大模型的推理能力和對齊性，使大模型在實際應(yīng)用中更加高效且易用。在本文中，我們將重點分析DeepSeekR1推理模型背后的關(guān)鍵RL后訓(xùn)練技術(shù)。本文由MoPaaS的創(chuàng)始人魯為民博士最初以英文的形式發(fā)表（點擊文章末尾“閱讀原文”）...

本文將散落在近期多篇文章中筆者圍繞激發(fā)推理ScalingLaw的思考做了一下整理。方向MIT對大模型數(shù)理原理的強有力證明中總結(jié)：基于宏大的人類知識提取出來豐富范疇，形成眾多領(lǐng)域的本體知識結(jié)構(gòu)，這是大模型通過預(yù)訓(xùn)練已經(jīng)構(gòu)建的內(nèi)部世界模型；提高推理采樣的機制，通過訓(xùn)練達成學(xué)習(xí)推理的scalinglaw，是大模型下一步努力提升的方向。相比傳統(tǒng)方法，新的大模型機理，具備更高維度的新穎性、對能力和技術(shù)細節(jié)的探索，可以通過揭示隱...