AI.x社區(qū)
- 登錄/注冊
大模型系列：一文匯總16個(gè)深度語言模型代表工作
在這一節(jié)，重點(diǎn)展開為大家梳理在大模型之前的GPT、BERT等深度語言模型的發(fā)展過程。在大模型之前，預(yù)訓(xùn)練語言模型是NLP中的核心，在pretrainfinetune這一階段的NLP發(fā)展中發(fā)揮著舉足輕重的作用。預(yù)訓(xùn)練語言模型的無監(jiān)督訓(xùn)練屬性，使其非常容易獲取海量訓(xùn)練樣本，并且訓(xùn)練好的語言模型包含很多語義語法知識，對于下游任務(wù)的效果會有非常明顯的提升。本文首先介紹預(yù)訓(xùn)練語言模型的里程碑方法，然后進(jìn)一步介紹針對預(yù)訓(xùn)練語言模型中的...語言模型EMLo大模型展示的推理過程可信嗎？Anthropic這項(xiàng)研究給出了一些答案
最近，以deepSeekR1為代表的推理模型成為熱點(diǎn)，他們可以展示自己的思考過程，一步步解決復(fù)雜的問題，讓原本黑盒模型變得具有可解釋性，同時(shí)也為AI安全研究提供了窗口，便于發(fā)現(xiàn)潛在的不良行為。但一個(gè)核心問題是：我們能相信AI思維鏈中呈現(xiàn)的內(nèi)容嗎？理想的思維鏈應(yīng)既易懂又“忠誠”（Faithful），即真實(shí)反映模型的思考過程。然而，現(xiàn)實(shí)中我們無法保證這一點(diǎn)。模型可能無法用人類語言完全表達(dá)其內(nèi)部決策，甚至可能故意隱藏部分...大模型Anthropic推理模型哈佛大學(xué)：高維回歸中的Scaling Law是重整化的自然結(jié)果
社區(qū)頭條《高維回歸中的縮放和重整化》【文獻(xiàn)1】由哈佛大學(xué)物理系、腦科學(xué)中心、工程與應(yīng)用科學(xué)學(xué)院、自然與人工智能研究所多位學(xué)者共同撰寫，將隨機(jī)矩陣?yán)碚摵妥杂筛怕视糜诶斫飧呔S嶺回歸模型的縮放與重整化行為。一、背景知識1.嶺回歸（RidgeRegression）一種線性回歸技術(shù)，損失函數(shù)中加入L2正則化項(xiàng)，防止過擬合并提高泛化能力，特別適用于自變量高度相關(guān)的情況。2.隨機(jī)特征模型（RandomFeatureModel）一種用于高維數(shù)據(jù)建模和機(jī)器學(xué)...ScalingLaw優(yōu)化揭秘AI內(nèi)部機(jī)制：AI理解的重大突破
Anthropic連發(fā)兩篇相互關(guān)聯(lián)的大模型內(nèi)部機(jī)制研究報(bào)告【文獻(xiàn)1、文獻(xiàn)2】：構(gòu)建了AI“顯微鏡”，并用它追蹤了大模型思維，這是繼去年?揭秘大模型黑盒之后的重大進(jìn)展?！疚墨I(xiàn)1】構(gòu)建了替代模型（replacementmodel）作為AI“顯微鏡”通過這個(gè)替代模型，亦步亦趨的捕獲針對每一個(gè)提示語的歸因圖（attributiongraph）歸因圖用于描述模型在特定輸入提示下生成目標(biāo)詞元輸出時(shí)所經(jīng)歷的推理步驟。歸因圖的邊表征節(jié)點(diǎn)間的線性影響關(guān)系，節(jié)...AI內(nèi)部機(jī)制自然語言融合語言模型的多模態(tài)大模型研究
近年來，大語言模型（Largelanguagemodel,LLM）取得了顯著進(jìn)展。以ChatGPT為代表的LLM在自然語言任務(wù)上展現(xiàn)出驚人的智能涌現(xiàn)能力。盡管LLM在很多推理任務(wù)上表現(xiàn)出前所未有的接近人類的性能，但是單純的LLM只能處理文本類任務(wù)。與此同時(shí)，在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的視覺基礎(chǔ)模型也在快速發(fā)展。盡管在視覺領(lǐng)域還沒有出現(xiàn)“ChatGPT時(shí)刻”，但是預(yù)訓(xùn)練視覺基礎(chǔ)模型已經(jīng)可以在很多真實(shí)視覺場景、數(shù)據(jù)集上表現(xiàn)出優(yōu)秀的零樣本、少樣本性...語言模型多模態(tài)大模型大神卡帕西強(qiáng)烈推薦：通過做項(xiàng)目來學(xué)習(xí)，堅(jiān)持“1萬小時(shí)定律”
我們似乎正步入一個(gè)全新的計(jì)算范式，類似于計(jì)算機(jī)技術(shù)在1980年代的轉(zhuǎn)型。我們正在進(jìn)入的新范式，大語言模型就像CPU一樣，使用Token而不是字節(jié)，并且有一個(gè)上下文窗口而不是RAM，這就是大語言模型操作系統(tǒng)（LargeLanguageModelOS,LMOS）。隨后在18分鐘左右的演講中，Karpathy分享了從15年前初次接觸人工智能至今的感受。過程中還回顧了在OpenAI的經(jīng)歷，描述了公司從八個(gè)人在公寓里工作到如今成為市值近千億美元的行業(yè)巨頭。不過...模型計(jì)算機(jī)Agent不會在2025爆發(fā)
原創(chuàng) 社區(qū)頭條
熱門內(nèi)容榜 ? 最近上榜作者云昭大模型已經(jīng)在聚光燈下狂奔了28個(gè)月，時(shí)至今日，Agent已經(jīng)被成為了包括黃仁勛、奧特曼、李彥宏、周鴻祎、吳泳銘等一眾科技大佬在內(nèi)備受期待的2025爆發(fā)品。可正如不久前“朱嘯虎不太看好機(jī)器人賽道”一般，Agent賽道同樣也存在著一場泡沫之下的非共識。1.巨頭爭相較量，市場異常冷談我們先從企業(yè)內(nèi)部的Agent來看下。進(jìn)入去年下半年以來，大洋兩岸的軟件巨頭對AIAgent的投入越發(fā)顯得激進(jìn)。2024年9月，全球SaaS巨頭Salesfor...AgentC端OpenAI基于 DeepSeek GRPO 的 1.5B Rust 代碼生成模型訓(xùn)練實(shí)戰(zhàn)
原創(chuàng)編者按：群組相對策略優(yōu)化（GRPO）如何讓小型專用模型在特定任務(wù)上實(shí)現(xiàn)性能提升？我們今天為大家?guī)淼倪@篇文章展示了如何使用GRPO，訓(xùn)練一個(gè)僅有1.5B參數(shù)的Rust代碼生成模型，實(shí)現(xiàn)性能大幅提升。文章詳細(xì)介紹了作者基于Qwen2.5Coder1.5BInstruct模型使用GRPO技術(shù)進(jìn)行訓(xùn)練的實(shí)踐經(jīng)驗(yàn)。作者選擇Rust語言作為實(shí)驗(yàn)對象，利用其嚴(yán)格的編譯器和完善的工具鏈作為反饋機(jī)制，構(gòu)建了一套基于格式驗(yàn)證與Cargo的獎勵(lì)函數(shù)。通過單次GRPO訓(xùn)練...GRPOLLMsTypeScript版LlamaIndex來襲！用Agentic RAG構(gòu)建智能AI代理，效率與隱私雙提升！
原創(chuàng)想象一下，有一個(gè)私人研究助手不僅能理解你的問題，還能智能地決定如何找到答案。對于某些問題，它會深入你的文檔庫中查找答案，而對于其他問題，它則會生成富有創(chuàng)意的回應(yīng)。這聽起來是不是很酷？其實(shí)，這一切都可以通過使用AgenticRAG（檢索增強(qiáng)型生成）和LlamaIndexTypeScript系統(tǒng)來實(shí)現(xiàn)。無論你是想創(chuàng)建一個(gè)文獻(xiàn)分析系統(tǒng)、技術(shù)文檔助手，還是任何知識密集型應(yīng)用，本文介紹的方法都將為你提供一個(gè)實(shí)用的基礎(chǔ)框架。接下來，我...LlamaIndexAgentic RAGAI代理AI智能代理：2025年改變世界的七大行業(yè)應(yīng)用
原創(chuàng)在科技飛速發(fā)展的今天，人工智能（AI）已經(jīng)從科幻小說走進(jìn)了我們的日常生活。而其中，AI智能代理（AIAgents）更是成為了推動行業(yè)變革的關(guān)鍵力量。它們像一個(gè)個(gè)聰明的“數(shù)字助手”，能夠感知環(huán)境、自主決策并執(zhí)行任務(wù)，讓復(fù)雜的工作變得簡單，讓繁瑣的流程變得高效。今天，就讓我們一起深入探索AI智能代理在不同領(lǐng)域的應(yīng)用，以及它們?nèi)绾沃厮芪覀兊氖澜?。一、什么是AI智能代理？簡單來說，AI智能代理就是那些能夠獨(dú)立運(yùn)行、自主...AI智能代理AI Agents騰訊Hunyuan-T1來襲：Mamba架構(gòu)重塑語言模型推理能力
原創(chuàng)在人工智能領(lǐng)域，語言模型的發(fā)展一直備受矚目。從早期的簡單模型到如今的超大語言模型，每一次技術(shù)的突破都為我們的生活和工作帶來了巨大的改變。騰訊AI研究團(tuán)隊(duì)帶來了一個(gè)全新的驚喜——HunyuanT1，這是一個(gè)基于Mamba架構(gòu)的超大語言模型，它在深度推理、上下文效率和人類中心強(qiáng)化學(xué)習(xí)方面重新定義了標(biāo)準(zhǔn)。接下來，就讓我們一起深入了解HunyuanT1的奧秘吧！一、HunyuanT1的誕生背景在當(dāng)今的信息時(shí)代，我們每天都在處理大量的文...騰訊Hunyuan-T1Mamba架構(gòu)AI鏡頭控制黑科技喜提多項(xiàng)SOTA！浙大&上交等發(fā)布統(tǒng)一多模態(tài)視頻生成框架OmniCam
文章地址：https:arxiv.orgpdf2504.02312圖1：OmniCam概述。鑒于內(nèi)容參考和軌跡引導(dǎo)的不同形式，OmniCam通過相機(jī)運(yùn)動控制生成高質(zhì)量的視頻序列。具體而言，OmniCam集成了內(nèi)容（如圖像或視頻）和軌跡（如文本指令或視頻中的相機(jī)運(yùn)動）參考的各種組合。這種方法使OmniCam能夠準(zhǔn)確合成與用戶指定輸入一致的視頻亮點(diǎn)直擊提出了OmniCam模型，該模型支持復(fù)雜靈活的控制，允許幀級控制，通過多模態(tài)實(shí)現(xiàn)軌跡控制，并能處理多模態(tài)數(shù)據(jù)。...視頻生成AI0.72秒生成3D世界！建模提速15倍！極佳&北大等的WonderTurbo強(qiáng)勢登場，可實(shí)時(shí)交互！
社區(qū)頭條 熱門內(nèi)容榜 ? 最近上榜文章鏈接：https:arxiv.orgpdf2504.02261項(xiàng)目鏈接：https:wonderturbo.github.io從一幅圖像開始，用戶可以自由調(diào)整視角，交互式地控制3D場景的生成，每次交互只需0.72秒亮點(diǎn)直擊提出了WonderTurbo，首個(gè)實(shí)時(shí)（推理耗時(shí)：0.72秒）的3D場景生成方法，支持用戶交互式創(chuàng)建多樣化且連貫連接的場景。在幾何效率優(yōu)化方面，提出的StepSplat將前饋范式（feedforwardparadigm）擴(kuò)展至交互式3D幾何表示，可在0.26秒內(nèi)加速3D場景擴(kuò)展。此外...3D生成模型GenAI紅隊(duì)：將LLM置于網(wǎng)絡(luò)安全測試中的技巧和技術(shù)
原創(chuàng) 社區(qū)頭條從頭構(gòu)建一個(gè)GenAI紅隊(duì)，或者讓現(xiàn)有的紅隊(duì)適應(yīng)新技術(shù)是一個(gè)復(fù)雜的過程，OWASP在其最新指南中幫助闡釋了這一過程。紅隊(duì)是測試和支持網(wǎng)絡(luò)安全系統(tǒng)的一種有效方法，但它仍需適應(yīng)技術(shù)的發(fā)展而不斷完善。近年來，生成式人工智能（GenAI）和大型語言模型（LLM）的爆炸式增長正迫使紅隊(duì)世界適應(yīng)。監(jiān)管和管理機(jī)構(gòu)對AI相關(guān)紅隊(duì)的重視，包括歐盟的《人工智能法案》和美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）的人工智能風(fēng)險(xiǎn)管理框架，突顯了它的...LLMGenAI生成式人工智能AI智能體融合時(shí)代 數(shù)據(jù)隱私安全的“守護(hù)之道”
原創(chuàng)隨著AIAgent的廣泛應(yīng)用，大語言模型時(shí)代的人機(jī)交互也將升級人類與AIAgent的自動化合作體系。這種新型人機(jī)合作可以稱之為人機(jī)智能體，它將推動人類社會的生產(chǎn)結(jié)構(gòu)進(jìn)一步升級，進(jìn)而影響社會的各個(gè)方面。智能體融合AIAgent可以讓LLM從“超級大腦”進(jìn)化為人類的“全能助手”，這意味著基于LLM的Agent助手以后將會服務(wù)更多的人與組織。同時(shí)，一個(gè)具備交流能力并能自主自動執(zhí)行任務(wù)的智能網(wǎng)絡(luò)將是互聯(lián)網(wǎng)的下一階段，AIAgent將是人類與...AI智能體數(shù)據(jù)隱私安全一文讀懂AI智能體融合與數(shù)據(jù)隱私安全問題
原創(chuàng)隨著AIAgent的廣泛應(yīng)用，大語言模型時(shí)代的人機(jī)交互也將升級人類與AIAgent的自動化合作體系。這種新型人機(jī)合作可以稱之為人機(jī)智能體，它將推動人類社會的生產(chǎn)結(jié)構(gòu)進(jìn)一步升級，進(jìn)而影響社會的各個(gè)方面。智能體融合AIAgent可以讓LLM從“超級大腦”進(jìn)化為人類的“全能助手”，這意味著基于LLM的Agent助手以后將會服務(wù)更多的人與組織。同時(shí)，一個(gè)具備交流能力并能自主自動執(zhí)行任務(wù)的智能網(wǎng)絡(luò)將是互聯(lián)網(wǎng)的下一階段，AIAgent將是人類與...AI智能體數(shù)據(jù)隱私安全你了解大模型的生態(tài)體系嗎？大模型從技術(shù)到應(yīng)用的內(nèi)容梳理
原創(chuàng)“神經(jīng)網(wǎng)絡(luò)技術(shù)從理論到應(yīng)用是一個(gè)龐大的體系，我們需要知道的是這個(gè)體系是怎么構(gòu)成的，每一層都有哪些內(nèi)容”關(guān)于大模型我想很多人都會有這樣或那樣的問題，最基礎(chǔ)的就是不知道大模型是什么，技術(shù)場景和業(yè)務(wù)場景分不清楚；也不知道大模型有哪些能力，然后利用大模型能做些什么。因此，今天我們就來梳理一下大模型體系，從技術(shù)到應(yīng)用之間的關(guān)系，以及各個(gè)環(huán)節(jié)所涉及到的技術(shù)。大模型體系——從技術(shù)到應(yīng)用大家之所以搞不明白大模...大模型Llama 4 凌晨震撼發(fā)布：Meta開源最強(qiáng)MoE多模態(tài)模型，1000萬上下文碾壓行業(yè)！
原創(chuàng) 熱門內(nèi)容榜 ? 最近上榜就在4月6日凌晨，Meta毫無預(yù)兆地發(fā)布了Llama4，這是其開源大模型Llama系列的最新成員，也是迄今為止最強(qiáng)的開源多模態(tài)大模型！此次發(fā)布的Llama4系列包括Scout、Maverick和Behemoth三個(gè)版本，其中Scout和Maverick已開放下載，而Behemoth仍在訓(xùn)練中，預(yù)計(jì)未來幾個(gè)月正式亮相。Meta首席執(zhí)行官馬克·扎克伯格在官方公告中激動地表示：“我們的目標(biāo)是打造世界領(lǐng)先的AI，并將其開源，讓全球受益。今天，Llama4讓這一愿景更進(jìn)一步！”下...DeepSeekLlama 4開源AI人工智能Fin-R1：通過強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)金融推理的大語言模型
原創(chuàng)摘要推理大語言模型（LLMs）正在各個(gè)領(lǐng)域快速發(fā)展，但其處理復(fù)雜金融問題的能力仍需深入探索。本文介紹了FinR1，一個(gè)專為金融推理設(shè)計(jì)的大語言模型。該模型參數(shù)規(guī)模輕量（70億），顯著降低了部署成本，同時(shí)有效解決了金融領(lǐng)域的三大痛點(diǎn)：碎片化的金融數(shù)據(jù)、不可控的推理邏輯以及薄弱的業(yè)務(wù)泛化能力。為提升模型推理能力，我們首先通過從多個(gè)權(quán)威數(shù)據(jù)集蒸餾和篩選，構(gòu)建了FinR1Data——一個(gè)包含約60,091條完整思維鏈（CoT）的高...Fin-R1強(qiáng)化學(xué)習(xí)大語言模型MCP 架構(gòu)設(shè)計(jì)演進(jìn)：從 Local MCP Server 到 Remote MCP Server 開源架構(gòu)設(shè)計(jì)實(shí)現(xiàn)
原創(chuàng) 精華 熱門內(nèi)容榜 ? 最近上榜ModelContextProtocol（MCP）模型上下文協(xié)議（如下圖所示）是Anthropic發(fā)布的一種標(biāo)準(zhǔn)化協(xié)議，使得Agent智能體應(yīng)用可以更快捷地與下游異構(gòu)的數(shù)據(jù)或者工具進(jìn)行交互，還不熟悉的同學(xué)可以看這里《??王炸！MCP架構(gòu)設(shè)計(jì)深度剖析&使用SpringAI+MCP四步教你實(shí)現(xiàn)Agent智能體開發(fā)???》。最近，兩大關(guān)鍵事件標(biāo)志著MCP已從事實(shí)標(biāo)準(zhǔn)邁向行業(yè)標(biāo)準(zhǔn)：一方面，OpenAI正式宣布跟進(jìn)Anthropic的MCP協(xié)議，另一方面，Anthropic發(fā)布了新版本MCP協(xié)...MCP架構(gòu)
