最近，AI領(lǐng)域又掀起了一陣波瀾！MetaAI一次性推出了三款全新的Llama4模型，直接把開源AI的“戰(zhàn)火”燒到了新的高度。在這個(gè)大家都忙著堆砌“閉源大模型”的時(shí)代，Meta卻選擇了另一條路：把強(qiáng)大的AI能力免費(fèi)開源，讓每個(gè)人都能用上。今天，咱們就來好好盤一盤這三款Llama4模型，看看它們到底有多厲害！Llama4家族：各有千秋的“三兄弟”Meta這次推出的Llama4家族，包括Scout、Maverick和Behemoth三款模型。這三款模型各有特點(diǎn)，從...

在信息爆炸的時(shí)代，我們每天都在海量的數(shù)據(jù)中穿梭，試圖找到真正有價(jià)值的信息。而RetrievalAugmentedGeneration（RAG）系統(tǒng)的出現(xiàn)，就像是一盞明燈，照亮了我們在信息海洋中的前行之路。但你有沒有想過，RAG系統(tǒng)之所以能夠精準(zhǔn)地為我們提供有用的信息，背后其實(shí)有一個(gè)關(guān)鍵的“把關(guān)人”——重排器（Reranker）。今天，就讓我們一起深入探索重排器的世界，看看它是如何在RAG系統(tǒng)中發(fā)揮著不可或缺的作用。一、什么是RAG中的重排器...

1.RAG技術(shù)現(xiàn)狀與核心挑戰(zhàn)1.1技術(shù)架構(gòu)解析RAG（RetrievalAugmentedGeneration）系統(tǒng)采用雙階段架構(gòu)：檢索模塊：基于稀疏檢索（BM25）、密集檢索（DPR、ANCE）或混合檢索，使用FAISSHNSW構(gòu)建向量索引生成模塊：基于Transformer架構(gòu)的預(yù)訓(xùn)練語言模型（如ChatGPT、Qwen），通過CrossAttention融合檢索結(jié)果典型RAG偽代碼示例retrieverDenseRetriever(indexfaissindex)generatorT5ForConditionalGeneration.frompretrained(...)defrag...

在數(shù)字化浪潮的推動(dòng)下，AI技術(shù)正以前所未有的速度改變著企業(yè)的運(yùn)營方式。AI代理（AIAgents）作為其中的關(guān)鍵應(yīng)用，正在幫助企業(yè)實(shí)現(xiàn)從客戶服務(wù)到流程自動(dòng)化的全方位升級。然而，面對市場上眾多的AI代理構(gòu)建器，企業(yè)該如何做出最佳選擇呢？今天，我們就來深入探討這一問題，并為你揭曉2025年最值得企業(yè)關(guān)注的四大AI代理構(gòu)建器。一、AI代理：企業(yè)數(shù)字化轉(zhuǎn)型的新引擎在深入了解AI代理構(gòu)建器之前，我們先來了解一下什么是AI代理。簡...

AI大模型應(yīng)用開發(fā)作為新興領(lǐng)域，不斷出現(xiàn)新的技術(shù)：LLM、Prompt、RAG、Agent、Finetuning、MCP等，本文聚焦AI大模型應(yīng)用開發(fā)，帶領(lǐng)大家入門，帶領(lǐng)大家了解AI大模型應(yīng)用開發(fā)的全攻略。盡管市面上的大語言模型（LLMs）種類繁多，但大家在使用時(shí)其實(shí)都是通過API來與大模型交互的。這些大模型的接口通常遵循一些通用的規(guī)范，比如：OpenAI的標(biāo)準(zhǔn)。下面，我們就以O(shè)penAI接口為例，來聊聊這些大模型都有哪些能力。當(dāng)你和大模型交流時(shí)，...

嘿，大家好！這里是一個(gè)專注于前沿AI和智能體的頻道還記得Google剛出現(xiàn)時(shí)那種"真TM牛逼"的感覺么？到現(xiàn)在，當(dāng)我們習(xí)慣了“問啥搜啥”的節(jié)奏，搜索引擎的革命又來了——不過這次，它不是為人類設(shè)計(jì)的！今天要介紹的Exa，是專為AIAgent打造的搜索引擎，重新定義AI時(shí)代的搜索基礎(chǔ)設(shè)施。2024年7月完成了2200萬美金的A輪融資，由Lightspeed領(lǐng)投，英偉達(dá)、YC等跟投，ARR超千萬美金。人類搜索VSAgent搜索：差別到底在哪？人類搜索："機(jī)...

大語言模型（LLMs）能力強(qiáng)大，能生成各類文本，精準(zhǔn)回答知識(shí)疑問，還可用于機(jī)器翻譯、代碼編寫等場景。然而，大語言模型也存在明顯短板，無法獲取實(shí)時(shí)數(shù)據(jù)，在面對需最新信息的問題時(shí)，難以給出準(zhǔn)確答案。為攻克這一難題，Anthropic推出了模型上下文協(xié)議（ModelContextProtocol，簡稱MCP）。這一標(biāo)準(zhǔn)將大語言模型與實(shí)時(shí)工具、APIs和自定義資源相連，拓展其能力，讓它能處理更多實(shí)時(shí)信息任務(wù)，補(bǔ)齊短板。本文教大家如何搭建MCP服...

MCP正在成為一種標(biāo)準(zhǔn)，可幫助開發(fā)人員構(gòu)建AI系統(tǒng)，使這些系統(tǒng)能夠與其他外部應(yīng)用程序進(jìn)行有效通信。Microsoft最近宣布將MCP集成到其CopilotStudio中，以簡化AI應(yīng)用程序和代理訪問工具的方式。此外，OpenAI還宣布在其產(chǎn)品中支持MCP，例如AgentsSDK和ChatGPT的桌面應(yīng)用程序。封面的圖片很直觀的闡述了MCP，它是一種開放協(xié)議，MCP是一個(gè)開放協(xié)議，用于標(biāo)準(zhǔn)化應(yīng)用程序向大語言模型提供上下文的方式。MCP由Anthropic公司在2024年底推...

編輯｜云昭4月10凌晨,谷歌CEO皮查伊帶著一系列重磅的發(fā)布亮相拉斯維加斯Next2025，可謂從底層的TPU芯片到上層的Agent構(gòu)建，都有讓人眼前一亮的新品。??????????????????1.性能提升3600倍，專為推理而生的TPU正式發(fā)布谷歌第七代TPUIronwood，它專為推理而設(shè)計(jì)。皮查伊介紹道，相較于第一代云TPU，Ironwood性能提升了3600倍，效率提升了29倍。Ironwood將于今年晚些時(shí)候上市。圖片谷歌作為唯一一家擁有超過十年...

Dify作為一款先進(jìn)的AI應(yīng)用開發(fā)平臺(tái)，其檢索增強(qiáng)生成(RAG)功能為知識(shí)管理提供了強(qiáng)大支持。本指南將詳細(xì)介紹如何利用該平臺(tái)搭建高效知識(shí)庫系統(tǒng)。在模型選擇方面，雖然本示例采用OpenAI的接口，但平臺(tái)同樣兼容各類本地化模型部署方案，如Ollama框架等。前置知識(shí)數(shù)據(jù)采集階段支持多格式文檔上傳接口智能文檔解析與內(nèi)容提取內(nèi)容結(jié)構(gòu)化處理自適應(yīng)文本分塊算法向量空間映射轉(zhuǎn)換高維索引存儲(chǔ)方案查詢響應(yīng)機(jī)制語義向量實(shí)時(shí)計(jì)算多維度相似...

本篇分享RAG與longcontext結(jié)合的實(shí)踐方案。本篇始于一個(gè)老生常談的話題，“一旦大模型的ContextLength變大，RAG還有沒有存活的必要？”RAG主要通過問題從知識(shí)庫中找相關(guān)答案，然后把檢索到的內(nèi)容再用大模型總結(jié)；Longcontext相當(dāng)于把全部文本內(nèi)容輸入給大模型，利用大模型查找或總結(jié)。這兩者評估的維度包括成本、是否使模型變得更智能、是否可以混合檢索和推理、是否可以緩存、推理時(shí)間等等。其實(shí)兩者之爭也相當(dāng)于左右手之爭，...

背景隨著我們在Dify平臺(tái)上不斷開發(fā)新的Agent，我們需要對Agent的能力是否滿足預(yù)期進(jìn)行評估。因此，本章內(nèi)容主要介紹我們設(shè)計(jì)Agent評測數(shù)據(jù)集體系思路以及具體實(shí)施方案。目標(biāo)建立一個(gè)評估Dify平臺(tái)上Agent基礎(chǔ)能力的評測體系。方案假設(shè)我們在Dify平臺(tái)上開發(fā)了一個(gè)專利輔助助手Agent，如果我們要對該Agent進(jìn)行能力評估，那么評估維度大致分為兩層：基礎(chǔ)能力層基礎(chǔ)能力評估層，主要是Agent的通用能力進(jìn)行評估，大體評估項(xiàng)以及評估指...

“隨著大語言模型（LLM）的廣泛應(yīng)用，如何高效部署和推理模型成為開發(fā)者關(guān)注的核心問題。”隨著大模型的成本越來越低，以及企業(yè)生產(chǎn)中對大模型的定制化需求，越來越多的企業(yè)選擇在本地部署大模型；這樣既滿足了數(shù)據(jù)安全性需求，同樣也增加了企業(yè)定制化的選擇。但由于大模型是資源大戶，再加上并發(fā)性需求，因此選擇一個(gè)好的高性能的大模型部署框架是很多企業(yè)都要面臨的主要問題。所以，今天就來介紹幾種部署大模型的方式和框架。...

全球AI領(lǐng)導(dǎo)者英偉達(dá)開源了，用于實(shí)體機(jī)器人和自動(dòng)化駕駛的超大訓(xùn)練數(shù)據(jù)合集——NVIDIAPhysicalAIDataset。這個(gè)數(shù)據(jù)集一共15T，涵蓋了超過320,000個(gè)機(jī)器人訓(xùn)練軌跡，以及多達(dá)1,000個(gè)通用場景描述，還包括一個(gè)SimReady集合。此外，用于支持端到端自動(dòng)駕駛汽車（AV）開發(fā)的專用數(shù)據(jù)即將推出，這些數(shù)據(jù)將包括來自美國1,000多個(gè)城市和歐洲二十多個(gè)國家的多樣化交通場景的20秒剪輯，這對于訓(xùn)練自動(dòng)化駕駛非常珍貴。開源地址：??http...

今天凌晨4點(diǎn)，著名大模型訓(xùn)練平臺(tái)TogetherAI和智能體平臺(tái)Agentica，聯(lián)合開源了新模型DeepCoder14BPreview。該模型只有140億參數(shù)，但在知名代碼測試平臺(tái)LiveCodeBench的測試分為60.6%，高于OpenAI的o1模型（59.5%），略低于o3mini（60.9%）。在Codeforces、AIME2024上的評測數(shù)據(jù)同樣非常出色，幾乎與o1、o3mini差不多。值得一提的是，TogetherAI不僅開源了DeepCoder14B模型權(quán)重，還把訓(xùn)練數(shù)據(jù)集、訓(xùn)練方法、訓(xùn)練日志和優(yōu)化方法全...

本文提出了一種使用人工智能幻覺來評估圖像真實(shí)感的新方法，對此方法的實(shí)現(xiàn)原理進(jìn)行詳細(xì)闡述，并給出詳細(xì)的實(shí)驗(yàn)結(jié)果證明。引言最近，俄羅斯的一項(xiàng)新研究提出了通過一種非常規(guī)方法來檢測不切實(shí)際的人工智能生成的圖像。這種方法的主要思想是：不是通過提高大型視覺語言模型（LVLM）的準(zhǔn)確性，而是通過有意利用它們??產(chǎn)生幻覺的傾向??。?這種新方法使用LVLM提取有關(guān)圖像的多個(gè)“原子事實(shí)”，然后應(yīng)用??自然語言推理??（N...

MetaAI發(fā)布了Llama4模型，終于來啦！開源社區(qū)也是等了很久。本次共兩系列模型Scout和Maverick模型，兩個(gè)模型均為MoE架構(gòu)模型，DeepSeek得含金量還在提高，哈哈哈！榜單效果反正是杠杠滴。HF模型路徑：https:huggingface.cocollectionsmetallamallama467f0c30d9fe03840bc9d0164模型的總體信息如上圖所示，模型MoE架構(gòu)中，無論是Scout還是Maverick，激活的路由專家數(shù)據(jù)均為1，有點(diǎn)奇怪，之前MoE架構(gòu)一般激活路由專家數(shù)據(jù)都是2或更...

該框架不僅能夠有效挖掘潛在的跨文檔關(guān)系，還能同時(shí)去除無關(guān)信息和冗余內(nèi)容。我基于GPT3.5構(gòu)建的方法在多個(gè)常用的知識(shí)問答和幻覺檢測數(shù)據(jù)集上進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該方法在各種場景和實(shí)驗(yàn)設(shè)置下均實(shí)現(xiàn)了性能的顯著提升，展現(xiàn)出強(qiáng)大的魯棒性和廣泛的適用性。https:arxiv.orgabs2504.03165一、為什么需要高效動(dòng)態(tài)聚類文檔壓縮技術(shù)？1.1大語言模型的挑戰(zhàn)與檢索增強(qiáng)生成（RAG）的興起近年來，大語言模型（LargeLanguageModels...

一、背景在大規(guī)模分布式訓(xùn)練場景中，計(jì)算和通信的重疊（Overlap）一直是一個(gè)關(guān)鍵的研究熱點(diǎn)。隨著硬件性能的提升，計(jì)算能力和通信帶寬之間的差距日益顯著。如下圖所示，硬件算力每2年大約擴(kuò)大3x，而通信帶寬每2年只提升1.4x，這種差距帶來的影響在大規(guī)模訓(xùn)練任務(wù)中愈加明顯。例如，在使用H100和A100集群進(jìn)行LLM訓(xùn)練時(shí)，H100的通信開銷占比通常會(huì)高于A100。這種情況下，通信可能成為了系統(tǒng)性能的瓶頸，因此，如何在計(jì)算和通信之...

一、背景筆者之前的文章（萬字綜述LLM訓(xùn)練中的Overlap優(yōu)化：字節(jié)Flux等7種方案）中詳細(xì)介紹過各種計(jì)算與通信Overlap的方案，這里進(jìn)一步介紹字節(jié)最近發(fā)表的TileLink，其中提到的大部分工作已經(jīng)包含在我們之前的綜述中，建議優(yōu)先閱讀，比如CoCoNet、Centauri、Flux等。對應(yīng)的論文：[2503.20313]TileLink:GeneratingEfficientComputeCommunicationOverlappingKernelsusingTileCentricPrimitives[1]二、摘要大規(guī)模深度學(xué)習(xí)模型通常...