當(dāng)查看大型語言模型（LLMs）的最新發(fā)布時(shí)，你經(jīng)常會(huì)看到標(biāo)題中帶有“MoE”。這個(gè)“MoE”代表什么？為什么這么多LLMs都在使用它？在這份視覺指南中，我們將花時(shí)間探索這個(gè)重要組件——專家混合（MoE），通過超過50個(gè)可視化進(jìn)行深入探討！在此視覺指南中，我們將介紹MoE的兩個(gè)主要組件，即專家和路由器，以及它們?cè)诘湫偷幕贚LM架構(gòu)中的應(yīng)用。查看與LLMs相關(guān)的更多可視化內(nèi)容，并支持此通訊，請(qǐng)參閱我寫的關(guān)于大型語言模型的書籍...

今天，OpenAI在ChatGPT中推出了名為“Tasks”（任務(wù)安排）的新功能。簡(jiǎn)單理解，就是允許模型在指定時(shí)間或周期，主動(dòng)給我們推送消息或執(zhí)行預(yù)先設(shè)定的對(duì)話邏輯。比如，每天9點(diǎn)提醒你關(guān)注某條新聞，或每周日生成一份“膳食規(guī)劃”。?功能入口：需要先切換到“GPT4owithscheduledtasks”的對(duì)話，再發(fā)出“創(chuàng)建任務(wù)”請(qǐng)求。?用法示例：1.讓ChatGPT每天早上檢查股價(jià)并發(fā)送給你2.每天9點(diǎn)半提醒我鍛煉:3.每周發(fā)送全球新聞簡(jiǎn)報(bào)，獲取每日...

想象一下：凌晨三點(diǎn)，你盯著一條完全看不懂的錯(cuò)誤信息，代碼崩潰了，第五杯咖啡的杯底也見了天。你嘗試了所有能想到的辦法，但那個(gè)頑固的Bug依然存在，用它刺眼的紅色錯(cuò)誤信息嘲笑著你。我們都經(jīng)歷過這樣的時(shí)刻。在這種絕望的時(shí)刻，你面前有兩條路：向AI聊天機(jī)器人求助，或者深入StackOverflow和Reddit的海洋。雖然AI可能看起來是更快的解決方案，但讓我告訴你一個(gè)故事，為什么這些傳統(tǒng)的人力驅(qū)動(dòng)平臺(tái)仍然是解決問題的最佳選擇...

今天凌晨，微軟宣布其開源AIAgentAutoGen發(fā)布0.4版本，全面重新設(shè)計(jì)的庫，在代碼穩(wěn)定性、魯棒性、通用性和可擴(kuò)展性方面更好，可以開發(fā)前沿高級(jí)AIAgent應(yīng)用。開源地址：https:github.commicrosoftautogen自微軟開源AutoGen以來在github已獲得超37000顆星，成為AIAgent領(lǐng)域應(yīng)用最多的框架之一。由于開發(fā)者的快速增長(zhǎng)，也帶來了API效率低下以及調(diào)試和干預(yù)功能有限等難題。同時(shí)開發(fā)者對(duì)AIAgent自動(dòng)化行為的可觀測(cè)性、控制能力、多層...

一、創(chuàng)作背景目前大多數(shù)的智能體應(yīng)用都是圍繞娛樂，更多的是一種新鮮事物的嘗鮮，比如做海報(bào)圖片、寫廣告文案、角色聊天。這主要是考慮到現(xiàn)有大模型的能力邊界，只能做一些用戶容錯(cuò)性比較大的場(chǎng)景。但我覺得大模型的能力在不斷提升，特別是Qwen2.5已經(jīng)突破了原先的一些能力限制，所以我想有必要去打破和探索一下基于Qwen的智能體的能力邊界，做一些在真實(shí)經(jīng)濟(jì)生活中有真實(shí)業(yè)務(wù)需求的應(yīng)用，而不僅僅是個(gè)人“找個(gè)樂子”。所以，雖...

論文鏈接：https:arxiv.orgpdf2412.21117git鏈接：https:freemty.github.ioprojectprometheus亮點(diǎn)直擊Prometheus，這是一種面向文本到3D生成的3D感知隱空間擴(kuò)散模型，適用于對(duì)象和場(chǎng)景級(jí)別。按照標(biāo)準(zhǔn)的隱空間擴(kuò)散范式，將訓(xùn)練分為兩個(gè)不同的階段。在第一階段，訓(xùn)練一個(gè)3D高斯變分自編碼器（GSVAE），它以多視角或單視角RGBD圖像為輸入，預(yù)測(cè)每個(gè)像素對(duì)齊的3D高斯。在第二階段，訓(xùn)練一個(gè)多視角LDM，聯(lián)合預(yù)測(cè)多視角RGBD隱空間code...

圖數(shù)據(jù)庫的剪枝通過刪除不必要的信息并加以改進(jìn)，可以使LLM更快、更高效，同時(shí)節(jié)省電力和資源。大型語言模型（LLM）通過從龐大的數(shù)據(jù)集中學(xué)習(xí)復(fù)雜的語言模式，極大地推進(jìn)了自然語言處理（NLP）的發(fā)展。然而，當(dāng)這些模型與結(jié)構(gòu)化知識(shí)圖譜（用于表示實(shí)體之間關(guān)系的數(shù)據(jù)庫）結(jié)合在一起時(shí)，可能面臨一些挑戰(zhàn)。知識(shí)圖譜在提供結(jié)構(gòu)化知識(shí)方面非常有用，可以增強(qiáng)LLM對(duì)特定領(lǐng)域的理解。隨著圖譜的不斷擴(kuò)大，它們往往會(huì)變得龐大笨重，從...

01、概述隨著人工智能技術(shù)的不斷發(fā)展，越來越多的創(chuàng)新成果正影響著我們?nèi)粘Ｉ畹母鱾€(gè)方面。在這一系列進(jìn)步中，OpenAI最新發(fā)布的o3模型尤為引人注目。它被設(shè)計(jì)用來提高機(jī)器在需要結(jié)構(gòu)化思維的領(lǐng)域中的推理能力，尤其是在數(shù)學(xué)和科學(xué)等復(fù)雜領(lǐng)域。o3模型的推出，標(biāo)志著人工智能在邏輯推理和問題解決方面邁出了重要的一步。今天，我們就來深入探討一下OpenAIo3模型的強(qiáng)大功能和廣泛應(yīng)用。02、o3模型的核心突破OpenAI通過o3模型，顯...

01、引言在商業(yè)的浩瀚星河中，一場(chǎng)由人工智能（AI）引領(lǐng)的變革正悄然上演。2024年，AI已不再只是科幻小說中的概念，而是化身為銷售與客戶關(guān)系管理中的得力助手，憑借其強(qiáng)大的能力，重新定義了企業(yè)與客戶之間的互動(dòng)方式。從精準(zhǔn)的線索生成到深度的客戶參與，再到高效的銷售優(yōu)化，AI正將原本繁瑣復(fù)雜的銷售流程變得簡(jiǎn)單高效，讓不同規(guī)模的企業(yè)都能在激烈的市場(chǎng)競(jìng)爭(zhēng)中脫穎而出，實(shí)現(xiàn)業(yè)績(jī)的飛躍。02、AI在銷售領(lǐng)域的應(yīng)用現(xiàn)狀（一）...

01、概述在人工智能的浩瀚星河中，大型語言模型（LLMs）猶如一顆耀眼的明星，為現(xiàn)代AI應(yīng)用注入了強(qiáng)勁動(dòng)力。它們是聊天機(jī)器人、代碼生成器等工具背后的“大腦”，憑借海量數(shù)據(jù)和復(fù)雜算法，能夠理解、生成自然語言，甚至編寫代碼，展現(xiàn)出驚人的智能。然而，隨著對(duì)這些大模型依賴程度的加深，其推理過程中的諸多問題也逐漸浮出水面，成為制約其發(fā)展的瓶頸。02、大模型推理的困境注意力機(jī)制的局限注意力機(jī)制是大模型的核心組件之一...

文章鏈接：https:arxiv.orgpdf2501.01957git鏈接：https:github.comVITAMLLMVITA亮點(diǎn)直擊VITA1.5，一種多模態(tài)大語言模型（LLM），通過精心設(shè)計(jì)的三階段訓(xùn)練方法整合了視覺、語言和語音。該訓(xùn)練策略逐步引入視覺和語音數(shù)據(jù)，緩解了模態(tài)沖突，同時(shí)保持了強(qiáng)大的多模態(tài)性能。對(duì)圖像、視頻和語音理解相關(guān)的各類基準(zhǔn)進(jìn)行了廣泛評(píng)估，并將結(jié)果與開源和專有模型進(jìn)行了比較。VITA1.5展現(xiàn)了與領(lǐng)先的基于圖像視頻的多模態(tài)大語言模型（MLLMs...

最近，筆者系統(tǒng)的看了下一些比較經(jīng)典的多模態(tài)大模型實(shí)現(xiàn)思路，本著動(dòng)手實(shí)踐的態(tài)度，從零到一實(shí)現(xiàn)了一個(gè)多模態(tài)大模型，并命名為??Reyes（睿視）???，R：睿，eyes：眼。Reyes的參數(shù)量為8B，視覺編碼器使用的是??InternViT300M448pxV25???,語言模型側(cè)使用的是??Qwen2.57BInstruct??，與NVLM1.0等相關(guān)多模態(tài)大模型一樣，Reyes也通過一個(gè)兩層MLP投影層連接視覺編碼器與語言模型。最終，Reyes8B（0.447分）以更小的參數(shù)...

1、Agent智能體進(jìn)入黃金發(fā)展期AIAgent智能體的發(fā)展正步入黃金時(shí)代。隨著眾多新框架的層出不窮和對(duì)該領(lǐng)域的持續(xù)投入，現(xiàn)在AIAgent智能體已逐步擺脫初期的動(dòng)蕩，迅速崛起，成為開發(fā)者的首選，超越了RAG。那么，2025年是否會(huì)成為AIAgent智能體系統(tǒng)全面接管報(bào)告生成、撰寫郵件、預(yù)訂航班、數(shù)據(jù)分析等任務(wù)的元年呢？?這或許有可能，但距離這一目標(biāo)還有許多挑戰(zhàn)需要克服。在構(gòu)建AIAgent智能體的過程中，開發(fā)者們不僅要考慮選用哪種大...

AIAgent智能體，目前更具體地指的是LLMAgent。這是一種程序，其執(zhí)行邏輯受其底層模型（LLM）的操控。與少樣本提示或固定工作流等手段相比，LLMAgent的獨(dú)特之處在于它能定義并調(diào)整執(zhí)行用戶查詢所需的步驟。若能訪問一系列工具（例如：代碼執(zhí)行或網(wǎng)絡(luò)搜索），AIAgent智能體能夠決定采用何種工具、如何運(yùn)用它，并根據(jù)輸出結(jié)果進(jìn)行迭代優(yōu)化。這種靈活性使得系統(tǒng)能以最低限度的配置應(yīng)對(duì)多樣化的應(yīng)用場(chǎng)景。AIAgent智能體架構(gòu)涵蓋了從...

整理伊風(fēng)馬斯克的CES訪談絕對(duì)值得一看！他在半個(gè)小時(shí)的時(shí)間內(nèi)，拋出多枚重磅炸彈，還是那么原汁原味的馬斯克式的大膽預(yù)言！AI、機(jī)器人、火星殖民、腦機(jī)接口、政府效率部……看完整個(gè)專訪就像看了一部超超前的科幻電影一樣過癮！圖片這場(chǎng)視頻采訪的主持人是Stagwell首席執(zhí)行官馬克佩恩（MarkPenn），Stagwell是家技術(shù)驅(qū)動(dòng)的全球營(yíng)銷公司，而Mark曾擔(dān)任微軟的首席戰(zhàn)略官和著名政治顧問。話不多說，給這場(chǎng)干貨滿滿的采訪畫個(gè)重點(diǎn)：...

CAG：CacheAugmentedGeneration緩存增強(qiáng)生成。不要做RAG了：當(dāng)緩存增強(qiáng)生成對(duì)于知識(shí)任務(wù)就足夠時(shí)檢索增強(qiáng)生成（RAG）作為一種通過整合外部知識(shí)源來增強(qiáng)語言模型的有效方法，已經(jīng)得到了廣泛應(yīng)用。然而，RAG引入了檢索延遲、文檔選擇潛在錯(cuò)誤和系統(tǒng)復(fù)雜性增加等挑戰(zhàn)。隨著具有顯著擴(kuò)展上下文窗口的大型語言模型（LLMs）的出現(xiàn)，本文提出了一種替代范式，即緩存增強(qiáng)生成（CAG），它繞過了實(shí)時(shí)檢索。我們的方法涉及預(yù)先加載所有相關(guān)...

在當(dāng)今數(shù)字化時(shí)代，AI技術(shù)正以前所未有的速度改變著我們的生活和工作方式。在時(shí)尚領(lǐng)域，虛擬試衣技術(shù)成為了熱門話題，而快手推出的KolorsVirtualTryOnintheWild更是其中的佼佼者。它將先進(jìn)的AI技術(shù)與時(shí)尚換裝完美結(jié)合，為用戶帶來了全新的試衣體驗(yàn)，讓我們一起深入了解這款創(chuàng)新的工具吧。一、項(xiàng)目概述KolorsVirtualTryOnintheWild是由快手團(tuán)隊(duì)精心打造的一款基于大模型“可圖”（Kolors）的AI虛擬換衣工具。它利用前沿的計(jì)算機(jī)...

原文：RetrievalAugmentedGeneration(RAG)andBeyond:AComprehensiveSurveyonHowtoMakeyourLLMsuseExternalDataMoreWisely每當(dāng)我向非技術(shù)背景的朋友解釋大語言模型時(shí)，我常常用"博學(xué)但缺乏實(shí)踐經(jīng)驗(yàn)的應(yīng)屆生"作比喻。這些模型確實(shí)掌握了海量的知識(shí)，但在特定領(lǐng)域的實(shí)際應(yīng)用中，常常會(huì)暴露出"經(jīng)驗(yàn)不足"的問題。就像一位剛畢業(yè)的法學(xué)生，雖然能流暢地背誦法條，但面對(duì)真實(shí)的案件時(shí)可能會(huì)覺得無從下手。微軟亞洲研究院的研究團(tuán)隊(duì)近期...

今天給家人們分享一下AgentLess，這個(gè)輿論比較高的研究工作。。AGENTLESS:DemystifyingLLMbasedSoftwareEngineeringAgentsAI編程在最近幾個(gè)月非常火熱，像Devin這種自主Agent，已經(jīng)可以完成端到端的軟件開發(fā)任務(wù)。最新的Agent基本具備了使用工具、執(zhí)行命令、觀察環(huán)境反饋并規(guī)劃下一步行動(dòng)的能力。但是，這些基于Agent的方法往往非常復(fù)雜，而且當(dāng)前LLM的能力也存在局限性。這就引出了一個(gè)問題：我們真的需要如此復(fù)雜的自主Agent...

數(shù)據(jù)處理與分析工具不斷推陳出新。其中，JupyterAgent作為新興的工具之一，正逐漸嶄露頭角，為數(shù)據(jù)工作者帶來了全新的體驗(yàn)與便利。它巧妙地將大型語言模型（LLM）與Jupyter筆記本相結(jié)合，究竟能碰撞出怎樣的火花呢？讓我們一同深入了解。1JupyterAgentJupyterAgent是一款實(shí)用的工具，能夠讓大型語言模型（LLM）在Jupyter筆記本中實(shí)現(xiàn)直接交互和代碼執(zhí)行功能。具備以下多種實(shí)用功能：快速且高效地加載數(shù)據(jù)；準(zhǔn)確運(yùn)行用戶編寫的Py...