背景信息近期前線人員反饋，在使用問(wèn)答系統(tǒng)處理PPT文件時(shí)回答效果不佳。經(jīng)查發(fā)現(xiàn)，用戶上傳的PPT內(nèi)容多為圖文混排形式，包含大量圖像和統(tǒng)計(jì)圖表。用戶提問(wèn)主要聚焦于圖表數(shù)據(jù)及其相互關(guān)系。我這里隨意在網(wǎng)上找了一個(gè)PPT做嘗試，這個(gè)PPT有一張圖如下所示：提問(wèn)："2017年大數(shù)據(jù)開(kāi)發(fā)人數(shù)比2016年增加了還是減少了，具體增加或減少了多少人？"系統(tǒng)返回：根據(jù)提供的資源數(shù)據(jù)，2017年大數(shù)據(jù)開(kāi)發(fā)職位的招聘人數(shù)大幅增加。具體來(lái)說(shuō)，201...

在多模態(tài)學(xué)習(xí)領(lǐng)域，視覺(jué)語(yǔ)言模型（VLMs）的飛速發(fā)展讓我們看到了不同模態(tài)之間融合的巨大潛力。然而，盡管取得了顯著的進(jìn)步，這些模型大多集中在短文本任務(wù)上，對(duì)于長(zhǎng)文本的理解能力卻始終是它們的“軟肋”。尤其是在處理長(zhǎng)視頻理解和高分辨率圖像視頻理解時(shí)，如何有效處理擴(kuò)展的視覺(jué)上下文，依然是一個(gè)亟待解決的難題。長(zhǎng)文本理解的困境與挑戰(zhàn)長(zhǎng)文本理解的不足，很大程度上是因?yàn)楝F(xiàn)有的視覺(jué)語(yǔ)言模型在數(shù)據(jù)集構(gòu)建、架構(gòu)設(shè)計(jì)、訓(xùn)...

在當(dāng)今信息爆炸的時(shí)代，快速準(zhǔn)確地獲取知識(shí)變得尤為重要。傳統(tǒng)的問(wèn)答系統(tǒng)雖然能夠處理一些簡(jiǎn)單問(wèn)題，但在面對(duì)復(fù)雜問(wèn)題時(shí)往往顯得力不從心。為了解決這一痛點(diǎn)，我們開(kāi)發(fā)了一款基于LangGraph的RAG多智能體工具，它能夠高效地處理復(fù)雜問(wèn)題，整合多源信息，并通過(guò)迭代步驟得出精準(zhǔn)答案。今天，就讓我們深入了解一下這個(gè)強(qiáng)大的工具。一、引言：從簡(jiǎn)單的RAG到智能的多智能體RAG在項(xiàng)目開(kāi)發(fā)初期，我們發(fā)現(xiàn)傳統(tǒng)的“簡(jiǎn)單RAG”方法存在諸多...

在人工智能飛速發(fā)展的今天，多模態(tài)學(xué)習(xí)正逐漸成為研究的熱點(diǎn)領(lǐng)域。視覺(jué)語(yǔ)言模型（VLMs）作為其中的重要分支，已經(jīng)在圖像和視頻的整體描述生成方面取得了令人矚目的成就。然而，當(dāng)我們?cè)噲D讓這些模型對(duì)圖像或視頻中的特定區(qū)域進(jìn)行詳細(xì)描述時(shí)，卻常常發(fā)現(xiàn)它們的表現(xiàn)不盡如人意。這種局限性在視頻數(shù)據(jù)中尤為明顯，因?yàn)橐曨l不僅需要處理空間信息，還要考慮時(shí)間動(dòng)態(tài)。幸運(yùn)的是，NVIDIA最新發(fā)布的DescribeAnything3B（DAM3B）模型，為...

使用DockerModelRunner在本地運(yùn)行Gemma3，開(kāi)發(fā)人員能夠?qū)崿F(xiàn)私有且高效的GenAI開(kāi)發(fā)——快速設(shè)置、離線推理和完全控制。如今，對(duì)本地化開(kāi)發(fā)生成式人工智能（GenAI）的需求正在快速增長(zhǎng)。開(kāi)發(fā)人員在自己的基礎(chǔ)設(shè)施上運(yùn)行大型語(yǔ)言模型（LLM）能夠確保隱私性、靈活性和成本效益。隨著Gemma3的發(fā)布及其與DockerModelRunner的無(wú)縫集成，開(kāi)發(fā)人員可以完全在本地服務(wù)器上實(shí)驗(yàn)、微調(diào)和部署GenAI模型。本文將探討如何使用Docker在本地設(shè)置...

來(lái)了！文心大模型4.5今日如期上線。同時(shí)，百度還意外的帶來(lái)了自家的深度思考模型文心X1。文心大模型4.5是百度的新一代原生多模態(tài)基礎(chǔ)大模型，多模態(tài)理解能力優(yōu)秀，理解、生成、邏輯、記憶能力全面提升，多項(xiàng)基準(zhǔn)測(cè)試成績(jī)優(yōu)于GPT4.5、DeepSeekV3，API價(jià)格僅GPT4.5的1%。多模態(tài)能力文本能力文心大模型X1是首個(gè)自主運(yùn)用工具的深度思考模型，具備更強(qiáng)的理解、規(guī)劃、反思、進(jìn)化能力，效果對(duì)標(biāo)DeepSeekR1，API價(jià)格僅R1一半。目前，2款...

0前言誠(chéng)信難的當(dāng)下，商品評(píng)論已成連接買家賣家的重要橋梁。2022年全球主要電商平臺(tái)平均每件商品收到約50條評(píng)論，熱門商品評(píng)論數(shù)更輕松突破千條。充分體現(xiàn)商品評(píng)論在電商體系地位。1商品評(píng)論的意義Infographic:Howconsumersreadandwritelocalbusinessreviews：1.1對(duì)買家其他消費(fèi)者的真實(shí)體驗(yàn)和反饋往往是做出購(gòu)買決策的關(guān)鍵因素。研究顯示，超過(guò)95%的在線用戶會(huì)在做出購(gòu)買決定前閱讀商品評(píng)論。平均每次購(gòu)物之間會(huì)查看至少10行評(píng)...

Phantom是一個(gè)統(tǒng)一的視頻生成框架，適用于單主題和多主題參考，基于現(xiàn)有的文本轉(zhuǎn)視頻和圖像轉(zhuǎn)視頻架構(gòu)構(gòu)建。它通過(guò)重新設(shè)計(jì)聯(lián)合文本圖像注入模型，利用文本圖像視頻三元組數(shù)據(jù)實(shí)現(xiàn)跨模態(tài)對(duì)齊。此外，它在人物生成中強(qiáng)調(diào)主題一致性，同時(shí)增強(qiáng)了身份保留視頻生成。相關(guān)鏈接論文：https:arxiv.orgabs2502.11079代碼：https:github.comPhantomvideoPhantom主頁(yè)：https:phantomvideo.github.ioPhantomComfyUI:https:github.comkijaiC...

4月26日，清華大學(xué)人工智能醫(yī)院正式揭牌，標(biāo)志著全球首個(gè)“AI+醫(yī)療+教育+科研”生態(tài)閉環(huán)的實(shí)體化醫(yī)療新物種誕生。這家醫(yī)院顛覆傳統(tǒng)“醫(yī)院+AI”模式，從底層設(shè)計(jì)融入AI智能體功能，依托紫荊AI醫(yī)生內(nèi)測(cè)系統(tǒng)，通過(guò)虛擬醫(yī)院加速AI醫(yī)生進(jìn)化。在清華AI醫(yī)院的實(shí)踐中，算力是驅(qū)動(dòng)醫(yī)療模式變革的核心引擎：清華人工智能醫(yī)院從底層設(shè)計(jì)融入了AI智能體，覆蓋診前、診斷、治療、康復(fù)全流程。其核心系統(tǒng)“紫荊AI醫(yī)生”基于“閉環(huán)式”醫(yī)療虛擬...

大語(yǔ)言模型（LLM）的飛速發(fā)展正深刻改變著我們與信息和技術(shù)交互的方式（想想大家有多久不用傳統(tǒng)搜索引擎了）。它們展現(xiàn)出的能力令人矚目，但要驅(qū)動(dòng)它們超越模仿，在復(fù)雜推理、規(guī)劃和解決未知問(wèn)題等層面達(dá)到更高的“智能”水平，傳統(tǒng)的預(yù)訓(xùn)練（Pretrain）和監(jiān)督微調(diào)（SFT）范式顯得力有不逮。強(qiáng)化學(xué)習(xí)（RL），特別是結(jié)合人類或規(guī)則反饋的RLHFRL，已成為關(guān)鍵的引擎，推動(dòng)LLM智能向更高層級(jí)躍遷。RL的核心在于賦予模型一種“目標(biāo)導(dǎo)...

嘿，各位AI圈的弄潮兒們！最近有沒(méi)有被OpenAI的新動(dòng)作刷屏？沒(méi)錯(cuò)，繼那個(gè)像章魚哥一樣全能的GPT4o之后，OpenAI又悄無(wú)聲息地丟下了一顆重磅炸彈——全新的圖像生成模型GPTimage1！這可不是簡(jiǎn)簡(jiǎn)單單的DALL·E升級(jí)版，它可是原生多模態(tài)、API優(yōu)先，直指專業(yè)級(jí)圖像生成市場(chǎng)的新選手。作為一名AI領(lǐng)域的文章創(chuàng)作者，我可是第一時(shí)間就扒來(lái)了各種公開(kāi)信息，今天就來(lái)給大家全方位解析一下這位新伙伴到底有啥本事！1.它來(lái)了，帶著GPT4o的多...

模型上下文協(xié)議MCP是一種開(kāi)放協(xié)議，旨在標(biāo)準(zhǔn)化AI應(yīng)用程序與外部數(shù)據(jù)源和工具的連接方式。其核心目標(biāo)在于簡(jiǎn)化大型語(yǔ)言模型LLM與各種上下文和工具的集成，從而解決將多種LLM與多種工具相集成的復(fù)雜性問(wèn)題。之前的文章介紹了一個(gè)挺不錯(cuò)的MCP應(yīng)用案例，??用MCP讓大模型自動(dòng)批量下載文獻(xiàn)，太香了！??但你有沒(méi)有想過(guò)，自己動(dòng)手打造一個(gè)MCP服務(wù)呢？想象一下，親手設(shè)計(jì)一個(gè)智能工具，無(wú)論是處理數(shù)據(jù)、調(diào)用外部API，還是生成自定義報(bào)...

如果你玩過(guò)開(kāi)源的Text2video，也就是文生視頻，也會(huì)感慨AI越來(lái)越能整活兒了，但是如果你好奇去各大平臺(tái)看一圈，基本上視頻最大就是在810秒左右，甚至有35秒的。（sora能到20秒）當(dāng)然有兄弟說(shuō)是算力的問(wèn)題，這個(gè)確實(shí)是一個(gè)問(wèn)題，生成視頻diffusion的算力確實(shí)要比純text多，但是這個(gè)如果有錢也不是問(wèn)題（后文我們發(fā)現(xiàn)其實(shí)就算有錢也是問(wèn)題），但是現(xiàn)在我們談?wù)摰氖清X解決不了的問(wèn)題，一致性。這個(gè)一致性指的是多幀一致性比如這個(gè)...

BreakingtheModalityBarrier:UniversalEmbeddingLearningwithMultimodalLLMs20250424｜USYD,DeepGlint,AlibabaGroup,ICL(Imperial)??28??http:arxiv.orgabs2504.17432v1??????https:huggingface.copapers2504.17432??????https:garygutc.github.ioUniME??研究背景與意義背景概述：當(dāng)前多模態(tài)表示學(xué)習(xí)領(lǐng)域，CLIP框架因其跨模態(tài)對(duì)比學(xué)習(xí)能力被廣泛采用，尤其在圖文檢索和聚類任務(wù)中表現(xiàn)突出。然而，CLIP存在文本...

Step1XEdit:APracticalFrameworkforGeneralImageEditing20250424｜StepFun,??55???http:arxiv.orgabs2504.17761v1????????https:huggingface.copapers2504.17761????????https:github.comstepfunaiStep1XEdit???研究背景與意義領(lǐng)域現(xiàn)狀與挑戰(zhàn)近年來(lái)，圖像編輯技術(shù)迅速發(fā)展，尤其是在多模態(tài)大模型（如GPT4o、Gemini2Flash）推動(dòng)下，實(shí)現(xiàn)了基于自然語(yǔ)言的高質(zhì)量圖像編輯。這些閉源模型在理解復(fù)雜編輯指令和...

編輯云昭出品51CTO技術(shù)棧（微信號(hào)：blog51cto）MCP這次真的火了！自從Anthropic于2024年11月推出以來(lái)，它有望成為“將AI助手連接到數(shù)據(jù)所在系統(tǒng)的新標(biāo)準(zhǔn)”。截至目前，該協(xié)議已被OpenAI、微軟和谷歌等公司迅速采用；各大供應(yīng)商紛紛推出MCP服務(wù)器，希望在AI代理工作流程中不失時(shí)機(jī)。同樣，阿里、騰訊、百度等國(guó)內(nèi)大廠也毫無(wú)例外地統(tǒng)一宣布支持MCP協(xié)議。簡(jiǎn)單說(shuō)，MCP在網(wǎng)絡(luò)上風(fēng)靡一時(shí)的原因很簡(jiǎn)單——人們已經(jīng)發(fā)現(xiàn)了它各種各樣的使...

編輯｜云昭出品51CTO技術(shù)棧（微信號(hào)：blog51cto）大洋彼岸，兩款“代理”編碼工具在開(kāi)發(fā)者中的口碑突然發(fā)生了逆轉(zhuǎn)！眾所周知，近期OpenAI的CodexCLI和Anthropic的ClaudeCode正在激烈競(jìng)爭(zhēng)，風(fēng)頭皆盛。不過(guò)由于后者長(zhǎng)期主打開(kāi)發(fā)賽道，所以Claude在開(kāi)發(fā)者的口碑一直很好。但近期，Claude在編程工具方面被曝出了一件黑料，導(dǎo)致開(kāi)發(fā)者紛紛聲討Anthropic，進(jìn)而轉(zhuǎn)向了OpenAI。據(jù)報(bào)道，這至少部分是因?yàn)锳nthropic向一位試圖對(duì)ClaudeCode...

本文基于PyTorch框架幫助讀者從零開(kāi)始理解和實(shí)現(xiàn)擴(kuò)散模型，并給出一個(gè)基于時(shí)間嵌入U(xiǎn)Net模型的基礎(chǔ)型擴(kuò)散模型實(shí)戰(zhàn)開(kāi)發(fā)案例。簡(jiǎn)介在我最近發(fā)表的幾篇文章中，我談到了生成式深度學(xué)習(xí)算法，這些算法大多與文本生成任務(wù)有關(guān)。所以，我認(rèn)為現(xiàn)在轉(zhuǎn)向圖像生成的生成算法研究會(huì)很有趣。我們知道，如今已經(jīng)有很多專門用于生成圖像的深度學(xué)習(xí)模型，例如自動(dòng)編碼器、變分自動(dòng)編碼器（VAE）、生成對(duì)抗網(wǎng)絡(luò)（GAN）和神經(jīng)風(fēng)格遷移（NST）。在...

突破性能瓶頸：動(dòng)態(tài)超級(jí)塊剪枝如何重塑信息檢索效率在當(dāng)今數(shù)據(jù)爆炸的時(shí)代，高效的信息檢索系統(tǒng)對(duì)于各類應(yīng)用至關(guān)重要，從搜索引擎到基于檢索增強(qiáng)的大語(yǔ)言模型（RAG）。隨著學(xué)習(xí)型稀疏表示模型的興起，如何在保持高檢索質(zhì)量的同時(shí)提升檢索速度成為研究熱點(diǎn)。本文深入探討一項(xiàng)革命性技術(shù)——動(dòng)態(tài)超級(jí)塊剪枝（SuperblockPruning，簡(jiǎn)稱SP），這一創(chuàng)新方法在保持高相關(guān)性的前提下，顯著提升了稀疏檢索的效率。稀疏檢索的挑戰(zhàn)與機(jī)遇稀...

LangChain創(chuàng)始人HarrisonChase似乎是個(gè)“好斗分子”，經(jīng)常對(duì)某些觀點(diǎn)或現(xiàn)象發(fā)表看法甚至寫長(zhǎng)文辯論批駁。比如在2024年，他曾指出AutoGPT等框架的問(wèn)題在于“試圖完全自主運(yùn)行”，缺乏人類干預(yù)機(jī)制。主張通過(guò)LangGraph等工具實(shí)現(xiàn)“Humanintheloop”控制，提倡Agent應(yīng)支持從結(jié)構(gòu)化工作流到靈活模型的漸進(jìn)式過(guò)渡。比如對(duì)當(dāng)前爆火的MCP，Chase由開(kāi)始質(zhì)疑到后來(lái)肯定其價(jià)值。認(rèn)可MCP在降低開(kāi)發(fā)門檻和標(biāo)準(zhǔn)化工具集成方面的潛力，雖然當(dāng)...