為什么需要GUI視覺定位技術(shù)？1.1數(shù)字時代的效率革命圖形用戶界面(GraphicalUserInterface,GUI)智能體正在重塑人機(jī)交互方式。這類智能體通過模仿人類的視覺感知能力，可以直接"看懂"屏幕內(nèi)容并執(zhí)行操作指令。微軟亞洲研究院團(tuán)隊的研究表明，相比依賴HTML等GUI元數(shù)據(jù)的傳統(tǒng)方法（存在平臺依賴性和實現(xiàn)差異問題），基于視覺的方法具有更廣泛的適用性。例如，在跨平臺操作場景中，視覺智能體可以統(tǒng)一處理Windows、Web和移動端界面，...

一、為什么需要混合檢索技術(shù)？1.1大語言模型的"幻覺"困境大語言模型（LLM,LargeLanguageModel）雖然在文本生成和理解方面表現(xiàn)出色，但存在一個致命缺陷——會產(chǎn)生"幻覺"（Hallucination），即生成看似合理但實際錯誤或無依據(jù)的內(nèi)容。1.2檢索增強(qiáng)生成的技術(shù)革新檢索增強(qiáng)生成（RAG,RetrievalAugmentedGeneration）技術(shù)應(yīng)運而生，它通過結(jié)合外部知識庫為LLM提供事實依據(jù)。傳統(tǒng)RAG系統(tǒng)主要采用兩種檢索方式：稀疏檢索（如BM25算法）...

該框架不僅能夠有效挖掘潛在的跨文檔關(guān)系，還能同時去除無關(guān)信息和冗余內(nèi)容。我基于GPT3.5構(gòu)建的方法在多個常用的知識問答和幻覺檢測數(shù)據(jù)集上進(jìn)行了驗證。實驗結(jié)果表明，該方法在各種場景和實驗設(shè)置下均實現(xiàn)了性能的顯著提升，展現(xiàn)出強(qiáng)大的魯棒性和廣泛的適用性。https:arxiv.orgabs2504.03165一、為什么需要高效動態(tài)聚類文檔壓縮技術(shù)？1.1大語言模型的挑戰(zhàn)與檢索增強(qiáng)生成（RAG）的興起近年來，大語言模型（LargeLanguageModels...

MESRAG框架，專為提升實體查詢處理能力而設(shè)計，確保響應(yīng)的準(zhǔn)確、安全與一致。MESRAG采用主動安全措施，通過預(yù)先保護(hù)機(jī)制確保數(shù)據(jù)訪問安全。此外，該系統(tǒng)支持實時多模態(tài)輸出，包括文本、圖像、音頻和視頻，無縫融入現(xiàn)有RAG架構(gòu)。一、為什么需要MESRAG技術(shù)？1.1傳統(tǒng)RAG系統(tǒng)的局限性傳統(tǒng)的檢索增強(qiáng)生成（RetrievalAugmentedGeneration,RAG）系統(tǒng)雖然在提升大語言模型（LargeLanguageModels,LLMs）的能力方面表現(xiàn)出色，但它們往往只...

構(gòu)建了一個涵蓋所有基于圖的RAG方法的統(tǒng)一框架，并從宏觀角度進(jìn)行了總結(jié)。接著，在不同類型的問答（QA）數(shù)據(jù)集上對具有代表性的基于圖的RAG方法進(jìn)行了全面比較，從具體問題到抽象問題，深入分析了各種方法的表現(xiàn)。通過實驗分析，不僅揭示了基于圖的RAG方法的有效性，還通過結(jié)合現(xiàn)有技術(shù)，在具體問答和抽象問答任務(wù)中發(fā)現(xiàn)了優(yōu)于現(xiàn)有最優(yōu)方法的新變體。??https:arxiv.orgpdf2503.04338??一、為什么需要圖檢索增強(qiáng)生成（Graphb...

ViDoRAG:VisualDocumentRetrievalAugmentedGenerationviaDynamicIterativeReasoningAgentsViDoRAG——一個專為視覺文檔復(fù)雜推理設(shè)計的多智能體RAG框架。ViDoRAG采用基于高斯混合模型（GMM）的混合策略，實現(xiàn)高效多模態(tài)檢索。為進(jìn)一步挖掘模型推理潛力，我們設(shè)計了一個包含探索、總結(jié)與反思的迭代智能體工作流，為研究RAG領(lǐng)域的測試時擴(kuò)展提供了全新框架，超越現(xiàn)有方法10%以上。https:arxiv.orgabs2502.18017一、為什么需要ViDoR...

一、為什么需要RAG和GraphRAG技術(shù)？1.1大模型的局限性大型語言模型（LLMs,LargeLanguageModels）雖然在生成文本方面表現(xiàn)出色，但它們存在一些固有缺陷。比如，LLMs容易出現(xiàn)“幻覺”現(xiàn)象，即生成不準(zhǔn)確或虛構(gòu)的內(nèi)容。此外，LLMs的上下文窗口有限，無法處理過長的文本，還存在隱私泄露的風(fēng)險。為了彌補(bǔ)這些不足，檢索增強(qiáng)生成（RAG,RetrievalAugmentedGeneration）技術(shù)應(yīng)運而生。RAG通過從外部數(shù)據(jù)源檢索相關(guān)信息，顯著提升了模型...

一、RAG系統(tǒng)的背景與挑戰(zhàn)在自然語言處理（NLP）領(lǐng)域，大型語言模型（LLMs）如GPT、BERT等已經(jīng)展現(xiàn)出了強(qiáng)大的文本生成、問答和摘要能力。然而，這些模型也存在一些顯著的局限性。?首先，LLMs的知識是靜態(tài)的，這意味著它們無法及時更新以反映新信息，導(dǎo)致生成的回答可能過時。?其次，LLMs有時會生成聽起來合理但事實上錯誤的回答，這種現(xiàn)象被稱為“幻覺”。?最后，LLMs在涉及高級專業(yè)領(lǐng)域的知識時，往往缺乏足夠的深度。為了應(yīng)...

DiversityEnhancesanLLM'sPerformanceinRAGandLongcontextTask大型語言模型（LLMs）的快速發(fā)展凸顯了上下文窗口限制的挑戰(zhàn)，這主要是由于自注意力機(jī)制的二次時間復(fù)雜度（(O(N^2))，其中(N)表示上下文窗口長度）。這一限制影響了問答（Q&A）中的檢索增強(qiáng)生成（RAG）和長上下文摘要等任務(wù)。一種常見的方法是選擇與查詢最相似的內(nèi)容；然而，這通常會導(dǎo)致冗余，并排除多樣化的相關(guān)信息?；谧畲筮吘壪嚓P(guān)性（MMR）和最遠(yuǎn)點采樣（FPS...

WebWalker:BenchmarkingLLMsinWebTraversal檢索增強(qiáng)生成（RAG）在開放域問答任務(wù)中表現(xiàn)出色。然而，傳統(tǒng)搜索引擎可能會檢索淺層內(nèi)容，限制了大型語言模型（LLM）處理復(fù)雜、多層次信息的能力。為了解決這個問題，我們引入了WebWalkerQA，一個旨在評估LLM執(zhí)行網(wǎng)頁遍歷能力的基準(zhǔn)。它評估LLM系統(tǒng)性地遍歷網(wǎng)站子頁面以獲取對應(yīng)信息的能力。同時我們提出了WebWalker，一個通過explorercritic范式模擬人類網(wǎng)頁導(dǎo)航的multiagent框架。...

摘要機(jī)器寫作通常依賴檢索增強(qiáng)生成技術(shù)，但這些方法受限于模型預(yù)定義的范圍，難以生成信息豐富的內(nèi)容。普通檢索的信息往往缺乏深度、實用性，且冗余問題嚴(yán)重，導(dǎo)致生成的文章內(nèi)容淺顯、重復(fù)且缺乏原創(chuàng)性。為此，我們提出了OmniThink框架，它模擬了人類迭代擴(kuò)展和反思的認(rèn)知過程。OmniThink的核心在于模擬學(xué)習(xí)者逐步深化對主題理解的認(rèn)知行為。實驗表明，OmniThink在不犧牲連貫性和深度的前提下，顯著提升了生成文章的知識密度。...

1.表格問答的現(xiàn)狀表格問答（TQA，TableQuestionAnswering）是指依據(jù)表格形式的數(shù)據(jù)來回答問題。表格問答任務(wù)的任務(wù)也越來越復(fù)雜，要解決這些復(fù)雜任務(wù)，就得執(zhí)行多個推理步驟（多步驟）或者運用不同的推理策略（多類別）。。處理TQA中這些復(fù)雜實例的一種常見方法是規(guī)劃，生成詳細(xì)的逐步計劃并引導(dǎo)推理過程。該方向有兩種方法：?針對開源大型語言模型（LLMs）進(jìn)行微調(diào)，但微調(diào)需要高質(zhì)量的數(shù)據(jù)，通常難以獲取?使用閉源的商業(yè)LLM...

1.傳統(tǒng)RAG存在的問題檢索增強(qiáng)生成（RetrievalAugmentedGeneration,RAG）能讓大型語言模型（LLMs）從非結(jié)構(gòu)化文檔數(shù)據(jù)庫獲取信息，使得LLMs就能處理未知事實，并借助額外的文本信息解決開放域問答（OpenDomainQuestionAnswering，ODQA）問題。圖檢索增強(qiáng)生成（GraphRAG，GRAG）從結(jié)構(gòu)化知識庫中檢索信息，其中的文檔通過關(guān)系相互關(guān)聯(lián)?，F(xiàn)有的GRAG方法主要集中在兩個方向：?從知識圖譜（KnowledgeGraphs，KGs）中提取關(guān)系信息，...

1.為什么要提出RARE問答（QA，QuestionAnswering）系統(tǒng)的目的以自然語言提出的問題生成答案，其涵蓋的領(lǐng)域和類型極為廣泛，從開放領(lǐng)域的QA到更為專業(yè)的領(lǐng)域，比如醫(yī)療QA。醫(yī)療QA要求模型能夠掌握復(fù)雜的醫(yī)學(xué)知識、解讀臨床場景，并選出正確且符合上下文的選項。和多數(shù)專業(yè)領(lǐng)域的QA類似，醫(yī)療QA也需要結(jié)構(gòu)化的多步驟推理，從一系列連續(xù)的步驟中推理出答案。比如，依據(jù)患者信息給出恰當(dāng)?shù)某跏贾委煼桨?，模型首先要識別患者的狀況，...

MultiAgentLargeLanguageModelsforConversationalTaskSolving在單個大型語言模型多年來主宰人工智能領(lǐng)域的時代，多智能體系統(tǒng)在對話任務(wù)解決中嶄露頭角。此前的研究雖已展現(xiàn)出其在推理任務(wù)和創(chuàng)新嘗試方面的潛力，但對于其在對話范式方面的局限以及個體智能體的影響，卻缺乏分析。多智能體討論在不同復(fù)雜程度任務(wù)中的表現(xiàn)怎樣，以及這些對話的結(jié)構(gòu)如何影響進(jìn)程，都尚不明確。為填補(bǔ)這一空缺，本文對各種討論范式下的多智能體系統(tǒng)...

1.LLM與選股資本市場是資本配置的高效渠道，價格發(fā)現(xiàn)過程對維持金融系統(tǒng)的健康穩(wěn)定至關(guān)重要。價格發(fā)現(xiàn)過程取決于一系列復(fù)雜的相互作用因素，包括公司和行業(yè)要素、宏觀經(jīng)濟(jì)數(shù)據(jù)、動量效應(yīng)以及政治和地緣政治影響。市場參與者共同參與這一復(fù)雜的價格發(fā)現(xiàn)機(jī)制，以確保金融市場的有效運行。股票選擇本質(zhì)上是一種價格發(fā)現(xiàn)機(jī)制，市場參與者會關(guān)注被視為“定價不當(dāng)”的股票，從而獲得相對于整個市場更具吸引力的回報潛力。這一原則構(gòu)成...

1.文檔視覺問答現(xiàn)狀文檔視覺問答（DocVQA）是通過解讀文檔圖像所含信息來回答文本問題的多模態(tài)任務(wù)。精準(zhǔn)高效地回答眾多冗長且布局繁雜的文檔中的問題，會給金融、醫(yī)療保健和法律等諸多領(lǐng)域帶來極大益處，在這些領(lǐng)域，文檔AI助手能夠簡化大量文檔的日常處理，提升生產(chǎn)力，助力更快、更明智的決策?，F(xiàn)有的DocVQA任務(wù)，主要有以下兩種方案：?1.聚焦于單頁文檔的視覺問答，如下圖。圖片?2.從文檔中提取文本（比如OCR或PDF文本提...

1.RAG目前存在的問題RAG系統(tǒng)前前發(fā)展取得了一定的成果，但是仍然存在一個問題：在獲取文檔時會檢索到不相關(guān)或關(guān)聯(lián)較弱的信息。目前的檢索技術(shù)，即使是重排序和查詢重寫，不但不能濾除檢索文檔中的大量無關(guān)信息塊，還致使響應(yīng)生成出現(xiàn)一系列諸如事實不準(zhǔn)確、不相關(guān)以及幻覺等問題。傳統(tǒng)上RAG系統(tǒng)會檢索大量整個文檔的文本或者其中冗長的部分，認(rèn)為這些冗長片段可能包含相關(guān)信息。然而，這類系統(tǒng)極少單獨審視檢索到的文檔的章節(jié)或...

?AIAgent的四種關(guān)鍵設(shè)計模式如下：反思：LLM檢查自己的工作，以提出改進(jìn)方法。使用工具：LLM使用網(wǎng)絡(luò)搜索、代碼執(zhí)行或任何其他功能來幫助收集信息、采取行動或處理數(shù)據(jù)。規(guī)劃：LLM提出并執(zhí)行一個多步驟計劃來實現(xiàn)目標(biāo)。多智能體協(xié)作：多個AI智能體一起工作，分配任務(wù)并討論和辯論想法，提出比單個智能體更好的解決方案。1.反思如圖1所示，反思模式允許AIAgent在完成任務(wù)后對自身的輸出進(jìn)行再次審視和評估。在這種模式下，AIAge...

架構(gòu)圖片上圖是VideoAgent的概覽圖，VideoAgent通過搜索、聚合視頻信息來完成長視頻QA。整個系統(tǒng)包括一個核心LLM、VLM(視覺大語言模型)和CLIP工具。作者受到人類理解長視頻的啟發(fā)，提出了VideoAgent，通過基于Agent的系統(tǒng)來模擬這一過程的系統(tǒng)。將視頻理解過程形式化為一系列狀態(tài)、動作和觀察，其中LLM作為代理控制這個過程。首先，LLM通過瀏覽從視頻中均勻抽樣的一組幀來熟悉視頻內(nèi)容的背景。在每次迭代中，LLM評估當(dāng)前信息（...