中科院院士鄂維南、字節(jié)AI實(shí)驗(yàn)室總監(jiān)李航領(lǐng)銜，推出高級(jí)論文搜索Agent。

名為PaSa，兩個(gè)Agent分別執(zhí)行多輪搜索和判斷論文是否滿足查詢要求的任務(wù)，模仿人類復(fù)雜學(xué)術(shù)搜索行為。

現(xiàn)在就有Demo可玩。

只需提供研究主題或描述想法，它就會(huì)迅速展開(kāi)搜索并按相關(guān)度自動(dòng)排列組織順序。

點(diǎn)擊標(biāo)題卡，不用跳轉(zhuǎn)頁(yè)面，就能顯示論文作者和摘要，再點(diǎn)擊帶有跳轉(zhuǎn)鏈接的標(biāo)題就能查看完整論文：

還可以點(diǎn)擊每個(gè)標(biāo)題卡后面的小方框，打包下載JSON、BIB格式文件：

更重要的是其召回率和精準(zhǔn)性。

實(shí)驗(yàn)中，PaSa在召回率和精確率等指標(biāo)上顯著優(yōu)于谷歌、谷歌學(xué)術(shù)、Google with GPT-4o、ChatGPT等基線模型。

在AutoScholarQuery測(cè)試集，與最強(qiáng)基線PaSa-GPT-4o相比，PaSa-7b的召回率提高了9.64%；在團(tuán)隊(duì)創(chuàng)建的數(shù)據(jù)集RealScholarQuery上，與最佳基于Google的基線Google with GPT-4o相比，PaSa-7b在召回率@20、召回率@50和召回率@100上分別提升37.78%、39.90%和39.83%。

磕鹽黨狂喜～

兩個(gè)Agent組成

目前學(xué)術(shù)搜索系統(tǒng)，如谷歌學(xué)術(shù)搜索，常難以有效處理復(fù)雜的查詢，導(dǎo)致研究人員需花費(fèi)大量時(shí)間手動(dòng)文獻(xiàn)搜索。

比如詢問(wèn)”Which studies have focused on non-stationary reinforcement learning using value-based methods, specifically UCB-based algorithms?”。

（哪些研究聚焦于非平穩(wěn)強(qiáng)化學(xué)習(xí)中基于值的方法，特別是基于UCB算法的研究）

雖然利用LLM來(lái)增強(qiáng)信息檢索的研究越來(lái)越多，但學(xué)術(shù)搜索不僅需要檢索，還需要深入閱讀論文和檢查引用，完成全面的文獻(xiàn)調(diào)查。

為此，研究團(tuán)隊(duì)開(kāi)發(fā)了PaSa系統(tǒng)，主要包含兩個(gè)大模型Agent：Crawler（爬蟲(chóng)）、Selector（選擇器）。

Crawler負(fù)責(zé)處理用戶查詢，生成多個(gè)搜索命令，并檢索相關(guān)論文。

具體來(lái)說(shuō)，它執(zhí)行一個(gè)基于token的馬爾可夫決策過(guò)程（MDP）。動(dòng)作空間A對(duì)應(yīng)于LLM的詞匯表，其中每個(gè)token代表一個(gè)動(dòng)作。LLM充當(dāng)策略模型，Agent的狀態(tài)由當(dāng)前的LLM上下文和論文隊(duì)列定義。

Crawler使用三個(gè)注冊(cè)函數(shù)進(jìn)行操作：

• [Search]用于生成搜索查詢并調(diào)用搜索工具
• [Expand]用于展開(kāi)論文的特定章節(jié)并提取其中的引用
• [Stop]用于重置上下文到用戶查詢和隊(duì)列中的下一篇論文。

當(dāng)動(dòng)作與函數(shù)名稱匹配時(shí)，將執(zhí)行相應(yīng)的函數(shù)，進(jìn)一步修改Agent的狀態(tài)。

例如，如下圖所示，Agent首先接收用戶查詢，將其納入其上下文并開(kāi)始執(zhí)行動(dòng)作。如果生成的token是[Search]，則LLM繼續(xù)生成搜索查詢，Agent調(diào)用搜索工具來(lái)檢索論文，然后將這些論文添加到論文列表中。

如果token是[Expand]，則LLM繼續(xù)從其上下文中的當(dāng)前論文中提取子節(jié)名稱。Agent隨后使用解析工具提取該子節(jié)中引用的所有論文，并將它們添加到論文列表中。

如果token是[Stop]，則Agent將其上下文重置為用戶查詢以及論文隊(duì)列中下一篇論文的信息，這些信息包括標(biāo)題、摘要以及所有部分的概述。

Selector則負(fù)責(zé)仔細(xì)閱讀每篇論文，評(píng)估是否滿足用戶查詢要求。

它接收兩個(gè)輸入：一個(gè)學(xué)術(shù)查詢和一篇研究論文（包括其標(biāo)題和摘要），

生成兩個(gè)輸出：

一個(gè)單一的決策token，可以是“True”或“False”，表示論文是否滿足查詢，以及一個(gè)理由，包含m個(gè)支持該決策的token。理由有兩個(gè)目的：通過(guò)聯(lián)合訓(xùn)練模型生成決策和解釋來(lái)提高決策準(zhǔn)確性，并通過(guò)在PaSa應(yīng)用中提供推理來(lái)提高用戶信任。

實(shí)驗(yàn)中優(yōu)于所有基線

團(tuán)隊(duì)使用包含來(lái)自AI頂會(huì)收錄論文的35k個(gè)細(xì)粒度學(xué)術(shù)查詢及其對(duì)應(yīng)論文的合成數(shù)據(jù)集AutoScholarQuery，通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化PaSa。

此外，還開(kāi)發(fā)了一個(gè)收集真實(shí)世界學(xué)術(shù)查詢的基準(zhǔn)數(shù)據(jù)集——RealScholarQuery，用于在更現(xiàn)實(shí)的場(chǎng)景中評(píng)估PaSa 的性能。

實(shí)驗(yàn)中，Crawler和Selector均基于Qwen2.5-7b，最終的Agent稱為PaSa-7b。

如下表5所示，PaSa-7b在AutoScholarQuery測(cè)試集上優(yōu)于所有基線。

與最強(qiáng)的基線PaSa-GPT-4o相比，PaSa-7b的召回率提高了9.64%，精度相當(dāng)。此外，PaSa-7b中Crawler的召回率比PaSa-GPT-4o高3.66%。

與最佳的基于Google的基線Google with GPT-4o相比，PaSa-7b在召回率@20、召回率@50和召回率@100上分別實(shí)現(xiàn)了33.80%、38.83%和42.64%的提升。

團(tuán)隊(duì)還觀察到，在推理過(guò)程中使用多個(gè)Crawler集成可以提升性能。具體來(lái)說(shuō)，在推理過(guò)程中運(yùn)行兩次Crawler，使 AutoScholarQuery上的Crawler召回率提高了3.34%，最終使整個(gè)PaSa系統(tǒng)的召回率提高了1.51%，同時(shí)保持精度相似。

為了在更現(xiàn)實(shí)的場(chǎng)景中評(píng)估PaSa，團(tuán)隊(duì)在RealScholarQuery上評(píng)估了其有效性。如表6所示，PaSa-7b在真實(shí)世界的學(xué)術(shù)搜索場(chǎng)景中表現(xiàn)出更大的優(yōu)勢(shì)。與PaSa-GPT-4o相比，PaSa-7b的召回率提高了30.36%，精度提高4.25%。

與RealScholarQuery上最佳的基于Google的基線Google with GPT-4o相比，PaSa-7b在召回率@20、召回率@50和召回率@100上分別超過(guò)Google 37.78%、39.90%和39.83%。

此外，PaSa-7b-ensemble進(jìn)一步將Crawler召回率提高了4.32%，使整個(gè)系統(tǒng)的召回率提高了3.52%。

鄂維南、李航領(lǐng)銜

PaSa由中科院院士、北大教授鄂維南，字節(jié)跳動(dòng)AI實(shí)驗(yàn)室總監(jiān)*李航領(lǐng)銜提出。

鄂維南，中科院院士、“AI for Science”概念的提出者。

15歲就被中科大錄取，可以進(jìn)“少年班”的他還是選擇了進(jìn)數(shù)學(xué)系學(xué)習(xí)純數(shù)學(xué)。

而在大四之時(shí)，由于希望“自己學(xué)的東西真正有用，而不是只有高深”，他突然改變方向，決定改讀應(yīng)用數(shù)學(xué)。

我的內(nèi)心深處是屬于入世的，想跟社會(huì)跟技術(shù)產(chǎn)生一點(diǎn)聯(lián)系，我不是那種能一輩子待在象牙塔里的人。

最終，他一路從中國(guó)科學(xué)院、UCLA完成碩博士學(xué)位（博士期間的導(dǎo)師為著名應(yīng)用數(shù)學(xué)家Bjorn Engquist教授）。

博士畢業(yè)之后幾年，鄂維南進(jìn)入普林斯頓高等研究院和紐約大學(xué)的庫(kù)朗研究所，分別擔(dān)任研究員和教授。并在1999年即36歲之時(shí)成為普林斯頓大學(xué)數(shù)學(xué)系和應(yīng)用數(shù)學(xué)及計(jì)算數(shù)學(xué)研究所教授，轉(zhuǎn)年加入北大。

2011年，48歲的鄂維南當(dāng)選中國(guó)科學(xué)院院士。

其貢獻(xiàn)包括：

• 與合作者一起把偏微分方程、隨機(jī)分析及動(dòng)力系統(tǒng)的理論進(jìn)行巧妙結(jié)合，用于研究隨機(jī)Burgers方程、隨機(jī)passive scalar方程、隨機(jī)Navier-Stokes方程和Ginzburg-Landau方程等，證明不變測(cè)度的存在性和唯一性，分析穩(wěn)定解的特性，并在此基礎(chǔ)上解決了Burgers湍流模型中一些存有爭(zhēng)議的問(wèn)題。
• 與合作者一起構(gòu)建一種十分有效的數(shù)值方法——弦方法，使之成為研究物理、生物和化學(xué)領(lǐng)域中稀有事件的一個(gè)重要手段。
• 提出設(shè)計(jì)與分析多物理模型的多尺度方法的一般框架等等。

從2014年開(kāi)始，鄂院士的職業(yè)生涯迎來(lái)又一個(gè)轉(zhuǎn)折，他開(kāi)始正式進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域，并在2018年提出“AI for Science”的概念。

李航，字節(jié)跳動(dòng)AI實(shí)驗(yàn)室總監(jiān)之一，同時(shí)當(dāng)選三大國(guó)際頂級(jí)學(xué)會(huì)（ACL，IEEE，ACM） Fellow。

他的主要研究方向包括信息檢索、NLP、統(tǒng)計(jì)機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘。

他在日本京都大學(xué)電氣工程系獲得碩士學(xué)位，并于東京大學(xué)計(jì)算機(jī)科學(xué)博士畢業(yè)，曾擔(dān)任日本NEC公司中央研究所研究員、微軟亞洲研究院高級(jí)研究員與主任研究員、華為技術(shù)有限公司諾亞方舟實(shí)驗(yàn)室首席科學(xué)家。

論文鏈接：https://arxiv.org/abs/2501.10120
demo：https://pasa-agent.ai/