今天分享一篇來自慕尼黑工業(yè)大學的文章，Title: "NLP-KG: A System) for Exploratory Search of Scientific Literature in Natural Language Processing"。

傳統(tǒng)的文獻搜索工具例如google scholar在學術資源的搜索上做的并不是很好，其大多利用關鍵詞來進行搜索。而本文提出的NLP-KG方法，借助了大量自然語言處理的工具，對現有的文章進行概念抽取，綜述分類等，提供層次化的結構圖，方便用戶快速定位到相關領域和paper。同時結合LLM提供文章chat以及對話搜索等功能，為文獻搜索特別是NLP領域的文獻搜索提供一套不錯的方案。此外，本文提出的方法可能為后續(xù)文獻類的RAG方案提供一種參考方法。

一、概述

?Title:NLP-KG: A System for Exploratory Search of Scientific Literature in Natural Language Processing

?Authors:Tim Schopf, Florian Matthes

?Institution:Technical University of Munich, Department of Computer Science, Germany

?URL:?? https://arxiv.org/html/2406.15294v1??

?Code:?? https://github.com/NLP-Knowledge-Graph/NLP-KG-WebApp??

?Website: ???https://nlpkg.sebis.cit.tum.de??^[1]

1 動機

本文嘗試nlp論文搜索難的問題，特別是當用戶對某個特定領域或概念不熟悉，但又希望了解更多相關信息時，現有的科學文獻搜索系統(tǒng)通?；陉P鍵詞進行查找，限制了探索的可能性。為此，作者提出了NLP-KG，一個富有特色的系統(tǒng)，旨在支持用戶在自然語言處理(NLP)領域的研究文獻探索。

? 現有的科學文獻搜索系統(tǒng)主要針對基于關鍵詞的查找搜索，限制了探索性查找的可能性。

? 研究人員在不熟悉某一領域時，常需要一種更加探索性的方法來學習和理解新的概念和研究。

2 方法

主要特點：

?語義搜索：提供基于關鍵詞以及語義檢索的搜索界面。

?綜述論文查找：允許用戶快速找到特定領域的綜述論文。

?研究領域層級圖：通過可視化的方式展示不同研究領域及其關系。

?聊天界面：使用戶能夠對不熟悉的概念或特定文章提出問題，并獲取基于科學出版物的答案。

?高級過濾器：允許用戶根據特定條件篩選搜索結果。

四大功能:

1.高級篩選：提供包括FoS（Fields of Study）、會議、日期、引用計數或綜述文章等多種高級篩選功能。

2.層次化展示：提供基于層次結構的研究領域（FoS）圖，幫助用戶理解和探索相關領域。

3.Chat功能：利用LLM對用戶提出的關于特定文章的深入問題進行解答。

4.對話搜索：通過RAG (Retrieval Augmented Generation) ，回答用戶關于 NLP 相關問題的自然語言問題。

實現方法和步驟:

1.研究領域層次結構（Fos Fields of Study）構建：使用經過微調的 PL-Marker 模型從 ACL Anthology 和 arXiv cs.CL 類別Paper的標題和摘要中自動提取實體和關系，并構建高質量的層次結構圖。然后經過領域專家人共修正和構建FoS hierarchy graph。最終生成了421個實體（領域：Fields of Study），530個關系，最高可達7層深度的FOS。

2.文獻分類：使用微調分類模型和基于規(guī)則的方法，將研究出版物自動分配到相應的FoS中。

3.綜述論文分類：訓練二元分類器，自動將研究出版物分類為綜述或非綜述。

4.附加元數據：從Semantic Scholar API獲取出版物摘要、SPECTER2 embedding、作者信息、引用和參考文獻等元數據。

5.語義搜索：結合BM25和基于SPECTER2 embedding的檢索結果，使用Reciprocal Rank Fusion方法進行合并，并通過S2Ranker進行重排序。讓用戶能夠基于關鍵詞搜索相關的出版物、作者、會議場地和學術學科。

6.會話搜索（Conversational Search）：針對每個query，利用LLM + one-shot example生成search term，然后將top5的搜索結果喂入LLM生成response，生成回答的同時，也會生成inline citations，對于follow-up問題，LLM自動決定用當前response回復還是開始一個新的search。同時還針對當個paper也提供Ask This Paper對話能力，能直接對該問題進行提問。

3 結論

?支持探索性搜索：NLP-KG 系統(tǒng)提供了多種高級功能，支持用戶對不熟悉的 NLP 領域文獻進行探索。

?高質量層次結構圖：系統(tǒng)構建了一個高質量的研究領域層次結構圖，幫助用戶理解和探索相關領域。

?增強的檢索和回答能力：語義搜索和對話搜索功能顯著提高了文獻檢索和問題回答的準確性和相關性。

二、詳細內容

1 研究領域層級圖FoS正確性非常高

? 背景：研究抽取出來的FoS NLP層級概念圖的正確性

? 實驗方法：

參與者列出5個與他們專業(yè)相關的NLP概念，并在構建的層級圖中找到這些概念。

進行了用戶研究，涉及10位NLP領域的博士級研究人員。

? 結論：Fos層級圖的準確率非常不錯，其中MAPE代表檢索的total step數和ideal step的差異。

2 檢索增強生成（RAG）效果評估

? 方法：

Grounded answer生成：使用GPT-4生成50個NLP相關的問題，并利用GPT-3.5和GPT-4在會話搜索流程中生成基于檢索文獻的回答。

評估方法：使用RAGAS框架評估生成的回答，關注生成回答的忠實度（Faithfulness）和答案相關性（Answer Relevance）。

?結論：RAG Pipeline檢索效果也不錯，通過RAGAS評價的忠實度（Faithfulness）和答案相關性（Answer Relevance）都不錯，說明本文提出的方法可以根據提供的上下文有效回答用戶question。

3 NLP-KG提供的功能相對其他學術搜索工具更強大

?結論：專門支持NLP文獻搜索，提供tag，層級可視化，綜述過濾，paper問答，對話搜索等能力。

三、總結

本文介紹了NLP-KG，一個為自然語言處理(NLP)研究文獻的探索性搜索而設計的系統(tǒng)。該系統(tǒng)利用知識圖譜、語義搜索、對話式搜索和先進的篩選功能，支持用戶在NLP領域的探索，幫助理解未知概念、尋找相關研究文獻。

通過構建FoS的層次結構圖和集成大型語言模型(LLM)，NLP-KG提供了一種新穎的方式，以探索式的方式理解和發(fā)現NLP領域的文獻和知識。與現有的學術文獻搜索系統(tǒng)進行對比，其在NLP類的文獻搜索上有一些優(yōu)勢。

本文轉載自??NLP PaperWeekly??，作者： NLP PaperWeekly ????