本地也能運(yùn)行Deep Research!支持arXiv平臺(tái),兼容PDF、Markdown等
今年年初,OpenAI 上線 Deep Research,開啟了智能體又一新階段,其能根據(jù)用戶需求自主進(jìn)行網(wǎng)絡(luò)信息檢索、整合多源信息、深度分析數(shù)據(jù),并最終為用戶提供全面深入的解答。
此后,Grok 3 及 Perplexity 等,它們都推出了類似的 Deep Research 服務(wù)。
其實(shí),大家在驚嘆 Deep Research 能力的同時(shí),也會(huì)擔(dān)心數(shù)據(jù)隱私等安全問題。
現(xiàn)在,可以本地運(yùn)行的 Deep Research 來了!
我們可以將其看作一個(gè)強(qiáng)大的 AI 研究助手,它使用多個(gè) LLM 和網(wǎng)絡(luò)搜索進(jìn)行深入的、迭代的分析。該系統(tǒng)可以本地運(yùn)行,從而保護(hù)用戶隱私,你也可以使用基于云的 LLM 以增強(qiáng)其功能。
目前項(xiàng)目已經(jīng)收獲 1.4k star 量。
項(xiàng)目地址:https://github.com/LearningCircuit/local-deep-research
該項(xiàng)目具有以下特點(diǎn):
先進(jìn)的研究功能:
- 能夠自動(dòng)進(jìn)行深度研究,并在過程中提出智能的跟進(jìn)問題,以確保全面理解和深入挖掘主題;
- 追蹤引用來源,并驗(yàn)證其可靠性和準(zhǔn)確性,確保信息的可信度;
- 通過多次迭代分析,該項(xiàng)目能夠逐步完善研究?jī)?nèi)容,確保覆蓋所有相關(guān)方面,避免遺漏重要信息;
- 分析整個(gè)網(wǎng)頁的內(nèi)容,而不僅僅是提取片段,從而提供更全面和準(zhǔn)確的信息。
對(duì) LLM 靈活支持:
- 支持在本地設(shè)備上運(yùn)行 AI 模型(如 Ollama),確保數(shù)據(jù)處理的高效性和隱私性;
- 兼容云端大語言模型(如 Claude,GPT),從而提供更強(qiáng)大的計(jì)算能力和多樣化的模型選擇;
- 能夠無縫集成和使用 Langchain 框架下的所有模型;
- 用戶可以根據(jù)具體需求選擇和配置不同的 AI 模型,以優(yōu)化研究效果。
豐富的輸出選項(xiàng):
- 詳細(xì)的研究結(jié)果,并附帶引用來源;
- 生成內(nèi)容詳實(shí)、結(jié)構(gòu)清晰的綜合研究報(bào)告;
- 提供簡(jiǎn)潔的摘要,幫助用戶快速抓住核心信息;
- 自動(dòng)追蹤信息來源并驗(yàn)證其可靠性。
增強(qiáng)的搜索集成:
- 自動(dòng)選擇搜索源:對(duì)于用戶正在查詢的內(nèi)容,自動(dòng)搜索引擎會(huì)進(jìn)行智能分析,并根據(jù)查詢內(nèi)容選擇最合適的搜索引擎;
- 集成了維基百科,方便快速獲取準(zhǔn)確的事實(shí)性知識(shí)和百科信息;
- 支持 arXiv 平臺(tái),便于檢索和訪問最新的科學(xué)論文和學(xué)術(shù)研究成果;
- 集成 PubMed,提供生物醫(yī)學(xué)領(lǐng)域的最新文獻(xiàn)和醫(yī)學(xué)研究資源;
- 支持 DuckDuckGo 搜索引擎,提供隱私友好的網(wǎng)頁搜索體驗(yàn)(但可能受到速率限制);
- 通過 SerpAPI 集成,可以獲取 Google 搜索結(jié)果(需提供 API 密鑰);
- 支持 Google 可編程搜索引擎,允許用戶創(chuàng)建個(gè)性化的搜索體驗(yàn)(需提供 API 密鑰);
- 集成 The Guardian(《衛(wèi)報(bào)》),方便獲取最新的新聞文章和深度報(bào)道(需提供 API 密鑰);
- 支持通過本地 RAG 搜索對(duì)私有文檔進(jìn)行搜索,確保數(shù)據(jù)隱私;
- 能夠抓取并分析整個(gè)網(wǎng)頁的內(nèi)容;
- 提供來源過濾和驗(yàn)證功能,確保搜索結(jié)果的可靠性和準(zhǔn)確性;
- 用戶可以根據(jù)需求自定義搜索參數(shù),優(yōu)化搜索體驗(yàn)。
本地文檔搜索(RAG):
- 基于向量嵌入的本地文檔搜索;
- 為不同主題創(chuàng)建自定義文檔集合;
- 保護(hù)隱私,用戶文檔保留在自己的機(jī)器上;
- 智能分塊和檢索;
- 兼容多種文檔格式(PDF、文本、Markdown 等);
- 自動(dòng)與元搜索集成,實(shí)現(xiàn)統(tǒng)一查詢。
該項(xiàng)目還包括一個(gè) Web 界面(如下所示),以提供更加用戶友好的體驗(yàn):
到底效果如何呢?我們以官方示例來說明,官方展示了一個(gè)關(guān)于核聚變能源發(fā)展的調(diào)查研究。
用戶提問:核聚變能源研究的最新進(jìn)展是什么?商業(yè)核聚變什么時(shí)候可行?
然后 Deep Research 輸出了一篇可用的調(diào)查報(bào)告,內(nèi)容非常詳實(shí):
報(bào)告部分截圖
完整報(bào)告可參考:https://github.com/LearningCircuit/local-deep-research/blob/main/examples/fusion-energy-research-developments.md
通過這一示例,我們可以直觀了解到該項(xiàng)目在深度研究、跨領(lǐng)域分析和信息整合方面的強(qiáng)大功能。
想要上手體驗(yàn)的小伙伴,可以跟著官方教程進(jìn)行部署,打造屬于自己的 Deep Research 了。