前言

2025 年 1 月 9 日 – 加利福尼亞州門洛帕克 – 世界上最大的開放網(wǎng)絡知識圖譜創(chuàng)建者 Diffbot宣布推出其第一個大型語言模型 （LLM），這是迄今為止世界上最基于事實的 AI 語言模型。利用 Diffbot 專有的知識圖譜（包括超過 100 億個實體和來自開放網(wǎng)絡的超過 1 萬億個結(jié)構(gòu)化事實），新模型在事實可靠性和領(lǐng)域覆蓋率方面超過了目前所有可用的 LLM。

當前前沿的 LLM 方法通過擴大模型的大小來減少不良響應（又名“幻覺”），使其代表更多的訓練數(shù)據(jù)，或者增加推理時間，使用 LLM 來“推理”和自我糾正其錯誤，但代價是運行時間要長得多。在 Diffbot，我們相信我們稱之為智能的核心“推理”最終將被提煉為 ~1B 參數(shù)，并且事實知識最好在模型權(quán)重之外，在外部引用的知識圖譜中得到維護。Diffbot LLM 是一個經(jīng)過微調(diào)的 LLama 3.3 70B（和 8B），它已經(jīng)過培訓，可以成為專家工具用戶，在推理時查詢結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫。

通過行業(yè)領(lǐng)先的基準（包括 MMLU-Pro 和 FreshQA 分數(shù)）衡量，Diffbot 的模型提供了無與倫比的事實性能。它的 MMLU-Pro 分數(shù)為 %70.36，擊敗了所有其他具有 <100B 參數(shù)和 %81 FreshQA 分數(shù)的開源模型，擊敗了 ChatGPT 搜索模式、Gemini 和 Perplexity。這種準確性直接歸功于 Diffbot 無與倫比的知識圖譜及其基于事實的響應的尖端方法。

Diffbot 的大模型也是生產(chǎn) GraphRAG（圖檢索增強生成）系統(tǒng)的第一個開源實現(xiàn)。與其他僅依賴內(nèi)部訓練數(shù)據(jù)和啟發(fā)式提示工程的 LLM 不同，GraphRAG 動態(tài)查詢 Diffbot 知識圖譜和獨立的網(wǎng)絡搜索索引，以檢索精確、權(quán)威的信息。

結(jié)果是，該模型不僅從其模型權(quán)重中近似出事實，而且還主動實時定位和引用可驗證的來源。

真實原文引用和溯源

雖然其他語言模型可能會引用引文，但它們通常無法將陳述追溯到其原始來源（即引文鏈接經(jīng)常會不準確）。Diffbot 的 LLM 非常重視引文基礎(chǔ)。它經(jīng)過微調(diào)，將每個事實陳述與支持它的特定段落嚴格匹配，并始終提供對任何引用材料的原始來源的直接引用。這確保了用戶對模型如何得出答案完全透明，從而提高了信任度和可靠性。

Diffbot 的 LLM 直接與 Diffbot 的自動提取、結(jié)構(gòu)化知識圖譜查詢、非結(jié)構(gòu)化 Web 搜索查詢和代碼解釋功能集成。它在復雜的工作流程中表現(xiàn)出色，例如按需聚合數(shù)據(jù)或從用戶選擇的自定義數(shù)據(jù)集生成見解。

隨著數(shù)據(jù)安全性和機密性變得至關(guān)重要，Diffbot 的 LLM 在設(shè)計時秉持隱私優(yōu)先的理念。用戶保留對其數(shù)據(jù)的完全控制權(quán)，并且該模型的自托管選項確保敏感信息永遠不需要離開安全的本地環(huán)境。

高級多模態(tài)和工具功能

除了基于文本的查詢之外，Diffbot 的 LLM 還提供高級多模態(tài)推理：

• 圖像蘊涵：從“如何畫小鯊魚”到復雜的視覺推理，該模型可以理解和解釋圖像，確保超越書面文字的無縫交互。
• 代碼解釋：該模型可以在內(nèi)部執(zhí)行 JavaScript 代碼解釋器，而不是為數(shù)學和字符串處理問題提供近似解決方案。這會產(chǎn)生明確、正確的答案，而不是猜測，使其成為開發(fā)人員、數(shù)據(jù)科學家和技術(shù)用戶的理想選擇。

Diffychat：公開演示

鼓勵對測試、集成或為項目做出貢獻的開發(fā)人員、研究人員和組織訪問 https://diffy.chat 并探索文檔和開源存儲庫。用戶可以在 https://diffy.chat 上測試 Diffbot LLM，讓任何人都可以親身體驗其功能。

與許多閉源模型不同，Diffbot 的模型是完全開源的，并帶有一個開源的、與 OpenAI 兼容的函數(shù)調(diào)用 API 服務器，用于自托管。這種開放的方法使企業(yè)、研究人員和業(yè)余愛好者能夠?qū)⒛Ｐ图傻剿麄冏约旱南到y(tǒng)中，并完全控制他們的數(shù)據(jù)和配置。

值得注意的是，大型語言模型 （LLM） 已經(jīng)使用越來越多的數(shù)據(jù)進行訓練，導致參數(shù)數(shù)量和所需的計算能力增加。但是，如果我們沒有為模型提供更多數(shù)據(jù)，而是有目的地訓練它，以減少對預訓練數(shù)據(jù)的依賴，而更多地依賴它查找外部知識的能力，那會怎樣？

為了測試這個想法，我們對 LLama 3.3 70B 進行了微調(diào)，使其成為實時知識圖譜 API 的專家工具用戶，提供了第一個性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實現(xiàn)。

值得注意的是，大型語言模型 （LLM） 已經(jīng)使用越來越多的數(shù)據(jù)進行訓練，導致參數(shù)數(shù)量和所需的計算能力增加。但是，如果我們沒有為模型提供更多數(shù)據(jù)，而是有目的地訓練它，以減少對預訓練數(shù)據(jù)的依賴，而更多地依賴它查找外部知識的能力，那會怎樣？

為了測試這個想法，我們對 LLama 3.3 70B 進行了微調(diào)，使其成為實時知識圖譜 API 的專家工具用戶，提供了第一個性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實現(xiàn)。

1. 特點

實時 Web URL 提取

作為一個 RAG 系統(tǒng)，Diffbot LLM 可以實時總結(jié) Web 文檔，并適當?shù)刈⒚髟紒碓础?/p>

事實引文的專家檢索器

Diffbot LLM 經(jīng)過明確訓練，可以將引用的文本與參考來源對齊。

知識圖譜查詢

Diffbot LLM 是 Diffbot（知識圖譜）查詢語言的專家工具用戶。

圖像蘊涵

Diffbot LLM也包含圖像。

Code Interpreter 工具使用

Diffbot LLM 不依賴模型權(quán)重來執(zhí)行實證計算，而是 Javascript 解釋器的專家工具用戶，它可以使用它來通知它的響應。

有趣的東西

Diffbot LLM 是 ASCII 藝術(shù)天氣預報的專家制造商，以真實來源為基礎(chǔ)。

2. 模型下載

可在 HuggingFace 上下載：

• diffbot-small （8b Llama 3.1 微調(diào)）：https://huggingface.co/diffbot/Llama-3.1-Diffbot-Small-2412
• diffbot-small-xl （70b Llama 3.3 微調(diào)）：https://huggingface.co/diffbot/Llama-3.3-Diffbot-Small-XL-2412

3. 準確性基準

FreshQA 數(shù)據(jù)集

FreshQA 是衡量搜索 RAG 系統(tǒng)實時準確性的基準。Diffbot LLM 在實時事實準確性方面優(yōu)于 gpt-4o（無網(wǎng)絡訪問）、ChatGPT（有網(wǎng)絡訪問）、Google Gemini 和 Perplexity。

在本次評估中，我們重點關(guān)注了 130 個 FreshQA 問題，這些問題的答案在 2024 年發(fā)生了變化，這是在 2024 年 12 月所有評估模型的知識截止之后。

MMLU-Pro 系列

MMLU-Pro 是 MMLU 基準測試的更困難版本，它使用 57 道選擇多項選擇題來測試 10 個學術(shù)科目的靜態(tài)知識。MMLU-Pro 排行榜。

下面顯示了 diffbot-small 和 diffbot-small-xl 在進行微調(diào)的基礎(chǔ)模型上的 MMLU-Pro 分數(shù)。

注意：這是對 Diffbot GraphRAG LLM API 端到端的測量，而不是對權(quán)重中包含的知識的測量。與基本模型相比，其性能的提升來自其訪問外部工具的能力。

4. 演示

使用 https://diffy.chat 的演示應用程序試用 Diffbot LLM

5. 在本地運行

經(jīng)過測試的最低硬件配置：

• Nvidia A100 40G 用于 diffbot-small
• Nvidia 2XH100 80G 用于 diffbot-small-xl @ FP8

在 huggingface 中使用 Docker 鏡像和模型

• Pull docker image:??docker pull docker.io/diffbot/diffbot-llm-inference:latest??拉取 docker 鏡像：docker pull docker.io/diffbot/diffbot-llm-inference:latest
• Run docker image. Note: The model weights will be automatically downloaded from huggingface. This might take a few minutes.運行 docker image。注意：模型權(quán)重將自動從 huggingface 下載。這可能需要幾分鐘時間。

Model: diffbot-small型號：diffbot-small

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching"  docker.io/diffbot/diffbot-llm-inference:latestMdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching ” docker.io/diffbot/diffbot-llm-inference:latestM

odel: diffbot-small-xlODEL：diffbot-small-xl

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2"  docker.io/diffbot/diffbot-llm-inference:latestTdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2 ” docker.io/diffbot/diffbot-llm-inference:latestT

Diffbot 服務器利用 vLLM 為模型提供服務，一旦 vLLM 輸出以下消息，它就可以接收請求：

信息：應用程序啟動 complete.INFO：Uvicorn 在 http://0.0.0.0:8000 上運行（按 CTRL+C 退出） Yo

您現(xiàn)在可以使用終端節(jié)點 http://localhost:8001/rag/v1 ，它的工作方式與下面的 Serverless API 完全相同

7. 使用 Serverless API

Get a free Diffbot developer token at https://app.diffbot.com/get-started
在 https://app.diffbot.com/get-started 獲取免費的 Diffbot 開發(fā)人員令牌

from openai importOpenAI

client =OpenAI(
    base_url ="https://llm.diffbot.com/rag/v1",
    api_key  ="<diffbot_token>"
)

completion = client.chat.completions.create(
    model="diffbot-small-xl",
    temperature=0,
    messages=[
        {
"role": "user",
"content": "What is the Diffbot Knowledge Graph?"
        }
    ]
)
print (completion)Contact support@diffbot.com if need more credits or higher limits.

8. 添加自定義工具

要使用新工具擴展 Diffbot LLM 推理服務器，請參閱本教程。

GitHub - diffbot/diffbot-llm-inference：DIffbot LLM 推理服務器

??https://github.com/diffbot/diffbot-llm-inference/??

關(guān)于 Diffbot：

Diffbot 是一家領(lǐng)先的人工智能和數(shù)據(jù)公司，致力于組織和構(gòu)建世界信息。其行業(yè)首創(chuàng)的知識圖譜不斷從網(wǎng)絡上提取和組織事實，為企業(yè)、研究和創(chuàng)新的關(guān)鍵任務應用程序提供支持。通過構(gòu)建最全面的人類知識事實存儲并將其與先進的自然語言模型配對，Diffbot 旨在重新定義下一代事實 AI。

本文轉(zhuǎn)載自知識圖譜科技，作者：KGGPT