AI 網關對決：Higress 與 OneAPI 的功能對比
什么是 AI 網關？
AI 網關旨在統(tǒng)一管理與各種大型語言模型（LLMs）的交互。通過提供單一入口點，它解決了使用來自不同供應商的多個 AI 模型所帶來的復雜性問題。這不僅簡化了訪問流程，提高了系統(tǒng)穩(wěn)定性，還降低了成本，并靈活地利用了不同模型的優(yōu)勢。
什么是 OneAPI？
OneAPI 是一個開源的 LLM API 管理 & 分發(fā)系統(tǒng)，可以幫助統(tǒng)一管理和轉發(fā)各類大語言模型（如 DeepSeek 等）的 API 請求。它提供了一個兼容 OpenAI API 格式的統(tǒng)一接口，讓用戶能夠方便地切換和管理不同的 AI 模型服務，同時支持令牌管理、負載均衡等功能。
什么是 Higress?
Higress 是一款云原生 API 網關，內核基于 Istio 和 Envoy，可以用 Go/Rust/JS 等編寫 Wasm 插件，提供了數(shù)十個現(xiàn)成的通用插件。Higress 在阿里內部為解決 Tengine reload 對長連接業(yè)務有損，以及 gRPC/Dubbo 負載均衡能力不足而誕生。阿里云基于 Higress 構建了云原生 API 網關產品，為大量企業(yè)客戶提供 99.99% 的網關高可用保障服務能力。
Higress 同時也能夠作為 AI 網關，通過統(tǒng)一的協(xié)議對接國內外所有 LLM 模型廠商，同時具備豐富的 AI 可觀測、多模型負載均衡/fallback、AI token 流控、AI 緩存等能力。
圖片
Higress 和 OneAPI 的對比
下面的表格從多個維度對比了 OneAPI 和 Higress 之前的差異：
差異項 | OneAPI | Higress |
核心功能 | AI 網關 | 具有 AI 網關功能的 API 網關 |
維護方式 | 由個人維護的項目 | 由阿里云 API 網關團隊維護的項目 |
系統(tǒng)安全 | 易受安全漏洞影響，如 DockerHub 鏡像被注入加密挖礦腳本 | 商業(yè)版由阿里云托管，無此風險；開源版本集成了阿里云容器鏡像服務以存儲鏡像，提供安全掃描和自動阻止風險鏡像的功能 |
內容安全 | 無 | 通過集成阿里云內容安全實現(xiàn)實時內容過濾，同時支持數(shù)據(jù)脫敏等功能 |
模型管理 | 只有模型和 API Key 配置管理 | 支持 API Key 管理（多密鑰輪詢、屏蔽不可用密鑰）、消費者管理（API Key 二級分發(fā)、訪問控制）、兜底模型以及模型灰度發(fā)布。 |
可觀測性 | 無 | 提供監(jiān)控儀表板用于查看模型及消費者令牌消耗和調用延遲。提供全面的可觀測性，包括內容安全、速率限制和緩存的監(jiān)控。 |
可擴展性 | 無 | 插件市場提供了現(xiàn)成插件（提示詞模板、AI緩存、數(shù)據(jù)脫敏、內容安全），支持自定義插件開發(fā)及熱加載。 |
云集成 | 無 | 可以和阿里云上的各類云產品集成，例如借助 SLS 實現(xiàn) AI 數(shù)據(jù)分析能力 |
Higress 作為 AI 網關的優(yōu)勢
Higress 作為 AI 網關，具備以下幾大優(yōu)勢：
- 統(tǒng)一管理與靈活擴展：Higress 提供一個集中的入口，能夠統(tǒng)一管理多個大型語言模型（LLMs），簡化了與不同供應商模型的接入和配置，支持靈活擴展，方便在需求變化時加入新的模型。
- 高可用性與穩(wěn)定性：Higress 通過自動故障轉移機制，確保當某個 AI 模型服務不可用時，能夠快速切換到備選模型，保持系統(tǒng)的高可用性和穩(wěn)定性，極大減少了服務中斷的風險。
- AI 緩存：Higress 支持將 AI 模型的結果緩存在 Elasticsearch、Redis、Weaviate 等數(shù)據(jù)庫中。這樣不僅可以在后續(xù)處理相似問題的請求時快速返回結果，還能減少 LLM 調用的費用開銷。
- 意圖識別：Higress 能根據(jù)用戶需求智能地選擇最合適的 LLM，從而在不同場景下提供最佳響應。
- API Key 治理：支持配置 API Key 池實現(xiàn)多 Key 均衡，API Key 被限流等不可用情況會自動屏蔽，并在可用時自動恢復。
- 消費者管理：可以通過創(chuàng)建消費者，實現(xiàn) API Key 的二次分租，無需將真正的供應商 API Key 暴露給調用方，并且可以精細化管理不同消費者的調用權限和調用額度。
- 強大的可觀測性：Higress 提供關于模型性能、令牌使用情況及安全相關指標的詳細洞察，幫助團隊全面監(jiān)控系統(tǒng)健康狀況。
- 云原生集成：與阿里云服務緊密集成，Higress 提供了托管的云原生 API 網關選項，簡化了云環(huán)境中的部署與管理。
- 內容安全：Higress 集成了阿里云內容安全技術，為 AI 內容提供強大的安全保障。
快速體驗 Higress AI 網關
Higress AI 網關支持一行命令安裝：
curl -sS https://higress.cn/ai-gateway/install.sh | bash執(zhí)行完命令后可以通過命令行初始化配置，可以看到，Higress 的 AI 網關能力支持對接國內外所有主流 LLM 模型供應商：
圖片
也可以選擇跳過這個步驟，到 Higress 的控制臺進行配置對應供應商的 API Key：
圖片
配置后，就可以直接使用了，例如使用 OpenAI 的 SDK：
import json
from openai import OpenAI
client = OpenAI(
api_key=xxxxx, # ?? 可以通過 Higress 生成消費者 Key 實現(xiàn) API Key 的二次分租
base_url="http://127.0.0.1:8080/v1"
)
completion = client.chat.completions.create(
model="deepseek-chat", # ?? 可以填寫任意模型名稱，Higress 會根據(jù)模型名稱路由到對應的 LLM 供應商
messages=[
{"role": "user", "content": "你好"}
],
stream=True
)
for chunk in completion:
print(chunk.choices[0].delta)可以在監(jiān)控面板看到每個模型，以及每個消費者的 token 消耗情況以及調用延時：
圖片
參考鏈接
- Higress：https://github.com/alibaba/higress
- OneAPI：https://github.com/songquanpeng/one-api
