DeepSeek 作為大模型新銳，憑借其在算法、架構(gòu)及系統(tǒng)等核心領(lǐng)域的創(chuàng)新突破，迅速獲得業(yè)界矚目。在巨大的熱度下，面對海量請求，越來越多用戶遇到了請求失敗、調(diào)用超時、結(jié)果無法返回等穩(wěn)定性問題。

火山引擎邊緣大模型網(wǎng)關(guān)通過一個 API 接入多家模型服務(wù)，利用全球邊緣節(jié)點就近調(diào)用，提升響應(yīng)速度；支持故障自動切換、重試和超時控制，確保服務(wù)可靠性；兼容 OpenAI 接口標(biāo)準(zhǔn)，可快速集成 DeepSeek 等模型，降低接入成本。

目前，火山引擎邊緣大模型網(wǎng)關(guān)已全面支持 DeepSeek 系列模型，可通過兩種方式進(jìn)行模型使用：

• 一是通過平臺預(yù)置模型，邊緣大模型網(wǎng)關(guān)新增由火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B，您可直接使用并對其創(chuàng)建網(wǎng)關(guān)訪問密鑰，無需與三方模型提供商交互；
• 二是通過自有三方模型，邊緣大模型網(wǎng)關(guān)新增由 DeepSeek 開放平臺提供的 DeepSeek R1、DeepSeek V3 以及火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B，您可以將您在第三方模型平臺的密鑰納管至邊緣大模型網(wǎng)關(guān)，以實現(xiàn)通過邊緣大模型網(wǎng)關(guān)簽發(fā)的網(wǎng)關(guān)訪問密鑰進(jìn)行對應(yīng)模型的訪問與調(diào)用。

01 3步快速調(diào)用 DeepSeek

火山引擎邊緣大模型網(wǎng)關(guān)支持通過一個 API 接口訪問多家大模型提供商的模型與智能體，在端側(cè)基于遍布全球的邊緣計算節(jié)點就近調(diào)用。利用邊緣云基礎(chǔ)架構(gòu)優(yōu)勢，提高模型訪問速度，為終端用戶提供更快速、可靠的 AI 服務(wù)體驗。

在接入大模型的同時，通過配置調(diào)用順序、自動重試、請求超時等能力，能夠?qū)崿F(xiàn)模型調(diào)用失敗自動請求備用模型、單次請求失敗自動重試、單次調(diào)用響應(yīng)時間配置。通過產(chǎn)品化的配置，您可以迅速創(chuàng)建出與 OpenAI 的 API 和 SDK 完全兼容的網(wǎng)關(guān)訪問密鑰（API），并通過選配 DeepSeek 模型進(jìn)行調(diào)用，節(jié)省大量適配成本，快速完成業(yè)務(wù)接入。

Step1 選擇 DeepSeek 調(diào)用方式

調(diào)用平臺預(yù)置 DeepSeek

邊緣大模型網(wǎng)關(guān)的平臺預(yù)置模型中上新了由火山方舟提供的 DeepSeek 模型，您可通過登錄產(chǎn)品控制臺查看支持模型，并通過點擊創(chuàng)建網(wǎng)關(guān)訪問密鑰進(jìn)行勾選。使用平臺預(yù)置的模型DeepSeek，您無需與模型提供商進(jìn)行交互，可以直接通過邊緣大模型網(wǎng)關(guān)進(jìn)行模型配置與調(diào)用。

調(diào)用自有三方 DeepSeek

如果希望使用在火山方舟平臺或 DeepSeek 開放平臺購買的 DeepSeek 模型調(diào)用額度，您需要通過在邊緣大模型網(wǎng)關(guān)平臺創(chuàng)建對應(yīng)模型提供商的調(diào)用渠道，在創(chuàng)建調(diào)用渠道時，需要提供您在第三方模型平臺的密鑰，同時勾選大模型以明確當(dāng)前調(diào)用渠道可進(jìn)行調(diào)用的模型配置。

完成調(diào)用渠道配置后，您可通過創(chuàng)建網(wǎng)關(guān)訪問密鑰勾選對應(yīng)的 DeepSeek 模型，實現(xiàn)大模型的快速調(diào)用。

Step2 創(chuàng)建網(wǎng)關(guān)訪問密鑰

完成前序的 DeepSeek 模型選擇后，您可在網(wǎng)關(guān)訪問密鑰創(chuàng)建的第二步進(jìn)行模型調(diào)用配置，以更好地保障在終端業(yè)務(wù)調(diào)用時的穩(wěn)定性。

• 通過設(shè)置調(diào)用順序，您可以手動調(diào)整上一步選擇的模型調(diào)用順序，可以根據(jù)不同廠商的容災(zāi)策略以及不同尺寸模型的降級進(jìn)行設(shè)置，在前一個模型調(diào)用失敗后，大模型網(wǎng)關(guān)將依次調(diào)用后續(xù)模型，直到成功調(diào)用一個模型。如果所有模型都調(diào)用失敗，則返回錯誤響應(yīng)。
• 通過重試次數(shù)，您可以設(shè)置對一個模型進(jìn)行調(diào)用的最大重試次數(shù)。當(dāng)一個模型調(diào)用失敗后，大模型網(wǎng)關(guān)將重新嘗試調(diào)用此模型，直到重試次數(shù)耗盡。
• 通過啟用緩存，大模型網(wǎng)關(guān)會就近調(diào)用結(jié)果返回在邊緣節(jié)點，從而加快重復(fù)查詢、縮短響應(yīng)時間并降低成本。
• 通過設(shè)置緩存的保留時長，一旦超過指定時長，緩存將被清除。
• 通過請求超時定義，您可以設(shè)置單次模型調(diào)用的超時時長，模型請求發(fā)出后，若在超時時長內(nèi)未收到響應(yīng)，則判定該請求失敗。

Step3 服務(wù)調(diào)用與觀測

當(dāng)您根據(jù)上述流程完成網(wǎng)關(guān)訪問密鑰創(chuàng)建，您可以在網(wǎng)關(guān)訪問密鑰列表中查看已完成創(chuàng)建的信息。在詳情頁面，可以看到基本信息、用量統(tǒng)計、請求方式等詳細(xì)信息。

通過詳情頁調(diào)用示例，您可以獲得由邊緣大模型網(wǎng)關(guān)提供的請求示例代碼，包含 Curl 和 Python。當(dāng)您從網(wǎng)關(guān)訪問密鑰綁定的模型中選擇一個模型后，代碼中的model參數(shù)值將自動替換成模型對應(yīng)的值。如果網(wǎng)關(guān)訪問密鑰綁定了多個同一類型的模型，那么當(dāng)選擇一個模型后，可以通過單擊右側(cè)的圖標(biāo)查看模型故障轉(zhuǎn)移的預(yù)覽效果。當(dāng)前模型調(diào)用失敗時，大模型網(wǎng)關(guān)將依次調(diào)用后續(xù)的模型。在調(diào)用時，您需要將詳情頁-請求方式中的密鑰替換示例代碼中的$VEI_API_KEY。

邊緣大模型網(wǎng)關(guān)可根據(jù)您通過網(wǎng)關(guān)向模型發(fā)出的請求以及模型的響應(yīng)來統(tǒng)計您的用量。不同模型提供商對模型用量的計量方式有所不同，根據(jù)模型調(diào)用計量方式，您的調(diào)用詳情可以在用量統(tǒng)計中進(jìn)行查看。

同時，通過云監(jiān)控-大模型網(wǎng)關(guān)模塊，您可以查詢以網(wǎng)關(guān)訪問密鑰為維度的總用量（已消耗的 tokens 總量）與用量速率（每秒消耗的 tokens 額度）。