出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
作者 | Liam Crilly
編譯 | 言征
從GitHub Copilot到Microsoft Office Copilot再到ChatGPT等，AI已經(jīng)以光速?gòu)摹翱傆幸惶煳覀儠?huì)到達(dá)那里”轉(zhuǎn)變?yōu)椤澳愕腁I戰(zhàn)略是什么？”
因此，組織正在迅速接受AI——?jiǎng)?chuàng)造增強(qiáng)的最終用戶(hù)體驗(yàn)、降低的運(yùn)營(yíng)成本和競(jìng)爭(zhēng)優(yōu)勢(shì)。圍繞AI流程和工作流程構(gòu)建的全新應(yīng)用程序正在涌現(xiàn)。像大多數(shù)新的應(yīng)用程序和服務(wù)一樣，AI服務(wù)，如OpenAI或各種云提供商提供的服務(wù)，是通過(guò)API提供和消費(fèi)的。
那么在AI應(yīng)用跟大模型之間怎么交互呢？這里就是AI網(wǎng)關(guān)的用武之地。
AI網(wǎng)關(guān)是專(zhuān)門(mén)構(gòu)建的系統(tǒng)，用于管理、保護(hù)和觀察激增的AI流量和應(yīng)用需求。因此，它們正迅速成為一個(gè)重要的產(chǎn)品類(lèi)別。那么什么是AI網(wǎng)關(guān)呢？也許你還真的需要一個(gè)！
一、什么是AI網(wǎng)關(guān)：快速定義
AI網(wǎng)關(guān)是一種專(zhuān)門(mén)的設(shè)備或解決方案，旨在管理和簡(jiǎn)化應(yīng)用程序和AI模型之間的交互，特別是在大型語(yǔ)言模型（LLM）和其他AI服務(wù)的背景下。網(wǎng)關(guān)充當(dāng)AI流量的中心控制點(diǎn)，為應(yīng)用程序訪問(wèn)各種AI后端和模型提供統(tǒng)一的接口。AI網(wǎng)關(guān)還允許運(yùn)營(yíng)和安全團(tuán)隊(duì)管理關(guān)鍵領(lǐng)域，如安全、治理、可觀察性和成本管理。
大多數(shù)AI網(wǎng)關(guān)包括以下幾組功能：
1.安全性和合規(guī)性
AI安全既是最重要的，也是最重要的。AI應(yīng)用程序可能用于處理客戶(hù)數(shù)據(jù)或其他形式的個(gè)人身份信息，并且經(jīng)常暴露在有價(jià)值的專(zhuān)有公司數(shù)據(jù)中。越來(lái)越多的第三方AI機(jī)器人試圖在未經(jīng)授權(quán)的情況下對(duì)公開(kāi)的數(shù)據(jù)進(jìn)行訓(xùn)練。
網(wǎng)關(guān)處理身份驗(yàn)證和零信任，充當(dāng)AI服務(wù)和API訪問(wèn)的看門(mén)人。
面對(duì)這些和其他風(fēng)險(xiǎn)，AI網(wǎng)關(guān)正在成為一種新型防火墻。AI網(wǎng)關(guān)管理AI服務(wù)的消費(fèi)者和提供者的安全憑證。
網(wǎng)關(guān)處理身份驗(yàn)證和零信任，充當(dāng)AI服務(wù)和API訪問(wèn)的看門(mén)人。它還提供了一個(gè)授權(quán)層，以確保只有經(jīng)過(guò)批準(zhǔn)的用戶(hù)才能訪問(wèn)特定的服務(wù)，或者根據(jù)定義的策略批準(zhǔn)使用服務(wù)。策略可能會(huì)根據(jù)地理位置、業(yè)務(wù)部門(mén)、角色、基礎(chǔ)設(shè)施提供商或基礎(chǔ)設(shè)施類(lèi)型來(lái)限制使用。
對(duì)于特定的AI提示管理，AI網(wǎng)關(guān)可以實(shí)現(xiàn)提示安全、驗(yàn)證和模板生成。這通過(guò)將功能整合在一個(gè)控制平面中簡(jiǎn)化了即時(shí)管理，該控制平面可以在不需要更新本地開(kāi)發(fā)環(huán)境或不同模型系統(tǒng)或AI應(yīng)用程序的情況下進(jìn)行管理。這對(duì)于負(fù)責(zé)任和合規(guī)的AI使用至關(guān)重要，因?yàn)樗梢苑乐归_(kāi)發(fā)人員圍繞受限制的主題構(gòu)建AI集成或在提示中設(shè)置錯(cuò)誤的上下文。
此外，AI網(wǎng)關(guān)被用作AI數(shù)據(jù)的防火墻或數(shù)字丟失保護(hù)系統(tǒng)。一個(gè)功能齊全的AI網(wǎng)關(guān)可以防止模型中毒、模型盜竊和其他對(duì)AI系統(tǒng)的新生網(wǎng)絡(luò)安全威脅。
2.負(fù)載平衡和集中消耗管理
你可能需要一個(gè)AI負(fù)載均衡器，即使你還沒(méi)有。AI應(yīng)用程序可能具有高度的數(shù)據(jù)密集性和計(jì)算依賴(lài)性。不管理AI應(yīng)用程序的流量可能意味著非常昂貴的GPU閑置著，等待資源不足的上游部分完成工作。對(duì)于面向消費(fèi)者的產(chǎn)品來(lái)說(shuō)，AI應(yīng)用程序的延遲是一個(gè)殺手——你讓某人等待聊天機(jī)器人響應(yīng)的時(shí)間越長(zhǎng)，他們向左或向右滑動(dòng)的可能性就越大。
然后是消費(fèi)問(wèn)題。如今，大多數(shù)組織都在使用多種AI模型即服務(wù)產(chǎn)品。這些大多是通過(guò)云提供商或其他第三方服務(wù)提供的。AI網(wǎng)關(guān)為管理組織內(nèi)不同團(tuán)隊(duì)和應(yīng)用程序的AI消費(fèi)提供了一個(gè)集中的平臺(tái)。這種集中化對(duì)于保持對(duì)AI流量的控制以及確保AI以合規(guī)和負(fù)責(zé)任的方式使用至關(guān)重要。
AI網(wǎng)關(guān)為管理不同團(tuán)隊(duì)和應(yīng)用程序的AI消費(fèi)提供了一個(gè)集中的平臺(tái)。
通過(guò)提供統(tǒng)一的控制平面和負(fù)載均衡器，AI網(wǎng)關(guān)使組織能夠管理所有AI消耗和可觀測(cè)性收集。在AI中，消費(fèi)是不同的，因?yàn)樗且源鷰哦皇墙灰谆驍?shù)據(jù)量來(lái)衡量的。
然而，令牌的簡(jiǎn)單測(cè)量是不精確的：某些類(lèi)型的查詢(xún)需要更多的令牌來(lái)運(yùn)行作業(yè)，并且同一提示所需的令牌數(shù)量可能會(huì)隨著時(shí)間的推移而變化。換言之，假設(shè)您的標(biāo)準(zhǔn)應(yīng)用程序?yàn)橥徽?qǐng)求返回了可變數(shù)量的數(shù)據(jù)。這是AI細(xì)微差別的核心——消費(fèi)可能更難預(yù)測(cè)和控制。
3.簡(jiǎn)化開(kāi)發(fā)人員工作流
如今，開(kāi)發(fā)者和平臺(tái)運(yùn)營(yíng)團(tuán)隊(duì)面臨著一系列令人眼花繚亂的AI集成和API可供選擇。云提供商可以通過(guò)其API簡(jiǎn)化消費(fèi)，但AI網(wǎng)關(guān)的設(shè)計(jì)允許輕松管理AIAPI和單個(gè)集成管理點(diǎn)。
AI網(wǎng)關(guān)支持多種AI服務(wù)，并提供單個(gè)API接口，開(kāi)發(fā)人員可以使用該接口訪問(wèn)他們需要的任何AI模型。端點(diǎn)可能允許開(kāi)發(fā)人員訪問(wèn)OpenAI提供的各種模型，但也可以訪問(wèn)Hugging Face上包含的數(shù)千個(gè)更精細(xì)調(diào)整的開(kāi)源模型和工具。AI網(wǎng)關(guān)可以自動(dòng)啟用需要訪問(wèn)AI服務(wù)的團(tuán)隊(duì)。
是的，AI的蔓延是一件事，你不希望你的開(kāi)發(fā)者擾亂它。
這個(gè)統(tǒng)一的API端點(diǎn)簡(jiǎn)化了開(kāi)發(fā)工作流程并加快了集成過(guò)程。這反過(guò)來(lái)又使開(kāi)發(fā)人員能夠?qū)Ｗ⒂跇?gòu)建AI應(yīng)用程序，而不是管理復(fù)雜的集成。
正如開(kāi)發(fā)人員希望在開(kāi)發(fā)軟件時(shí)有一系列框架和開(kāi)源模塊可供選擇一樣，AI開(kāi)發(fā)人員也越來(lái)越希望有廣泛的模型和AI服務(wù)可供選擇，以便更快、更適當(dāng)?shù)囟ㄖ茟?yīng)用程序。是的，AI的蔓延是一件事，你不希望你的開(kāi)發(fā)者擾亂它。
4.成本優(yōu)化、監(jiān)控和可觀測(cè)性
AI網(wǎng)關(guān)允許組織從其AI使用中學(xué)習(xí)，以管理和降低成本。網(wǎng)關(guān)可以深入了解每個(gè)模型的消耗配額，從而實(shí)現(xiàn)高效的資源分配和成本控制。這種透明度允許用戶(hù)有效地管理他們的AI資源使用情況，確保最佳利用率并防止浪費(fèi)（例如為閑置的GPU付費(fèi)）。
更先進(jìn)的AI網(wǎng)關(guān)可以通過(guò)將上下文應(yīng)用于每個(gè)作業(yè)，將正確類(lèi)型的AI計(jì)算作業(yè)引導(dǎo)到最經(jīng)濟(jì)的基礎(chǔ)設(shè)施。例如，需要大規(guī)模和吞吐量的最關(guān)鍵的作業(yè)可能被定向到容量最高的GPU集群，而更簡(jiǎn)單的推理作業(yè)可以被定向到更接近最終用戶(hù)但功能較弱的GPU。
優(yōu)化硬幣的另一面是可觀察性和監(jiān)控性。AI網(wǎng)關(guān)從一個(gè)地方管理AI的可觀察性，甚至可以將數(shù)據(jù)發(fā)送給第三方日志/度量收集器。這使得捕獲生成的整個(gè)AI流量更加容易，以進(jìn)一步確保數(shù)據(jù)合規(guī)性并識(shí)別使用中的任何異常情況。其中一些與安全性重疊，但大部分是AI特有的，因?yàn)锳I的消費(fèi)模式不同，信號(hào)問(wèn)題的異常也不同。
例如，AI在生產(chǎn)中對(duì)應(yīng)用程序的推理可能看起來(lái)與正常的應(yīng)用程序流量相似，但AI模型訓(xùn)練和調(diào)整看起來(lái)非常突然，有大量的流量和依賴(lài)的計(jì)算工作，需要密切監(jiān)控，以確保GPU不會(huì)浪費(fèi)在低效的數(shù)據(jù)管道中等待。
二、為AI的狂野西部帶來(lái)秩序
更令人困惑的是，許多點(diǎn)產(chǎn)品關(guān)注的是更全面的AI網(wǎng)關(guān)尋求解決的一兩個(gè)問(wèn)題。一些供應(yīng)商還將API網(wǎng)關(guān)包裝成一些特定于AI的功能，并將其命名為AI網(wǎng)關(guān)。
有一些開(kāi)源項(xiàng)目提供了上面討論的一些功能。例如，許多機(jī)器學(xué)習(xí)操作平臺(tái)和服務(wù)為開(kāi)發(fā)團(tuán)隊(duì)的AI消費(fèi)創(chuàng)建了統(tǒng)一的API端點(diǎn)。
將許多不同的產(chǎn)品捆綁在一起以獲得所有功能最終將成為一個(gè)難以克服的麻煩，而且會(huì)更加昂貴。正如API管理集中在API網(wǎng)關(guān)上一樣，AI管理也將表現(xiàn)出對(duì)綜合AI網(wǎng)關(guān)的偏見(jiàn)。
最好的將為每一個(gè)接觸到這種強(qiáng)大的新技術(shù)范式的人提供一種有效的方式來(lái)馴服AI“狂野的西部”。
合適的AI網(wǎng)關(guān)將為企業(yè)采用AI鋪平道路，并使部署這項(xiàng)強(qiáng)大的新技術(shù)在任何規(guī)模上都更加常規(guī)、安全和經(jīng)濟(jì)。
