編譯 | 星璇

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

在過去的兩年里，我更多地參與了使用大型語言模型（LLMs）的生成式AI項(xiàng)目，而非傳統(tǒng)的系統(tǒng)。我開始懷念無服務(wù)器云計(jì)算。它們的應(yīng)用范圍廣泛，從增強(qiáng)對(duì)話式AI到為各行各業(yè)提供復(fù)雜的分析解決方案，以及其他許多功能。許多企業(yè)將這些模型部署在云平臺(tái)上，因?yàn)楣苍铺峁┥桃呀?jīng)提供了現(xiàn)成的生態(tài)系統(tǒng)，而且這是阻力最小的路徑。然而，這并不便宜。

云還提供了其他好處，如可擴(kuò)展性、效率和高級(jí)計(jì)算能力（按需提供GPU）。在公共云平臺(tái)上部署LLM的過程有一些鮮為人知的秘密，它們可能會(huì)對(duì)成功或失敗產(chǎn)生重大影響。也許是因?yàn)樘幚鞮LMs的AI專家并不多，也因?yàn)槲覀冊(cè)谶@方面還沒有太多經(jīng)驗(yàn)，我們的知識(shí)體系中存在很多空白。

讓我們探討三個(gè)在云上部署LLM時(shí)鮮為人知的“技巧”，也許你的AI工程師們也不知道?？紤]到這些工程師的年薪往往超過30萬美元，也許現(xiàn)在是時(shí)候考考他們做這些事情的細(xì)節(jié)了。我看到每個(gè)人都像頭發(fā)著火一樣奔向生成式AI，但犯的錯(cuò)誤比以往任何時(shí)候都多。

1.管理成本效益和可擴(kuò)展性

使用云平臺(tái)部署LLMs的主要吸引力之一是能夠按需擴(kuò)展資源。我們不必成為優(yōu)秀的容量規(guī)劃師，因?yàn)樵破脚_(tái)擁有我們只需點(diǎn)擊鼠標(biāo)或自動(dòng)分配的資源。

但是，等等，我們即將犯下當(dāng)初使用云計(jì)算時(shí)犯下的同樣錯(cuò)誤。在擴(kuò)展的同時(shí)管理成本是一項(xiàng)技能，許多人需要在這方面獲得幫助以進(jìn)行有效導(dǎo)航。請(qǐng)記住，云服務(wù)通常根據(jù)消耗的計(jì)算資源收費(fèi)；它們就像公共事業(yè)一樣運(yùn)作。處理得越多，付費(fèi)就越多。考慮到GPU的成本更高（且耗電量更大），這是使用公共云提供商的LLMs時(shí)的核心關(guān)注點(diǎn)。

請(qǐng)確保您使用成本管理工具，包括云平臺(tái)提供的工具和可靠的第三方成本治理和監(jiān)控服務(wù)商（finops）提供的工具。例如，實(shí)施自動(dòng)擴(kuò)展和調(diào)度、選擇合適的實(shí)例類型或使用搶占式實(shí)例來優(yōu)化成本。此外，請(qǐng)記得持續(xù)監(jiān)控部署情況，根據(jù)使用情況而不是僅根據(jù)預(yù)測(cè)負(fù)載調(diào)整資源。這意味著不惜一切代價(jià)避免過度配置（明白我這里的雙關(guān)了嗎？）。

2.多租戶環(huán)境中的數(shù)據(jù)隱私

部署LLMs通常涉及處理大量數(shù)據(jù)和訓(xùn)練過的知識(shí)模型，這些可能包含敏感或?qū)Ｓ袛?shù)據(jù)。使用公共云的風(fēng)險(xiǎn)在于，你的“鄰居”是以處理實(shí)例的形式存在，它們?cè)谕晃锢碛布线\(yùn)行。因此，公共云確實(shí)存在這樣的風(fēng)險(xiǎn)：在數(shù)據(jù)存儲(chǔ)和處理過程中，數(shù)據(jù)可能會(huì)被公共云數(shù)據(jù)中心中同一物理硬件上運(yùn)行的其他虛擬機(jī)訪問。

如果你詢問公共云提供商有關(guān)此問題，他們會(huì)急忙拿出最新的PowerPoint演示文稿，展示這是不可能的。雖然這主要是真的，但并不完全準(zhǔn)確。所有多租戶系統(tǒng)都存在這種風(fēng)險(xiǎn)；你需要加以緩解。我發(fā)現(xiàn)，云提供商的規(guī)模越小，比如那些僅在單一國(guó)家運(yùn)營(yíng)的云提供商，這種問題出現(xiàn)的可能性就越大。這適用于數(shù)據(jù)存儲(chǔ)和LLMs。

秘訣在于選擇符合嚴(yán)格安全標(biāo)準(zhǔn)并能提供證明的云提供商：靜止和傳輸中的數(shù)據(jù)加密、身份和訪問管理（IAM）以及隔離策略。當(dāng)然，更好的做法是你實(shí)施自己的安全策略和安全技術(shù)棧，以確保在云上使用多租戶LLMs的風(fēng)險(xiǎn)較低。

3.處理有狀態(tài)模型部署

大型語言模型（LLMs）大多數(shù)都是有狀態(tài)的，這意味著它們會(huì)在一次交互到下一次交互之間保留信息。這個(gè)舊方法提供了新的好處：即在持續(xù)學(xué)習(xí)場(chǎng)景中提高效率的能力。然而，在云環(huán)境中管理這些模型的有狀態(tài)性是有挑戰(zhàn)性的，因?yàn)樵骗h(huán)境中的實(shí)例可能是按設(shè)計(jì)短暫或無狀態(tài)的。

支持有狀態(tài)部署的編排工具（如 Kubernetes）是有幫助的。它們可以為大型語言模型利用持久性存儲(chǔ)選項(xiàng)，并配置為跨會(huì)話維護(hù)和操作其狀態(tài)。為了支持大型語言模型的連續(xù)性和性能，您需要這樣做。

隨著生成式人工智能的爆炸式增長(zhǎng)，在云平臺(tái)上部署大型語言模型已成定局。對(duì)于大多數(shù)企業(yè)來說，不使用云實(shí)在是太不方便了。我對(duì)接下來這股狂熱的擔(dān)憂是，我們會(huì)錯(cuò)過一些容易解決的問題，并會(huì)犯下巨大而昂貴的錯(cuò)誤，而這些錯(cuò)誤在最終大多是可以避免的。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：星璇