AI技術(shù)的快速發(fā)展讓幾乎所有企業(yè)都加大了對IT領(lǐng)域的投資，但這些投資的方向到底正確嗎？由于運(yùn)營效率方面的問題，很多企業(yè)在推理階段就已經(jīng)浪費了大量資源，導(dǎo)致AI項目投資回報率下降，甚至進(jìn)一步妨礙了未來的AI戰(zhàn)略。但其實，這些被浪費的資源本可用于創(chuàng)新、實驗和新項目的推進(jìn)。

只要選擇更具戰(zhàn)略性的基礎(chǔ)設(shè)施，AI推理成本最多可降低86%！本文將以Stable Diffusion為案例，告訴大家如何通過優(yōu)化基礎(chǔ)設(shè)施來顯著提升AI性能并降低成本。

延伸閱讀，點擊鏈接了解 Akamai Cloud Computing

AI推理的挑戰(zhàn)：成本 vs. 目標(biāo)

盡管早期AI技術(shù)關(guān)注的是大規(guī)模模型訓(xùn)練，但現(xiàn)實情況是：超過80%的計算需求來自推理任務(wù)。企業(yè)面臨著兌現(xiàn)AI承諾的壓力，但盲目跟風(fēng)投資往往導(dǎo)致嚴(yán)重成本超支。推理過程中，又該如何在追求目標(biāo)的同時保持高效？

為此需要權(quán)衡成本與預(yù)期結(jié)果，例如低延遲、快速推理、高準(zhǔn)確率，甚至可持續(xù)性等各種目標(biāo)。這就必須在AI模型生命周期內(nèi)進(jìn)行精細(xì)規(guī)劃、優(yōu)化和持續(xù)監(jiān)測。

案例研究：Stable Diffusion在GPU上的推理優(yōu)化

作為一個強(qiáng)大的圖像生成模型，Stable Diffusion推理優(yōu)化涉及多個因素，包括CPU、RAM、GPU、VRAM、磁盤I/O和網(wǎng)絡(luò)性能。全面測試和強(qiáng)大的監(jiān)測工具是發(fā)現(xiàn)并解決瓶頸的關(guān)鍵。

基準(zhǔn)測試設(shè)置

本次我們所進(jìn)行的基準(zhǔn)測試，在推薦的Amazon云實例和Akamai Cloud類似規(guī)格的虛擬機(jī)環(huán)境中運(yùn)行了Stable Diffusion XL，并對比了兩者的性能。測試中生成的圖像尺寸為512×512像素。測量的三個關(guān)鍵指標(biāo)包括：

1. 延遲——衡量從提交提示詞到返回圖像的時間，該指標(biāo)會直接影響用戶體驗。
2. 吞吐量——衡量在一定時間內(nèi)可生成的圖像數(shù)量。
3. 迭代速度——反映單次迭代的執(zhí)行時間。更高的迭代次數(shù)可生成更精細(xì)的圖像，但也需要更多計算資源。

我們測試了如下的三個實例：

注意：實際價格會因部署的所在區(qū)域而異。本次測試是在2024年9月進(jìn)行的，并在2024年12月進(jìn)行了驗證。

測試結(jié)果

延遲

在Akamai RTX4000實例上運(yùn)行Stable Diffusion XL，延遲相比AWS A10g實例降低15.0%，相比AWS T4實例降低62.8%。

圖1：延遲（越低越好）

吞吐量

在Akamai RTX4000實例上運(yùn)行Stable Diffusion XL，吞吐量相比AWS A10g實例提升29.4%，相比AWS T4實例提升314.3%。

圖2：吞吐量（越高越好）

迭代速度

Akamai RTX4000在迭代速度上同樣表現(xiàn)優(yōu)越，相比AWS A10g提升10.9%，相比AWS T4提升167.7%。

圖3：迭代速度（越高越好）

成本

在Akamai RTX4000實例上運(yùn)行Stable Diffusion XL，每百萬張圖像的成本比AWS A10g低58.4% - 75.5%，比AWS T4低76.9% - 86.4%。盡管AWS T4實例的月租成本較低，但其性能不足以抵消整體成本劣勢。

圖4：成本（實際價格會因部署的所在區(qū)域而異）

結(jié)論：選擇適合的基礎(chǔ)設(shè)施，這很重要

本案例研究表明，基礎(chǔ)設(shè)施的選擇會對AI性能和成本產(chǎn)生重大影響。Akamai RTX4000在推理任務(wù)上提供了更低的延遲、更高的吞吐量和更低的成本，使企業(yè)能夠：

• 優(yōu)化項目：讓利于客戶，通過增加迭代次數(shù)改善圖像質(zhì)量，或開發(fā)新功能。
• 促進(jìn)創(chuàng)新：節(jié)省的資金可支持企業(yè)內(nèi)部的新項目和實驗。

除了基礎(chǔ)設(shè)施優(yōu)化，還可以通過以下方法進(jìn)一步提高推理效率：

• 模型優(yōu)化：量化（Quantization）、知識蒸餾（Knowledge Distillation）、稀疏化（Sparsification）等技術(shù)可減少模型大小和復(fù)雜性，從而降低計算成本。
• 持續(xù)監(jiān)測與分析：監(jiān)控資源利用率，發(fā)現(xiàn)瓶頸，優(yōu)化資源分配。
• 自動化擴(kuò)展與負(fù)載均衡：根據(jù)需求動態(tài)調(diào)整計算資源，提高整體效率。

整個優(yōu)化過程需要結(jié)合AI應(yīng)用的具體目標(biāo)，找到成本、性能和質(zhì)量之間的最佳平衡點。

AI技術(shù)有著巨大的潛力，但要充分釋放其價值，需要戰(zhàn)略性和充分考慮了成本意識的投資決策。企業(yè)領(lǐng)導(dǎo)者必須避免盲目跟風(fēng)，通過優(yōu)化推理過程，以數(shù)據(jù)驅(qū)動的方式最大化AI的投資回報率，加速創(chuàng)新，實現(xiàn)業(yè)務(wù)目標(biāo)。

—————————————————————————————————————————————————

如您所在的企業(yè)也在考慮采購云服務(wù)或進(jìn)行云遷移，

點擊鏈接了解Akamai Linode的解決方案