AI 推理市場(chǎng)全景解析：戰(zhàn)火從云端到邊緣端
OpenAI新發(fā)布的O1模型，讓AI推理成了行業(yè)焦點(diǎn)。這是首次在AI系統(tǒng)中，推理計(jì)算占了很大比重。隨之誕生的推理時(shí)ScalingLaw表明，讓模型多"思考"一會(huì)，準(zhǔn)確度就會(huì)更高。Anthropic也在跟進(jìn)，推出非常依賴推理能力的“Computer Use”的Agent功能。這說明AI應(yīng)用越來越復(fù)雜，對(duì)推理能力的要求也越來越高。
推理性能直接影響用戶體驗(yàn) - 反應(yīng)快不快，放在本地還是云端，都會(huì)影響實(shí)際使用感受。用的人越多，需要的算力就越大，這就涉及到成本和效率問題了。所以現(xiàn)在各大科技公司都在搶占推理這個(gè)領(lǐng)域，誰能做得好，誰就能占優(yōu)勢(shì)。
近日，Eric Flaningam對(duì)外刊載了一篇大模型推理的市場(chǎng)分析文章，文中一些關(guān)鍵洞察值得注意。
市場(chǎng)現(xiàn)狀分析
1. 市場(chǎng)規(guī)模與增長(zhǎng)
- 推理計(jì)算需求呈現(xiàn)爆發(fā)式增長(zhǎng)，據(jù)NVIDIA估計(jì)，未來推理市場(chǎng)規(guī)模將較現(xiàn)在擴(kuò)大數(shù)百倍
- 目前推理業(yè)務(wù)已占NVIDIA數(shù)據(jù)中心收入的40%，揭示推理巨大的市場(chǎng)規(guī)模
2. 市場(chǎng)參與者分類
當(dāng)前市場(chǎng)形成了五層完整的服務(wù)體系：
- 基礎(chǔ)模型API（如OpenAI）- 最易用但靈活性最低
- 專業(yè)推理服務(wù)商（如Fireworks AI、DeepInfra）- 優(yōu)化開源模型部署
- AI云服務(wù)提供商（如Coreweave）- 提供定制化算力服務(wù)
- 超大規(guī)模云服務(wù)商 - 傳統(tǒng)云服務(wù)商和新型 AI 云服務(wù)提供商共同參與，提供全棧AI服務(wù)平臺(tái)
- AI硬件供應(yīng)商 - NVIDIA 繼續(xù)主導(dǎo)，AMD 等傳統(tǒng)廠商積極追趕，面向高度定制化需求
競(jìng)爭(zhēng)格局分析
1. 硬件層面
- NVIDIA依然占據(jù)主導(dǎo)地位，推理收入占其數(shù)據(jù)中心業(yè)務(wù)40%
- AMD通過MI300X系列進(jìn)軍市場(chǎng)，預(yù)計(jì)年收入可達(dá)50億美元
- 眾多創(chuàng)新創(chuàng)業(yè)公司（如Groq、Cerebras）帶來差異化競(jìng)爭(zhēng)
2. 服務(wù)層面
- 推理服務(wù)提供商主要在開源模型部署方面競(jìng)爭(zhēng)?
- 關(guān)鍵競(jìng)爭(zhēng)要素：推理成本、延遲性能、吞吐能力
- 硬件廠商開始向上游服務(wù)延伸，如NVIDIA收購OctoAI
發(fā)展趨勢(shì)預(yù)測(cè)
1. 邊緣計(jì)算成為新戰(zhàn)場(chǎng)
- 本地推理優(yōu)勢(shì)明顯：降低企業(yè)運(yùn)營成本，提升用戶體驗(yàn)
- 蘋果、高通等廠商積極布局邊緣AI芯片
- 小型模型進(jìn)步將加速邊緣推理發(fā)展
2. 市場(chǎng)分化趨勢(shì)
- 云端推理：面向高性能、復(fù)雜任務(wù)場(chǎng)景
- 邊緣推理：面向消費(fèi)級(jí)應(yīng)用和實(shí)時(shí)響應(yīng)場(chǎng)景
- 混合部署：將成為主流架構(gòu)選擇?
3. 價(jià)值鏈重構(gòu)
- 硬件層面：性能與成本的平衡將決定競(jìng)爭(zhēng)力
- 服務(wù)層面：差異化和垂直整合成為核心競(jìng)爭(zhēng)策略
- 應(yīng)用層面：場(chǎng)景定制能力日益重要
結(jié)論與展望
AI推理市場(chǎng)正處于快速發(fā)展期，競(jìng)爭(zhēng)格局尚未完全固化。隨著技術(shù)進(jìn)步和應(yīng)用場(chǎng)景拓展，市場(chǎng)將進(jìn)一步細(xì)分和專業(yè)化。企業(yè)需要根據(jù)自身優(yōu)勢(shì)，在云端推理與邊緣計(jì)算之間找到最優(yōu)定位，打造差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。
未來，伴隨著小型模型技術(shù)的進(jìn)步和邊緣計(jì)算能力的提升，我們很可能見證AI推理的新一輪革命，這將為整個(gè)產(chǎn)業(yè)帶來更多創(chuàng)新機(jī)遇與發(fā)展可能。
原文：https://www.generativevalue.com/p/the-inference-landscape
本文轉(zhuǎn)載自 ??AI工程化??，作者： ully
