火山引擎剛剛交出大模型趨勢(shì)答卷：

火山方舟，一個(gè)大模型服務(wù)平臺(tái)。

它將國(guó)內(nèi)多個(gè)明星大模型放在平臺(tái)上，如MiniMax、智譜AI、復(fù)旦MOSS、百川智能、IDEA、瀾舟科技、出門(mén)問(wèn)問(wèn)等。

不僅為大模型玩家提供訓(xùn)練、推理、評(píng)測(cè)、精調(diào)等功能與服務(wù)，后續(xù)還提供運(yùn)營(yíng)、應(yīng)用插件等工具，進(jìn)一步支撐大模型生態(tài)。

總之，就是要為大模型，打造一個(gè)超強(qiáng)底座。

而透過(guò)火山方舟，火山引擎如何看待大模型趨勢(shì)？想做哪些事？如今也有了更明確的答案。

火山方舟是什么？

簡(jiǎn)單理解，各種大模型平臺(tái)都好比自營(yíng)商鋪，向行業(yè)用戶(hù)售賣(mài)大模型服務(wù)。

不過(guò)火山方舟想做的不是自家專(zhuān)賣(mài)店，而是一個(gè)集合了多家大模型旗艦店的商城。

在這個(gè)商城里，行業(yè)用戶(hù)可以快速觸及到業(yè)界優(yōu)質(zhì)的大模型，基于火山引擎的能力對(duì)模型精調(diào)推理，降低大模型使用門(mén)檻。

大模型玩家能基于火山引擎搭建穩(wěn)健的大模型基礎(chǔ)設(shè)施，提升自家模型業(yè)務(wù)能力，觸及到更加直接和廣泛的行業(yè)需求，加速迭代升級(jí)。

火山方舟作為連接二者的平臺(tái)，則負(fù)責(zé)提供豐富完善的開(kāi)發(fā)工具、充沛算力、安全互信的平臺(tái)以及企業(yè)服務(wù)等，讓雙方的合作更加絲滑。

重點(diǎn)功能包括6個(gè)方面，貫穿了大模型采購(gòu)使用的全流程：

第一是模型廣場(chǎng)

這可以理解為模型提供方和使用方初步了解的一個(gè)平臺(tái)，大模型廠(chǎng)商能在此進(jìn)行模型創(chuàng)建、上傳、部署等操作，下游用戶(hù)能看到模型效果并快捷體驗(yàn)。

第二是模型推理

當(dāng)用戶(hù)選定好模型后，火山引擎可提供安全互信的推理方案，既保障模型提供方的知識(shí)產(chǎn)權(quán)安全，同時(shí)也維護(hù)使用者的數(shù)據(jù)信息安全。用戶(hù)能直接使用已部署的在線(xiàn)服務(wù)，或者將精調(diào)模型部署為在線(xiàn)任務(wù)。

第三是模型精調(diào)

對(duì)于大部分行業(yè)用戶(hù)來(lái)說(shuō)，通用大模型只是基礎(chǔ)能力，想要使用更優(yōu)質(zhì)的大模型服務(wù)可能都需要基于自家數(shù)據(jù)進(jìn)行持續(xù)訓(xùn)練或精調(diào)。

火山方舟能提供極簡(jiǎn)精調(diào)流程，只需兩步即可一鍵精調(diào)：選擇基礎(chǔ)模型→上傳標(biāo)注數(shù)據(jù)集。對(duì)于有復(fù)雜需求的場(chǎng)景，還能進(jìn)一步設(shè)置高級(jí)參數(shù)、驗(yàn)證集、測(cè)試集等更豐富的功能。

第四是模型評(píng)測(cè)。

生成式大模型目前還很難形成一個(gè)業(yè)界公認(rèn)的benchmark，應(yīng)用場(chǎng)景、數(shù)據(jù)等因素都會(huì)影響它的表現(xiàn)。但對(duì)于行業(yè)用戶(hù)來(lái)說(shuō)，明晰不同大模型的優(yōu)劣勢(shì)是購(gòu)買(mǎi)服務(wù)前至關(guān)重要的一步。

所以火山方舟同步推出了評(píng)測(cè)工具，支持用戶(hù)基于自身數(shù)據(jù)、系統(tǒng)化地感知模型表現(xiàn)情況，并且給出詳細(xì)的測(cè)評(píng)報(bào)告，為后續(xù)做決策提供數(shù)據(jù)基礎(chǔ)。

要知道，B端的使用場(chǎng)景也是“千人千面”的，企業(yè)要用自己的評(píng)測(cè)數(shù)據(jù)試一試，才能給出符合自身要求的準(zhǔn)確評(píng)估。此外，基礎(chǔ)模型的升級(jí)，新技術(shù)新模型的涌現(xiàn)，還將持續(xù)很長(zhǎng)一段時(shí)間。企業(yè)需要不斷測(cè)試對(duì)比、緊跟發(fā)展。

第五是運(yùn)營(yíng)干預(yù)

通過(guò)提供運(yùn)營(yíng)干預(yù)工具，用戶(hù)可以快速設(shè)置相關(guān)規(guī)則，這樣在模型已經(jīng)投入使用后，無(wú)需精調(diào)模型即可干預(yù)模型輸出結(jié)果。

第六是應(yīng)用插件

目前大模型接入插件功能是大勢(shì)所趨，能進(jìn)一步發(fā)揮模型能力。未來(lái)在火山方舟上，能看到實(shí)時(shí)信息獲取（通常說(shuō)的“聯(lián)網(wǎng)”）*、私域文檔問(wèn)答召回、Prompt補(bǔ)全與構(gòu)建等。

透過(guò)以上重點(diǎn)功能，不難看出火山引擎對(duì)于當(dāng)下云計(jì)算趨勢(shì)的理解——盡可能加速大模型應(yīng)用落地。

而且在具體實(shí)現(xiàn)路徑上，火山引擎還給出了一種別樣的打法，并且形成了鮮明的自身特點(diǎn)。

火山引擎智能算法負(fù)責(zé)人吳迪給出了三個(gè)關(guān)鍵詞來(lái)總結(jié)：

開(kāi)放、加速、信任。

所以火山方舟有何不同？

開(kāi)放、加速、信任，三個(gè)關(guān)鍵詞一一對(duì)應(yīng)，其實(shí)代表火山方舟的自身定位、算力和安全。

首先來(lái)看自身定位上，火山方舟是個(gè)開(kāi)放、中立的平臺(tái)，企業(yè)客戶(hù)可以根據(jù)實(shí)際效果自由選擇模型。

對(duì)于云廠(chǎng)商而言，想要做好MaaS服務(wù)，核心之一肯定是模型層要夠豐富、夠強(qiáng)大。因?yàn)檫@意味著能在更豐富的應(yīng)用場(chǎng)景中落地。

此前不少人將這一問(wèn)題的解決，局限在了云廠(chǎng)商自家大模型能力提升上。

隨著亞馬遜云推出大模型平臺(tái)Bedrock，一次接入Stability AI、Anthropic等多家大模型能力，給行業(yè)內(nèi)開(kāi)啟了一種新范式。

這樣一來(lái)，平臺(tái)能直接引入業(yè)內(nèi)最優(yōu)秀的大模型，豐富自身能力和應(yīng)用場(chǎng)景。

火山方舟的路徑亦是如此，納入更多大模型也讓它具備更高的靈活性。

吳迪介紹，這樣一來(lái)用戶(hù)能夠根據(jù)不同任務(wù)需求“貨比三家”，接觸到更多行業(yè)先進(jìn)大模型。

通過(guò)提供統(tǒng)一的workflow，火山方舟能夠?qū)崿F(xiàn)模型之間的靈活插拔。在多模型切換下，工作流基本不改變，讓各個(gè)模型完成自己擅長(zhǎng)的任務(wù)，加速大模型的開(kāi)發(fā)構(gòu)建應(yīng)用。

其次，火山引擎重點(diǎn)關(guān)注了大模型玩家們焦慮的算力問(wèn)題。主打一個(gè)夠用、實(shí)惠且穩(wěn)定。

火山引擎的海量資源池，能夠滿(mǎn)足當(dāng)下大模型訓(xùn)練推理的需求。

而通過(guò)加速訓(xùn)練和推理，能讓算力的性?xún)r(jià)比更高。

NVIDIA開(kāi)發(fā)與技術(shù)部亞太區(qū)總經(jīng)理李曦鵬表示，如果想要硬件充分發(fā)揮性能，需要軟硬件協(xié)同設(shè)計(jì)。

硬件方面，NVIDIA針對(duì)生成式AI的不同硬件配置與火山引擎底層平臺(tái)深度結(jié)合。

在軟件層面也提出了多種優(yōu)化方法，雙方一起做了很多開(kāi)源發(fā)布，以圖像預(yù)處理算子庫(kù)CV-CUDA為例。它們能高效地運(yùn)行在GPU上，算子速度達(dá)到OpenCV（運(yùn)行在CPU）的百倍左右。如果用CV-CUDA作為后端替換OpenCV和TorchVision，整個(gè)推理的吞吐量能提升至原來(lái)的二十多倍，算子輸入結(jié)果上CV-CUDA與OpenCV完全對(duì)齊。

此外，火山引擎還推出了Lego算子優(yōu)化。

這一框架可以根據(jù)模型子圖的結(jié)構(gòu)，采用火山引擎自研高性能算子，實(shí)現(xiàn)更高的加速比。

在推理場(chǎng)景下，使用Lego算子優(yōu)化，可以將基于Stable Diffusion模型的端到端推理速度提升至66.14 it/s，是PyTorch推理速度的3.47倍，運(yùn)行時(shí)GPU顯存占用量降低60%。在訓(xùn)練場(chǎng)景下，在128張A100上跑15天，模型即可訓(xùn)練完成，比當(dāng)時(shí)最好的開(kāi)源版本快40%。

而在穩(wěn)定性方面，火山引擎也和英偉達(dá)做了更底層的合作。

李曦鵬介紹，目前大模型訓(xùn)練往往需要幾千、上萬(wàn)張卡同時(shí)啟動(dòng)，如果其中某臺(tái)機(jī)器出現(xiàn)故障，則會(huì)導(dǎo)致整個(gè)訓(xùn)練過(guò)程被影響。因此訓(xùn)練過(guò)程中的穩(wěn)定性非常關(guān)鍵，它將直接影響開(kāi)發(fā)效率。

在這方面，火山引擎和英偉達(dá)基于內(nèi)部大量測(cè)試，最終實(shí)現(xiàn)了特定模型的規(guī)模、網(wǎng)絡(luò)結(jié)構(gòu)等，確定合適的checkpointing頻率，在保障訓(xùn)練連續(xù)性的同時(shí)又讓機(jī)器能夠穩(wěn)定運(yùn)行。

具體能力也已有實(shí)際案例驗(yàn)證

大模型玩家MiniMax基于火山引擎，研發(fā)了超大規(guī)模的大模型訓(xùn)練平臺(tái)，高效支撐著三個(gè)模態(tài)大模型每天數(shù)千卡以上的常態(tài)化穩(wěn)定訓(xùn)練。在并行訓(xùn)練上實(shí)現(xiàn)了99.9%以上的可用性。除了訓(xùn)練以外，MiniMax也同步自研了超大規(guī)模的推理平臺(tái),目前擁有近萬(wàn)卡級(jí)別的GPU算力池，穩(wěn)定支撐著每天上億次的大模型推理調(diào)用。MiniMax和火山引擎一起為大模型訓(xùn)練搭建了高性能計(jì)算集群，一起致力于提升大模型訓(xùn)練的穩(wěn)定性，保證了超千卡訓(xùn)練的任務(wù)穩(wěn)定運(yùn)行數(shù)周以上。

穩(wěn)健的大模型基礎(chǔ)設(shè)施讓MiniMax從零開(kāi)始自主完整地跑通了大模型與用戶(hù)交互的迭代閉環(huán)，實(shí)現(xiàn)從月至周級(jí)別的大模型迭代速度，和指數(shù)級(jí)的用戶(hù)交互增長(zhǎng)。MiniMax面向企業(yè)級(jí)的大模型解決方案目前已接入數(shù)百家企業(yè)客戶(hù)，打通辦公協(xié)作、智能硬件、教育、醫(yī)療、客服等十余個(gè)行業(yè)場(chǎng)景。

然后是能力輸出上，火山引擎提出訓(xùn)推一體以及統(tǒng)一workflow

統(tǒng)一workflow的能力不僅在于模型的靈活插拔，它還集成了火山引擎對(duì)大模型能力的理解。

比如如何做自動(dòng)評(píng)估？pipeline怎么定？該做多少精調(diào)？這些問(wèn)題都是需要經(jīng)過(guò)大量開(kāi)發(fā)工作后，才能輸出的經(jīng)驗(yàn)。通過(guò)這些細(xì)節(jié)上的保駕護(hù)航，企業(yè)用戶(hù)落地大模型的效率和成功率都會(huì)有明顯提升。

另一邊，火山方舟也重點(diǎn)提出了訓(xùn)推一體的理念。

吳迪表示，基于對(duì)行業(yè)的觀(guān)察，他相信未來(lái)大模型領(lǐng)域的頭部及腰部廠(chǎng)商都會(huì)使用“1+n模式”，也就是自研或深度合作一個(gè)主力大模型、同時(shí)調(diào)用多個(gè)外部模型，對(duì)訓(xùn)練和推理都有需求。

加之火山引擎始終認(rèn)為深度學(xué)習(xí)、機(jī)器學(xué)習(xí)是一件統(tǒng)一、緊湊且純粹的事情，所以他們判斷訓(xùn)推一體模式會(huì)是發(fā)展趨勢(shì)，并已在火山方舟上推出。

而且訓(xùn)推一體化后，同樣能為企業(yè)節(jié)省算力。

最后再來(lái)看安全方面，這也是火山方舟著重強(qiáng)調(diào)的部分

吳迪表示，在大模型時(shí)代，信任問(wèn)題至關(guān)重要。

大模型提供方不希望自己辛苦訓(xùn)練出的模型被人拷貝走，這屬于重要知識(shí)產(chǎn)權(quán)；下游客戶(hù)不希望自己的數(shù)據(jù)在推理和精調(diào)過(guò)程中不被泄露，敏感數(shù)據(jù)只有自己可見(jiàn)。

在這二者之間，便會(huì)形成一個(gè)信任的gap。尤其是當(dāng)下大模型服務(wù)中的合作方眾多，構(gòu)筑信任墻就顯得至關(guān)重要。而火山引擎作為云平臺(tái)，會(huì)通過(guò)互信計(jì)算框架，基于不同客戶(hù)的安全和隱私保護(hù)訴求，提供了包括安全沙箱、可信硬件以及聯(lián)邦學(xué)習(xí)方案，來(lái)保證大家在互信的基礎(chǔ)上推理、精調(diào)等。

以上三個(gè)方面，將火山引擎在云市場(chǎng)中的差異勾勒清晰。

從中也可看出，火山引擎的技術(shù)積累、行業(yè)經(jīng)驗(yàn)和趨勢(shì)理解，都為它入局大模型平臺(tái)提供了堅(jiān)實(shí)的保障。

那么，為什么火山引擎的答卷是火山方舟？

為什么是火山方舟？

直接原因來(lái)自于市場(chǎng)需求。

大模型趨勢(shì)轟轟烈烈演進(jìn)幾個(gè)月，幾乎觸及到了各行各業(yè)，相應(yīng)的需求也隨之暴漲。

但對(duì)于行業(yè)用戶(hù)來(lái)說(shuō)，怎么觸及市面上最先進(jìn)的模型？怎么選擇最適合自己的模型？怎么確定最后的大模型服務(wù)方案？這些問(wèn)題對(duì)企業(yè)自身的技術(shù)理解程度、開(kāi)發(fā)水平都提出了要求。

作為供給側(cè)，大模型玩家也急于在熱潮下快速推進(jìn)自家業(yè)務(wù)發(fā)展。這不僅是一場(chǎng)技術(shù)競(jìng)賽，同時(shí)也是一場(chǎng)商業(yè)競(jìng)速賽，誰(shuí)能更快觸及更多用戶(hù)，就會(huì)在市場(chǎng)中更快站住腳跟。在這種情況下，平臺(tái)的觸達(dá)能力一定大于廠(chǎng)商自身。

以及底層硬件廠(chǎng)商，同樣也迫切需要大模型底座

NVIDIA開(kāi)發(fā)與技術(shù)部亞太區(qū)總經(jīng)理李曦鵬表示，英偉達(dá)開(kāi)發(fā)每一款新產(chǎn)品，都是以workload來(lái)驅(qū)動(dòng)，所有開(kāi)發(fā)都是要解決真實(shí)存在的問(wèn)題。

比如隨著深度學(xué)習(xí)的興起，用Tensor Core加速矩陣乘法計(jì)算，就是在原有框架下針對(duì)workload的重點(diǎn)模塊做效率提升。

再比如英偉達(dá)去年發(fā)布的Hopper架構(gòu)，設(shè)計(jì)遠(yuǎn)早于發(fā)布時(shí)間。當(dāng)時(shí)GPT-3才剛剛問(wèn)世，大模型趨勢(shì)遠(yuǎn)沒(méi)有到來(lái)，英偉達(dá)是做了大量前瞻性的研究。而怎么做出這種前瞻性的探索，就是要從實(shí)際應(yīng)用的基礎(chǔ)結(jié)構(gòu)中去發(fā)現(xiàn)問(wèn)題。

回到當(dāng)下來(lái)看，對(duì)于未來(lái)AI的趨勢(shì)是否朝著GPT趨勢(shì)發(fā)展，李曦鵬表示現(xiàn)在也無(wú)法確定，但是行業(yè)中的實(shí)際需求能夠推動(dòng)英偉達(dá)做出更有針對(duì)性的硬件和軟件特性升級(jí)。

怎么更快、更準(zhǔn)確把握住這些需求？還是要依托平臺(tái)連接大模型玩家。

所以，像火山方舟這樣承載著大模型供給方、使用方以及底層硬件廠(chǎng)商的平臺(tái)，是行業(yè)迫切需求的。

而更深層的原因，還來(lái)自火山引擎自身

吳迪很確定地說(shuō)，火山方舟的使命，是加速大模型、大算力應(yīng)用落地。

為什么要加速？?jī)蓷l增長(zhǎng)曲線(xiàn)可以給出答案。

在以時(shí)間為橫軸、GPU需求量為縱軸的坐標(biāo)系里，首先出現(xiàn)當(dāng)下的第一條增長(zhǎng)曲線(xiàn)：模型訓(xùn)練曲線(xiàn)。

現(xiàn)在新興的大模型正如雨后春筍般冒出，訓(xùn)練需求量飆升。但隨著通用大模型市場(chǎng)趨于飽和，這條增長(zhǎng)曲線(xiàn)也會(huì)逐漸放緩。

與此同時(shí)，還有一條增長(zhǎng)曲線(xiàn)出現(xiàn)：推理需求曲線(xiàn)（模型應(yīng)用曲線(xiàn)）。

而且它將在短期內(nèi)呈指數(shù)增長(zhǎng)趨勢(shì)，在2025年左右和訓(xùn)練需求曲線(xiàn)相交，并在之后反超。

也就是說(shuō)，市場(chǎng)上的推理需求量，最終一定會(huì)大于訓(xùn)練需求量。因?yàn)橥评硇枨蠖啻螅砹藨?yīng)用場(chǎng)景有多豐富。

如果應(yīng)用場(chǎng)景的豐富度不夠高，導(dǎo)致推理需求曲線(xiàn)沒(méi)有快速升起，訓(xùn)練需求曲線(xiàn)同樣也會(huì)受到影響滑落。

一旦出現(xiàn)這一局面，將意味著目前諸多投身大模型浪潮的創(chuàng)業(yè)者和企業(yè)，將會(huì)面臨非常艱難的局面。

吳迪表示，火山引擎深信大模型趨勢(shì)不是一次簡(jiǎn)單的浪潮，它將是新技術(shù)時(shí)代的一扇窗。如果想要加速這個(gè)時(shí)代更快到來(lái)，那么就要盡可能縮短推理需求超過(guò)訓(xùn)練需求的時(shí)間軸。

也就是加速大模型的應(yīng)用落地。

火山方舟同時(shí)連接下游應(yīng)用層和上游模型層、硬件層，加速企業(yè)用戶(hù)使用大模型，在營(yíng)收上更快去回報(bào)大模型領(lǐng)域創(chuàng)業(yè)者，以此形成一個(gè)加速正向循環(huán)。

而這也是為什么火山引擎要將自家大模型平臺(tái)取名為“方舟”。

吳迪說(shuō)，在想名字的時(shí)候，他們希望能有一個(gè)詞來(lái)形容開(kāi)放包容、生機(jī)勃勃、充滿(mǎn)希望的意境。

最終在幾十個(gè)詞中確定了方舟。因?yàn)樗艽韮煞矫嬖⒁狻?/p>

第一，承載著很多人的事業(yè)和夢(mèng)想，共同駛向一個(gè)成功的遠(yuǎn)方，而且是一個(gè)具象的詞；

第二，火山引擎相信整個(gè)大模型、大算力領(lǐng)域，需要眾多合作伙伴在模型訓(xùn)練、內(nèi)容安全、硬件優(yōu)化等方面共同努力；

如今，方舟帶著火山引擎的技術(shù)積累、行業(yè)理解以及美好愿景，正式啟航。

未來(lái)大模型浪潮將會(huì)如何翻涌，還是未知數(shù)。

但載著眾多國(guó)產(chǎn)大模型玩家、攜手英偉達(dá)的火山方舟，一定會(huì)帶著火山引擎駛向新的節(jié)點(diǎn)。