LLM若想高速推理，現(xiàn)如今，連GPU都無法滿足了？

曾造出世界最大芯片公司Cerebras，剛剛發(fā)布了全球最快的AI推理架構(gòu)——Cerebras Inference。

運行Llama3.1 8B時，它能以1800 token/s的速率吐出文字。

不論是總結(jié)文檔，還是代碼生成等任務(wù)，響應(yīng)幾乎一閃而過，快到讓你不敢相信自己的眼睛。

如下圖右所示，以往，微調(diào)版Llama3.1 8B推理速度為90 token/s，清晰可見每行文字。

而現(xiàn)在，直接從90 token/s躍升到1800 token/s，相當(dāng)于從撥號上網(wǎng)邁入了帶寬時代。

左邊Cerebras Inference下模型的推理速度，只能用「瞬間」、「瘋狂」兩字形容。

這是什么概念？

比起英偉達GPU，Cerebras Inference的推理速度快20倍，還要比專用Groq芯片還要快2.4倍。

另外，對于70B參數(shù)的Llama3.1，可達到450 token/s及時響應(yīng)。

值得一提的是，Cerebras并沒有因為提高LLM的速度，而損失其精度。

測試中，使用的Llama3.1模型皆是采用了Meta原始16位權(quán)重，以便確保響應(yīng)高精度。

最關(guān)鍵的是，價格還實惠。

根據(jù)官方API定價，Llama 3.1 8B每百萬token僅需10美分，Llama 3 70B每百萬token僅需60美分。

如此之高的性價比，更是打破了業(yè)界紀(jì)錄——

不僅遠超之前的保持者Groq，而且和其他平臺相比，甚至是隔「坐標(biāo)軸」相望了。

Artificial Analysis

正是因為Cerebras Inference背后，是由自研的第三代芯片Wafer Scale Engine助力，才得以1/5價格快速推理Llama3.1。

看到自家模型推理如此神速，LeCun、Pytorch之父紛紛動手轉(zhuǎn)發(fā)起來。

還有網(wǎng)友看后表示，我想要！

推理很慢，英偉達GPU也不中用？

為什么LLM的響應(yīng)，就像撥號上網(wǎng)加載網(wǎng)頁一樣，一個字一個字慢慢地吐出？

關(guān)鍵原因所在，大模型自身的順序特性，以及需要大量的GPU內(nèi)存和帶寬。

由于GPU的內(nèi)存帶寬限制，如今推理速度為每秒幾十個token，而不是數(shù)千個。

更進一步說，大模型每個生成的單詞，都必須通過整個模型進行處理，即所有參數(shù)必須從內(nèi)存投入到計算中。

而每生成一個單詞，就需要一次處理，以此循環(huán)往復(fù)。

也就是，生成100個單詞需要100次處理，因為「下一詞」的預(yù)測，皆需要依賴前一個單詞，而且這個過程無法并行。

那么，想要每秒生成100個單詞，就需要所有模型參數(shù)，每秒投入計算100次。

由此，這對GPU內(nèi)存帶寬提出了高要求。

以社區(qū)流行的Llama3.1-70B模型為例。

模型有700億參數(shù)，每個參數(shù)是16位，需要2字節(jié)的存儲，那整個模型便需要140GB的內(nèi)存。

想要模型輸出一個token，那700億參數(shù)必須從內(nèi)存，移動到計算核心，以執(zhí)行前向推理計算。

由于GPU只有約200MB的片上內(nèi)存，模型無法存儲在芯片。

因此，每次生成的token輸出時，需將整個占用140GB內(nèi)存的模型，完整傳輸?shù)接嬎阒小?/span>

再細算下來，為了實現(xiàn)10 token/s，則需要10*140=1.4 TB/s的內(nèi)存帶寬。

那么，一個H100有3.3 TB/s的內(nèi)存帶寬，足以支持這種緩慢的推理。

而若要實現(xiàn)即時推理，需要達到1000 token/s或140 TB/s，這遠遠超過任何GPU服務(wù)器/系統(tǒng)內(nèi)存帶寬。

或許，你想到了一種「暴力」解決方案，將多個GPU串聯(lián)搭建DGX系統(tǒng)。

這完全是大錯特錯，更多的處理器只會增加系統(tǒng)的吞吐量（給出更長響應(yīng)），并不會加速單個查詢的響應(yīng)時間。

自研世界最大芯片，打破推理想象

那么，Cerebras如何打破這一困局呢？

一直以來，這家公司就致力于打造世界上最大芯片，希望將整個模型存儲在一個晶片上，以此來解決內(nèi)存帶寬瓶頸。

憑借獨特的晶圓設(shè)計，WSE-3單個芯片上便集成了44GB SRAM，具備21 PB/s的內(nèi)存帶寬。

單個芯片擁有如此大內(nèi)存，便消除了對外部內(nèi)存的需求，以及將外部內(nèi)存連接到計算的慢速通道。

總的來說，WSE-3的總內(nèi)存帶寬為21PB/s，是H100的7000倍。

它是唯一一款同時具有PB級計算和PB級內(nèi)存帶寬的AI芯片，使其成為高速推理的近乎理想設(shè)計。

Cerebras推理不僅速度超快，而且吞吐量巨大。

與小型AI芯片相比，芯片上內(nèi)存多了約200倍，支持從1-100的批大小，使其在大規(guī)模部署時，具有極高的成本效益。

正是有了如此強大的芯片，Cerebras Inference的快速推理得以實現(xiàn)。

它的出現(xiàn)，是為了實現(xiàn)數(shù)十億到萬億參數(shù)模型的推理。

如果模型參數(shù)超過單個晶圓的內(nèi)存容量時，研究人員將在「層邊界」將其拆分，并映射到多個CS-3系統(tǒng)上。

20B模型適合單個CS-3，而70B模型則至少需要4個這樣的系統(tǒng)。

官方表示，未來幾周，將會測試更大參數(shù)版本的模型，比如Llama3-405B、Mistral Large。

16位精度，不做取舍

推理速率高，并非在模型權(quán)重上，做了取舍。

業(yè)界中，一些公司試圖將模型權(quán)重精度，從16位減少到8位，來克服內(nèi)存帶寬的瓶頸。

這樣方法，通常會造成模型精度損失，也就是響應(yīng)結(jié)果的準(zhǔn)確性、可靠性不如以前。

Cerebras Inference之所以強就強在了，速率和原始權(quán)重，皆要顧及。

正如開篇所述，他們采用了原始16位權(quán)重運行了Llama3.1 8B和70B。

通過評估，16位模型準(zhǔn)確率比8位模型，高出多達5%。尤其是在，多輪對話、數(shù)學(xué)和推理任務(wù)中表現(xiàn)更好。

最優(yōu)性價比，百萬token免費送

目前，Cerebras Inference可通過聊天平臺，以及API訪問，任何一個人可隨時體驗。

體驗傳送門：https://cerebras.ai/blog/introducing-cerebras-inference-ai-at-instant-speed

基于熟悉的OpenAI Chat Completions格式，開發(fā)者只需更換API密鑰即可集成強大的推理功能。

Cerebras Inference API提供最佳的性能、速度、精度和成本組合。

它是唯一能即時運行Llama3.1-70B的方案，可實現(xiàn)450 token/s，同樣使用的是原始16位模型權(quán)重。

在此，Cerebras送上大福利，每天為開發(fā)者們提供100萬個免費token。對于大規(guī)模部署，其定價只是H100云的一小部分。

首次推出時，Cerebras提供了Llama3.1 8B和70B模型，而且有能力每天為開發(fā)者和企業(yè)，提供數(shù)千億token。

接下來幾周，他們將增加對更大模型的支持，如Llama3 405B、Mistral Large 2。

有開發(fā)者問道，你們提供的rpm（每分鐘請求次數(shù)）和tpm（每分鐘處理token數(shù)）是多少？

Cerebras提供了一張針對Llama 3.1 8B和70B模型完整的請求/token處理數(shù)的圖。

快速推理，不只為速度

最后，讓我們來聊聊，為什么快速推理非常重要？

通常，LLM會即刻輸出自己的全部想法，而不考慮最佳答案。而諸如scaffolding（腳手架）這類的新技術(shù)，則如同一個深思熟慮的智能體，會在作出決定前探索不同的可能解決方案。

這種「先思考后發(fā)言」的方式在代碼生成等嚴苛任務(wù)中，可以帶來超過10倍的性能提升，從根本上提升了AI模型的智能，且無需額外訓(xùn)練。

但這些技術(shù)在運行時，需要多達100倍的token。

因此可見，如果我們能大幅縮短處理時間，那么就可以實現(xiàn)更為復(fù)雜的AI工作流程，進而實時增強LLM的智能。

速度爆表，但上下文只有8K

雖然在價格和延遲上，Cerebras都不是最低的。

但極致的速度，確實為Cerebras帶來了極致的速度-價格和速度-延遲比。

不過，值得注意的是，在Cerebras上跑的Llama 3.1，上下文只有8k……

相比之下，其他平臺都是128K。

具體數(shù)據(jù)如下：

Llama 3.1 70B

Llama 3.1 8B