單GPU就能跑的最強模型來了！

谷歌最新模型Gemma 3，主打開源與高效。

27B輕松擊敗671B滿血的DeepSeek V3、o3-mini、Llama-405B，僅次于R1。

圖片

而從所需算力來看，其他模型要實現(xiàn)差不多的性能，所需算力資源至少增加10倍，有的情況下甚至高達32倍。

在ChatBot Arena Imarena大模型競技場中，Gemma 3也躋身Top 10，不僅在同等參數(shù)量模型中達到SOTA，開源模型里也僅次于R1。

圖片

網友們紛紛表示驚呆，尤其對單GPU就能跑、128K上下文印象深刻。

圖片

圖片

不過除了這劇情是不是有點似曾相識，有人注意到為啥沒有跟QwQ 32B比較。

圖片

圖片

目前，Gemma 3可以直接在Google AI Studio上體驗，在包括抱抱臉、Ollama或者Kaggle等平臺下載。

圖片

可在單個GPU運行的最強模型

此次Gemma 3有四個版本，27B是最大，還有1B、4B、12B。既有預訓練模型，也有通用指令微調版本。

圖片

展開來看，主要有這些特點：

• 單GPU/TPU運行：Gemma 3在單GPU/TPU運行情況下，在LMArena排行榜的初步人類偏好評估中勝過Llama-405B、DeepSeek-V3和o3-mini。

如此高效的模型性能不在端側應用部署可惜了。谷歌也專門給了教程和案例，手把手教的那種。

比如1B模型量化版在手機端運行。

 在三星Galaxy S24 Ultra上運行的性能如下：

圖片

還有在電腦Web端本地創(chuàng)建社媒內容。

MacBook Pro 2023（Apple M3 Pro 芯片）性能如下：

圖片

• 多模態(tài)和多語言，可以分析圖片、文本、短視頻等模態(tài)。

圖片

語言語種方面，提供對超過35種語言的開箱即用支持；以及對超過140種語言的預訓練支持。

• 多工具支持靈活開發(fā)，支持Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和Gemma.cpp的等平臺。
• 128k Token上下文窗口。

另外還支持函數(shù)調用、結構化輸出，以幫助您自動執(zhí)行任務并構建Agent，官方還引入了量化版本。

他們還推出了ShieldGemma 2：一款基于Gemma 3構建的4B圖像安全檢查器。開發(fā)人員可以定制 ShieldGemma 2來滿足他們的安全需求。

更多技術細節(jié)

與模型一同發(fā)布的，還有一份25頁的技術報告，里面有不少細節(jié)。

圖片

如何訓練的？

此次結合蒸餾、強化學習和模型合并等方法，對Gemma的前訓練和后期訓練過程進行了優(yōu)化。

Gemma 3使用了與Gemma 2一樣的Tokenizer，支持140多種語言，并使用JAX框架在Google TPU上對1B的2T tokens、4B的4T tokens、12B的12T tokens和27B的14T tokens進行了訓練。

在后訓練方面，Gemma 3使用了4個組件：

• 從較大的指令模型中提煉出Gemma 3預訓練檢查點。
• RLHF，使模型預測與人類偏好保持一致。
• 從機器反饋中強化學習RLMF，以增強數(shù)學推理能力。
• 執(zhí)行反饋強化學習(RLEF)，以提高編碼能力。

圖片

這種方法提高了數(shù)學、編碼和指令跟蹤方面的性能，使其在LMArena分數(shù)達到了1338分。

圖片

圖片

與之前的版本相比情況：

圖片

正文最后一頁還放了主要作者們，共同一作共有16位。

圖片

OMT：英偉達直接參與優(yōu)化

除此之外，在技術報告里還看到了這些亮點。

首先，英偉達直接參與了Gemma 3模型的優(yōu)化，以確保其在任何規(guī)格的GPU上都能獲得最佳性能，包括Jetson Nano 到最新的Blackwell芯片。

而在英偉達API目錄中也出現(xiàn)了Gemma 3，只需調用API即可快速進行原型設計。

針對谷歌自家的TPU，Gemma 3也進行了優(yōu)化，并通過開源ROCm堆棧與AMD GPU集成。還有CPU的解決方案^。

Gemma 3還附帶了改進的代碼庫，其中包括高效微調和推理的配方。開發(fā)者可以根據(jù)特定需求來定制和調整模型。

在其他模型火熱的當下，Gemma系列已經來到了一周年，下載量已經默默超過1億次，在社區(qū)中又超過60000個變體誕生。

如今在開源模型這塊的競爭，又激烈了不少。

最后，感興趣的朋友可直接戳下方鏈接哦~
https://aistudio.google.com/prompts/new_chat

參考鏈接：
[1]https://blog.google/technology/developers/gemma-3/
[2]https://x.com/sundarpichai/status/1899779090472644881?s=46
[3]https://developers.googleblog.com/en/introducing-gemma3/