使用Unsloth微調(diào)與運行Gemma 3，速度提升1.6倍，VRAM使用減少60%
Gemma 3是谷歌新推出的最先進多模態(tài)（文本+圖像）模型，有1B、4B、12B和27B四種規(guī)?！，F(xiàn)已在Unsloth支持，Gemma 3擁有128K上下文窗口和多語言支持。
（1）使用Unsloth的Colab筆記本微調(diào)Gemma 3。Unsloth修復了一些Gemma 3訓練問題。
（2）Unsloth使Gemma 3（12B）微調(diào)速度提升1.6倍，VRAM使用減少60%，在48GB GPU上比使用Flash Attention 2的環(huán)境能處理6倍更長的內(nèi)容。
（3）Unsloth在Hugging Face這里上傳了所有版本的Gemma 3，包括2-8位GGUF、動態(tài)4位和16位版本。還修復了之前Unsloth的GGUF不支持視覺功能的問題。
（4）閱讀Unsloth的指南，了解如何正確運行Gemma 3。
Unsloth現(xiàn)在還支持一切功能*，包括：完全微調(diào)、8位訓練、預(yù)訓練、所有transformer風格模型（Mixtral、MOE、Cohere等）以及任何訓練算法，如與VLM一起使用的GRPO。
獲取最新穩(wěn)定版Unsloth：
pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo
Gemma 3微調(diào)
Unsloth在Gemma 3（1B到27B）微調(diào)過程中還遇到了許多無限梯度問題。Unsloth發(fā)現(xiàn)float16混合精度（Tesla T4，RTX 2080系列）工作不佳，因此默認使用float32精度。Float16在A100上也失敗，所以這是一個與硬件無關(guān)的問題。不過bfloat16運行良好！Unsloth會自動選擇最佳數(shù)據(jù)類型！您不需要做任何事情！
使用Unsloth，Gemma 3（27B）微調(diào)所需VRAM不到22GB！速度也提升了1.6倍，默認使用Unsloth 動態(tài)4位量化以獲得更高精度！您還可以直接使用Gemma 3與Unsloth的GRPO訓練自己的推理模型。
嘗試在Unsloth免費的Google Colab筆記本中用Unsloth微調(diào)Gemma 3（4B）。要查看Unsloth所有的筆記本和模型上傳，請訪問Unsloth的文檔。
Unsloth還在與Hugging Face合作開發(fā)R1推理課程 - Gemma 3 GRPO筆記本將在下周初發(fā)布。
性能基準測試
Unsloth使用Alpaca數(shù)據(jù)集進行測試，批量大小為2，梯度累積步驟為4，rank = 32，并在所有線性層（q, k, v, o, gate, up, down）應(yīng)用QLoRA。
Blog地址：??https://unsloth.ai/blog/gemma3??
GitHub地址: ??https://github.com/unslothai/unsloth??
Colab地址：???https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(4B).ipynb??
本文轉(zhuǎn)載自??AI帝國??，作者：無影寺
