在多模態(tài)領域，開源模型也超閉源了！

就在剛剛結束的Meta開發(fā)者大會上，Llama 3.2閃亮登場：

這回不僅具備了多模態(tài)能力，還和Arm等聯(lián)手，推出了專門為高通和聯(lián)發(fā)科硬件優(yōu)化的“移動”版本。

具體來說，此次Meta一共發(fā)布了Llama 3.2的4個型號：

• 110億和900億參數(shù)的多模態(tài)版本
• 10億參數(shù)和30億參數(shù)的輕量級純文本模型

官方數(shù)據(jù)顯示，與同等規(guī)模的“中小型”大模型相比，Llama 3.2 11B和90B表現(xiàn)出了超越閉源模型的性能。

尤其是在圖像理解任務方面，Llama 3.2 11B超過了Claude 3 Haiku，而90B版本更是能跟GPT-4o-mini掰掰手腕了。

而專為端側打造的3B版本，在性能測試中表現(xiàn)也優(yōu)于谷歌的Gemma 2 2.6B和微軟的Phi 3.5-mini。

如此表現(xiàn)，著實吸引了不少網(wǎng)友的關注。

有人興奮地認為，Llama 3.2的推出可能再次“改變游戲規(guī)則”：

端側AI正在變得越來越重要。

Meta AI官方對此回復道：

其中一些模型參數(shù)量很小，但這個時刻意義重大。

首個視覺??

有關Llama 3.2具體能做什么，這次官方也釋出了不少demo。

先看個匯總：Llama 3.2 11B和90B支持一系列多模態(tài)視覺任務，包括為圖像添加字幕、根據(jù)自然語言指令完成數(shù)據(jù)可視化等等。

舉個??，丟給Llama 3.2一張圖片，它能把圖片中的元素一一拆解，告訴你詳細的圖片信息：

同樣，也可以反過來根據(jù)文字指令找出符合用戶需求的圖片。

Llama 3.2 11B和90B也是首批支持多模態(tài)任務的Llama系列模型，為此，Meta的研究人員打造了一個新的模型架構。

在Llama 3.1的基礎之上，研究人員在不更新語言模型參數(shù)的情況下訓練了一組適配器權重，將預訓練的圖像編碼器集成到了預訓練的語言模型中。

這樣，Llama 3.2既能保持純文本功能的完整性，也能get視覺能力。

訓練過程中，Llama 3.2采用圖像-文本對數(shù)據(jù)進行訓練。訓練分為多個階段，包括在大規(guī)模有噪聲數(shù)據(jù)上的預訓練，和更進一步在中等規(guī)模高質(zhì)量領域內(nèi)和知識增強數(shù)據(jù)上的訓練。

在后訓練（post-training）中，研究人員通過監(jiān)督微調(diào)（SFT）、拒絕采樣（RS）和直接偏好優(yōu)化（DPO）進行了幾輪對齊。

專為端側打造的“小”模型

至于1B和3B這兩個輕量級模型，目的更加清晰：

隨著蘋果Apple Intelligence的推出，對于電子消費市場而言，手機等終端上的生成式AI已經(jīng)成為標配。

而脫離云端獨立運行在終端上的模型，無論是從功能還是從安全的角度，都是終端AIGC落地的關鍵。

△端側寫作助手

Llama 3.2 1B和3B模型由Llama 3.1的8B和70B模型剪枝、蒸餾得到。

可以簡單理解為，這倆“小”模型是Llama 3.1教出來的“學生”。

Llama 3.2 1B和3B僅支持文本任務，上下文長度為128K。來自Meta合作方Arm的客戶業(yè)務線總經(jīng)理Chris Bergey認為：

明年初甚至今年年底，開發(fā)人員就會在應用程序中落地這兩個型號的Llama 3.2。

它們擁有更好的效率，能在1W功率下或在8毫秒以內(nèi)提供答案。

不少網(wǎng)友也為此點贊：

Llama 3.2的輕量級模型能真正改變AI在手機和其他設備上的應用。

還有網(wǎng)友已經(jīng)第一時間實踐上了：

我驚嘆于這個1B模型的能力。

這位網(wǎng)友用Llama 3.2 1B運行了一個完整的代碼庫，并要求它總結代碼，結果是醬嬸的：

“不完美，但遠超預期?！?/p>

前有OpenAI「Her」全量開放、谷歌Gemini 1.5迎來重大升級，Llama這邊也緊鑼密鼓跟上新動作，AI圈的這一周，依舊是開源閉源激情碰撞，充滿話題度的一周。

那么，你怎么看Llama這波新發(fā)布？

對了，如果你對Llama 3.2感興趣，大模型競技場已經(jīng)可以試玩了。

Ollama、Groq等也已第一時間更新支持。

參考鏈接：
[1]https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/
[2]https://www.cnet.com/tech/mobile/meta-and-arm-want-to-bring-more-ai-to-phones-and-beyond/#google_vignette
[3]https://news.ycombinator.com/item?id=41649763