早上起來發(fā)現(xiàn)，Meta AI又開源模型，文本模型開源了端側(cè)小模型1B和3B模型，也是首次開源了多模態(tài)大模型11B和90B兩個版本；同時還開源了一個 Llama Stack項目。

Blog: https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/
HF: https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf

其中Llama3.2多模態(tài)模型在圖像識別和一系列視覺理解任務方面效果優(yōu)于Claude 3 Haiku 和 GPT4o-mini。文本模型-Llama3.2-3B模型在循指令、總結(jié)、提示重寫和工具使用等任務上優(yōu)于 Gemma 2 2.6B 和 Phi 3.5-mini 模型。

多模態(tài)模型效果

端側(cè)模型效果

多模態(tài)模型

Llama3.2的11B和90B模型多模態(tài)是基于Llama3.1-8B、70B文本模型上，增量增加圖像模型。

pretrain階段：

• 文本模塊由Llama3.1模型初始化，并初始化圖像編碼器，利用大規(guī)模噪聲（圖像、文本、6B數(shù)據(jù)對）對數(shù)據(jù)進行預訓練
• 再用中等規(guī)模的高質(zhì)量的領域、知識增強的（圖像、文本、3M數(shù)據(jù)對）數(shù)據(jù)預訓練。

posting-train階段：

• 通過監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化進行多輪對齊
• 使用 Llama 3.1 模型 過濾和增強 圖像上的問題和答案，利用合成數(shù)據(jù)生成和獎勵模型對所有候選答案打分排序，獲取高質(zhì)量的微調(diào)數(shù)據(jù)
• 還添加了安全數(shù)據(jù)

端側(cè)小模型

1B和3B模型都是基于8B模型裁剪后進行模型初始化，并且利用8B和70B模型進行模型蒸餾，9T數(shù)據(jù)預訓練。

特別注意，這里蒸餾不是那種通過更大模型進行數(shù)據(jù)生成的蒸餾，而是再模型訓練階段，利用8B 和 70B 模型輸出的 logits 影響模型loss，也就是傳統(tǒng)的蒸餾方法。

在post-traning階段，訓練方式語Llama3.1一致，采樣監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化模型。

最后模型支持上下文擴展到 128K 個，同時也針對性優(yōu)化了模型的多種能力，例如摘要、重寫、指令遵循、語言推理和工具使用。

Llama Stack項目

Github: https://github.com/meta-llama/llama-stack

定義并標準化了將生成式 AI 應用程序推向市場所需的構(gòu)建模塊，跨越整個開發(fā)生命周期：從模型訓練和微調(diào)，到評估，再到在生產(chǎn)環(huán)境中構(gòu)建和運行AI Agent。

主要是為了簡化開發(fā)人員在不同環(huán)境（包括單節(jié)點、本地、云和設備上）中使用 Llama 模型的方式，幫助快速實現(xiàn)檢索增強生成、工具使用等能力的快速部署。

本文轉(zhuǎn)載自 ??NLP工作站??，作者： 劉聰NLP