起猛了！小扎又又又帶著他的開(kāi)源大模型走來(lái)了！

Meta Connect 上，擁有視覺(jué)能力的 Llama 3.2推出！這是該大模型家族首個(gè)開(kāi)源的多模態(tài)模型。

圖片

Llama 3.2 包括小型和中型模型（參數(shù)為 11B 億和 90B 億），以及更輕量化的僅文本模型（參數(shù)為 1B和 3B），扎克伯格稱其為“能運(yùn)行在設(shè)備上的最佳模型”，并透露未來(lái)將在眼鏡設(shè)備上使用。

與其前身一樣，Llama 3.2 的 1B 和 3B 模型支持 128K 的上下文長(zhǎng)度，在端側(cè)模型中可謂遙遙領(lǐng)先。根據(jù)Meta透露，這些模型在發(fā)布當(dāng)天就已支持高通（Qualcomm）和聯(lián)發(fā)科（MediaTek）硬件，并針對(duì) Arm 處理器進(jìn)行了優(yōu)化。

Meta 還首次分享了官方的 Llama stack 發(fā)行版本，以便開(kāi)發(fā)者可以在各種環(huán)境中使用這些模型，包括本地、設(shè)備端、云端和單節(jié)點(diǎn)。

Llama 3.2 模型可以在 llama.com 和 Hugging Face 上以及 Meta 的合作平臺(tái)上下載。還能通過(guò)智能助手Meta AI，試用模型的多模態(tài)能力。

Hugging Face 地址：

https://huggingface.co/meta-llama

最后扎克伯格再次秀了一把開(kāi)源情懷，他提到，閉源模型們?cè)噲D降低價(jià)格以保持與Llama的競(jìng)爭(zhēng)優(yōu)勢(shì)。然而，“開(kāi)源已經(jīng)是、并將繼續(xù)是最具成本效益、可定制、可信且高性能的選擇。我們已經(jīng)到達(dá)了行業(yè)的一個(gè)拐點(diǎn)，它開(kāi)始成為行業(yè)標(biāo)準(zhǔn)，可以稱其為 AI 領(lǐng)域的 Linux?！?/p>

1.媲美GPT4o-mini，開(kāi)源視覺(jué)模型火力十足

Meta 在兩個(gè)月前發(fā)布了 Llama 3.1，至今該模型已實(shí)現(xiàn) 10 倍的增長(zhǎng)。

扎克伯格表示：“Llama 繼續(xù)快速進(jìn)步，它正在實(shí)現(xiàn)越來(lái)越多的功能?！?/p>

現(xiàn)在，最大的兩個(gè) Llama 3.2 模型（110 億和 900 億參數(shù)）有了視覺(jué)能力，能夠理解圖表和圖形、為圖像生成標(biāo)題以及識(shí)別周圍的環(huán)境。例如，用戶可以詢問(wèn)他們的公司在哪個(gè)月取得了最佳銷售成績(jī)，模型將基于現(xiàn)有的圖表推理出答案。

根據(jù)Meta的評(píng)估，Llama 3.2 視覺(jué)模型在圖像識(shí)別和一系列視覺(jué)理解任務(wù)上與領(lǐng)先的基礎(chǔ)模型 Claude 3 Haiku 和 GPT4o-mini 相媲美。

圖片

AI大神 Jim Fan 帶來(lái)了一手的新鮮實(shí)測(cè)，“我剛剛調(diào)出了 Llama-3.2-11B (vision) 的視覺(jué)語(yǔ)言基準(zhǔn)測(cè)試數(shù)據(jù)。令人驚訝的是，整個(gè)開(kāi)源社區(qū)在輕量級(jí)模型方面并不落后！”

圖片

圖片

Llama 3.2的超強(qiáng)能力也讓許多大神自覺(jué)“手癢”。已經(jīng)有人連夜搓了基于其視覺(jué)能力的開(kāi)源工具出來(lái)，效果驚艷，草圖也能秒變APP。

圖片

2.Llama 3.2：視覺(jué)模型背后的技術(shù)細(xì)節(jié)

作為首批支持視覺(jué)任務(wù)的 Llama 模型，11B 和 90B 模型采用了全新的模型架構(gòu)，以支持圖像推理任務(wù)。

Meta技術(shù)報(bào)告中提到，為了支持圖像輸入，他們訓(xùn)練了一組適配器權(quán)重，將預(yù)訓(xùn)練的圖像編碼器與預(yù)訓(xùn)練的語(yǔ)言模型集成。

該適配器由一系列交叉注意力層組成，將圖像編碼器的表示傳遞給語(yǔ)言模型。在適配器訓(xùn)練過(guò)程中，我們?cè)趫D文配對(duì)數(shù)據(jù)上訓(xùn)練，以對(duì)齊圖像表示和語(yǔ)言表示。適配器訓(xùn)練期間，我們更新了圖像編碼器的參數(shù)，但故意不更新語(yǔ)言模型的參數(shù)，這樣可以保留語(yǔ)言模型的文本處理能力，方便開(kāi)發(fā)者將其作為 Llama 3.1 模型的替代品。

Llama 3.2的訓(xùn)練流程包括多個(gè)階段，從預(yù)訓(xùn)練的 Llama 3.1 文本模型開(kāi)始。首先，Llama添加了圖像適配器和編碼器，然后在大規(guī)模噪聲圖文配對(duì)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。接著在中等規(guī)模、高質(zhì)量的領(lǐng)域內(nèi)及知識(shí)增強(qiáng)的圖文配對(duì)數(shù)據(jù)上進(jìn)行訓(xùn)練。

在后續(xù)訓(xùn)練中，Llama團(tuán)隊(duì)采用了與文本模型類似的方式，進(jìn)行多輪對(duì)齊，包括監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化。

使用 Llama 3.1 模型對(duì)領(lǐng)域內(nèi)的圖像生成和擴(kuò)展問(wèn)答，并利用獎(jiǎng)勵(lì)模型對(duì)所有候選答案進(jìn)行排序，以提供高質(zhì)量的微調(diào)數(shù)據(jù)。此外，Llama 3.2還加入了安全防護(hù)數(shù)據(jù)，確保模型在安全性高的同時(shí)保持有用性。

3.小扎：Meta AI 將成為全球第一的智能助手

Llama 3.2 的橫空出世，使得 Meta AI 擁有了“聲音”。

該模型將在 WhatsApp、Messenger、Facebook 和 Instagram 上以明星語(yǔ)音響應(yīng)語(yǔ)音或文本命令。Meta AI 還可以對(duì)聊天中分享的照片做出回復(fù)，并添加、刪除或更改圖像以及添加新的背景。Meta 表示，它還在嘗試為 Meta AI 開(kāi)發(fā)新的翻譯、視頻配音和唇同步工具。

圖片

扎克伯格在演講中表示：“我認(rèn)為語(yǔ)音將比文本更自然地與 AI 進(jìn)行交互，它確實(shí)要好得多?！?/p>

扎克伯格開(kāi)源的底氣，就在于他們的商業(yè)模式并不依靠獲得模型訪問(wèn)權(quán)而營(yíng)利，但是他已經(jīng)將應(yīng)用視為 Meta 的護(hù)城河。

現(xiàn)在，Meta AI 月活躍用戶接近5億，日活用戶也以突破4000萬(wàn)大關(guān)。

扎克伯格吹噓說(shuō)，Meta AI 正在成為全球使用最廣泛的助手——“可能已經(jīng)做到了。”

參考鏈接：https://venturebeat.com/ai/meta-llama-3-2-vision-models-to-rival-anthropic-openai/

想了解更多AIGC的內(nèi)容，請(qǐng)?jiān)L問(wèn)：

51CTO AI.x社區(qū)

http://www.scjtxx.cn/aigc/