超GPT-4o，1240億參數(shù)！最強開源多模態(tài)模型 Pixtral Large！
今天凌晨，法國著名開源大模型平臺Mistral.ai，開源了超大多模態(tài)模型——Pixtral Large。
Pixtral Large有1240億參數(shù)，支持128K上下文，能理解文本、圖表、圖像等，也是Mistral.ai自家聊天助手 le Chat目前正在使用的視覺模型。支持中文、法文、英文等十多種主流語言。
根據(jù)測試數(shù)據(jù)顯示，Pixtral Large在MMMU、MathVista、ChartQA、DocVQA、VQAv2等基準測試的數(shù)據(jù)，超過了GPT-4o、Gemini-1.5 Pro、Claude-3.5 Sonnet、Llama-3.2 90B，成為目前最強的開源多模態(tài)模型。
同時，Mistral.ai還發(fā)布了一個免費的支持PDF理解、網(wǎng)絡(luò)搜索、Canvas、AI Agent、圖片生成的多模態(tài)AI助手——le Chat。
開源地址：https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411
Pixtral Large簡單介紹
Pixtral Large是基于Mistral Large 2 開發(fā)而成，有1230億參數(shù)多模態(tài)解碼器和10億參數(shù)視覺編碼器。
多模態(tài)解碼器是Pixtral Large的核心，主要負責整合和處理來自視覺編碼器的圖像信息以及文本數(shù)據(jù)。這個龐大的參數(shù)量使得解碼器能夠捕捉到復雜的模式和關(guān)系，無論是在文本中的長距離依賴還是在圖像中的細節(jié)，實現(xiàn)高質(zhì)量的圖像描述、視覺問答和文檔理解等。
而10億參數(shù)的視覺編碼器則是Pixtral Large處理圖像數(shù)據(jù)的關(guān)鍵。這個編碼器專門設(shè)計用于將圖像轉(zhuǎn)換為模型可以理解的高維特征表示。
通過這種方式，Pixtral Large能夠理解圖像中的視覺元素，并將這些信息與文本數(shù)據(jù)結(jié)合起來，以產(chǎn)生更豐富的上下文理解和更準確的任務(wù)執(zhí)行。
在技術(shù)層面，Pixtral Large的視覺編碼器采用了先進的變換器架構(gòu)，能夠有效地處理不同分辨率和寬高比的圖像。這種靈活性對于處理現(xiàn)實世界中的圖像至關(guān)重要，因為這些圖像的尺寸和形狀千差萬別。此外，視覺編碼器還采用了自注意力機制，模型能夠在處理圖像時考慮到全局上下文，而不僅僅是局部特征。
Pixtral Large的多模態(tài)解碼器則進一步將這些視覺特征與文本信息結(jié)合起來。通過這種方式，模型不僅能夠理解圖像中的內(nèi)容，還能夠理解這些內(nèi)容如何與文本數(shù)據(jù)相互作用和關(guān)聯(lián)，它允許模型在處理多模態(tài)輸入時動態(tài)地調(diào)整其關(guān)注點。
此外，Pixtral Large還采用了一種新穎的序列打包技術(shù)，這使得模型能夠在單個批次中高效地處理多張圖像。通過構(gòu)建塊對角掩碼來確保不同圖像之間的特征不會相互干擾，從而提高了模型處理多圖像數(shù)據(jù)的效率和準確性。
在長上下文窗口方面，Pixtral Large擁有128K的上下文窗口，這使得模型能夠處理大量的文本和圖像數(shù)據(jù)。這對于理解和總結(jié)長篇文檔或處理包含多個圖像的復雜場景至關(guān)重要。長上下文窗口確保了模型能夠在處理這些復雜任務(wù)時保持信息的連貫性和完整性
le Chat介紹
今天凌晨，Mistral.ai還對他們的類ChatGPT助手le Chat進行了重磅更新。
在這次更新中，Le Chat引入了網(wǎng)絡(luò)搜索和引用功能，用戶可以直接在聊天界面中搜索互聯(lián)網(wǎng)上的最新信息，并獲取帶有引用鏈接的答案。對于學生和專業(yè)人士來說非常有幫助，可以在準備研究報告或?qū)W術(shù)論文時，快速準確地獲取資料和數(shù)據(jù)。
Le Chat還推出了一個全新的Canvas功能，支持想法的構(gòu)思允許內(nèi)聯(lián)編輯和導出，極大地提高了創(chuàng)意工作的效率。用戶可以在Canvas上進行頭腦風暴、編輯內(nèi)容，并將其導出為各種格式，方便進一步使用。
現(xiàn)在Le Chat也能夠處理大型、復雜的PDF文檔和圖像，得益于最新的多模態(tài)模型Pixtral Large，能夠分析和總結(jié)文檔中的圖表、表格、圖示、文本、公式和方程等內(nèi)容。例如，它可以輕松解析著名的量子糾纏論文，展示出信息提取、總結(jié)和語義理解的強大能力。
Le Chat還與Black Forest Labs合作，整合了領(lǐng)先的圖像生成技術(shù)Flux Pro，使用戶可以直接在Le Chat中生成高質(zhì)量的圖像。這一功能特別適用于創(chuàng)意設(shè)計和營銷領(lǐng)域，用戶可以快速生成符合需求的圖像，提高工作效率。
此外，Le Chat還提供了AI Agent功能。用戶可以將特定類型的工作流程編碼為 Agent，然后發(fā)布并與團隊成員共享，實現(xiàn)更高效的工作流管理和自動化操作。常見的使用場景包括收據(jù)掃描、費用報告、會議紀要的總結(jié)和發(fā)票處理等。
在性能提升方面，Le Chat通過投機性編輯技術(shù)，顯著提高了響應(yīng)速度，用戶可以更快地獲得高質(zhì)量的回答和建議，提高了整體的工作效率。同時，Le Chat提供了一個從模型到輸出的完全集成平臺，用戶可以在一個平臺上完成所有的多模態(tài)任務(wù)，無需在多個工具之間切換，簡化了工作流程。
體驗地址：https://chat.mistral.ai/chat（沒鎖區(qū)直接訪問）
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
