01、概述

近日，微軟研究團隊發(fā)布了一個令人振奮的突破性成果——Magma。這一多模態(tài)AI基礎(chǔ)模型的問世，不僅為未來的智能機器人與虛擬助手鋪設(shè)了新道路，也讓我們看到了數(shù)字世界與物理世界深度融合的曙光。今天，就讓我們一起深入了解這個能跨越不同任務(wù)和環(huán)境的智能系統(tǒng)，它如何為我們創(chuàng)造出前所未有的可能性。

想象未來的AI助手：數(shù)字與物理的無縫連接

在科幻小說中，我們常?？吹竭@樣的場景：一名機器人不僅能流暢地操作電腦，完成復雜的菜單導航，還能夠通過物理手段完成操作，比如拿起工具、搬動物品等。一直以來，這種跨越數(shù)字和物理世界的能力，似乎離我們很遠，但今天，微軟研究團隊的Magma模型讓這一夢想變得越來越真實。

Magma是一個多模態(tài)AI基礎(chǔ)模型，其設(shè)計初衷就是讓人工智能能夠處理并生成跨越數(shù)字和物理環(huán)境的行動建議。這意味著，Magma不僅能理解和操作用戶界面，還能夠協(xié)調(diào)機器人在現(xiàn)實世界中的動作與交互。它的能力讓我們不禁期待：未來，是否每個人都能擁有一個既能在電腦上操作系統(tǒng)，又能與現(xiàn)實世界中的物品互動的AI助手？

02、Magma的強大之處：一體化的多模態(tài)學習

與傳統(tǒng)的任務(wù)專用AI模型不同，Magma是建立在“基礎(chǔ)模型”這一理念上的，通過在海量多樣的數(shù)據(jù)集上進行預(yù)訓練，使得它在多種任務(wù)和環(huán)境下都能夠表現(xiàn)出色。無論是執(zhí)行軟件中的指令，還是在物理世界中拿起工具，它都能輕松應(yīng)對。這一切都歸功于它的**視覺-語言-行動（VLA）**能力，能夠?qū)D像、語言和空間信息綜合起來，從而理解并執(zhí)行復雜的任務(wù)。

例如，Magma能夠根據(jù)用戶描述的目標，制定執(zhí)行計劃并完成任務(wù)。它通過從公共的視覺和語言數(shù)據(jù)中轉(zhuǎn)移知識，使得它不僅能理解語言指令，還能理解空間和時間維度的關(guān)系，完美地將這三者融合在一起，解決復雜的任務(wù)和場景。

03、為Magma賦能的兩大創(chuàng)新：SoM和ToM

為了讓Magma能夠在數(shù)字世界和物理世界之間自由切換，微軟團隊引入了兩項創(chuàng)新技術(shù)——Set-of-Mark (SoM) 和 Trace-of-Mark (ToM)。這兩項技術(shù)在訓練過程中為模型提供了結(jié)構(gòu)化的任務(wù)理解，使得Magma能夠在用戶界面導航和機器人操作兩個領(lǐng)域都表現(xiàn)得尤為出色。

Set-of-Mark (SoM)：任務(wù)中的關(guān)鍵元素

SoM為模型提供了任務(wù)相關(guān)的關(guān)鍵元素集，幫助Magma在處理圖像時快速識別出“需要關(guān)注的部分”。比如，當任務(wù)是瀏覽網(wǎng)頁時，SoM會標注出所有可點擊的界面元素，如按鈕和鏈接。對于物理任務(wù)，比如擺放餐具，SoM則會標記出盤子、杯子及其在桌子上的位置。這些高層次的提示讓Magma知道哪些物品或元素在完成任務(wù)中至關(guān)重要。

Trace-of-Mark (ToM)：任務(wù)的動態(tài)變化

與SoM的靜態(tài)標注不同，ToM則專注于捕捉任務(wù)中元素的動態(tài)變化。例如，在搬動物品的任務(wù)中，ToM會記錄手的運動軌跡，幫助Magma更好地理解動作的時間和空間演變。這種基于時間的視頻動態(tài)追蹤能力，使得Magma能夠在多變的環(huán)境中進行更為精準的任務(wù)預(yù)測和決策。

04、Magma亮點

零-shot智能：讓AI跨越領(lǐng)域與任務(wù)

Magma的另一個亮點在于其零-shot（零次訓練）能力。在沒有任何針對特定任務(wù)的數(shù)據(jù)集微調(diào)的情況下，Magma能夠進行跨領(lǐng)域的任務(wù)執(zhí)行。例如，在模擬的Google Robots環(huán)境中，Magma能夠出色地完成不同類型的機器人操作任務(wù)，表現(xiàn)甚至優(yōu)于許多專門為某一領(lǐng)域訓練的AI模型。

這一突破性的能力，讓Magma在多種應(yīng)用場景下都能展現(xiàn)強大的適應(yīng)性和靈活性。從虛擬助手到家庭機器人，Magma都能在沒有大量標注數(shù)據(jù)的支持下，實現(xiàn)出色的任務(wù)完成效果。

高效微調(diào)：提升模型執(zhí)行能力

雖然Magma在零-shot模式下表現(xiàn)出色，但它也具備高效微調(diào)的能力。當任務(wù)需要更多定制化操作時，Magma能夠通過少量的數(shù)據(jù)微調(diào)，迅速適應(yīng)新的環(huán)境或任務(wù)要求。例如，在Web用戶界面導航任務(wù)中，Magma通過在少量的網(wǎng)頁數(shù)據(jù)集上進行微調(diào)，表現(xiàn)出了比其他專門訓練的模型更高的成功率。

圖5中顯示的Widow-X機器人和LIBERO機器人的微調(diào)實驗，進一步證明了Magma在實際應(yīng)用中的強大性能。即使在面對不同機器人硬件的情況下，Magma依然能夠順利完成任務(wù)，并且表現(xiàn)出比其他方法更高的成功率。

05、Magma的未來：通向全面智能的關(guān)鍵一步

Magma不僅僅是一個AI模型，它代表了微軟研究對于未來智能體系統(tǒng)的整體構(gòu)想。通過結(jié)合推理能力、探索能力和行動能力，Magma正在為下一代強大且靈活的AI助手奠定基礎(chǔ)。未來，開發(fā)者將能夠通過Magma與AutoGen結(jié)合，構(gòu)建出能夠在現(xiàn)實世界中執(zhí)行復雜任務(wù)的智能系統(tǒng)，無論是虛擬助手還是智能機器人。

06、結(jié)語：邁向智能新時代

Magma的發(fā)布，標志著微軟在智能體AI領(lǐng)域的又一重大突破。通過跨越數(shù)字和物理世界，Magma讓我們看到了一個全新的AI應(yīng)用場景：不僅能理解語言和視覺，還能在物理世界中進行準確的操作。隨著技術(shù)的不斷進步，未來的智能體將能夠更好地理解和適應(yīng)我們的生活環(huán)境，成為更加強大而智能的助手。

對于開發(fā)者而言，Magma和AutoGen的結(jié)合，提供了一個極為強大的工具，幫助他們在更廣泛的場景中實現(xiàn)AI的應(yīng)用。無論是家庭助手，還是工業(yè)機器人，Magma都將帶來更高效、更精準的任務(wù)執(zhí)行能力。

作為微軟研究的最新成果，Magma無疑為我們展示了未來人工智能的無限潛力。隨著這一技術(shù)的不斷迭代和應(yīng)用，我們有理由相信，智能世界的到來不再遙遠。

本文轉(zhuǎn)載自公眾號Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/pxv7voHFTW1Ob6c4qC5TVg??