谷歌將大模型集成在實體機(jī)器人中，能看、聽、說執(zhí)行57種任務(wù)
谷歌DeepMind在社交平臺分享了最新研究，將大模型Gemini 1.5 Pro集成在實體機(jī)器人中，為其提供導(dǎo)航、推理等服務(wù)。
由于缺乏高級認(rèn)知、學(xué)習(xí)能力、語義理解以及數(shù)據(jù)存儲等，傳統(tǒng)機(jī)器人的“回憶能力”較差，無法提供更人性化的服務(wù)。而Gemini 1.5 Pro提供的100萬Tokens上下文長度，可有效解決這些難題，通過語音對話的方式將能讓機(jī)器人執(zhí)行各種任務(wù)同時具備回憶的能力。
根據(jù)谷歌的測試結(jié)果顯示，在Gemini 1.5 Pro的幫助下，在836平方米的真實測試空間中，讓實體機(jī)器人執(zhí)行了57種四大類型的指令任務(wù)，成功率平均在71%左右。
論文地址：https://arxiv.org/abs/2407.07775
研究人員在Gemini 1.5 Pro的文本、圖像、音頻等能力基礎(chǔ)之上，開發(fā)了多模態(tài)視覺語言導(dǎo)航模型Mobility VLA。
在Mobility VLA模型中，Gemini 1.5 Pro會被用來理解用戶的多模態(tài)指令。這些指令包括自然語言描述、圖像或者二者的結(jié)合，例如，當(dāng)用戶手持一個物品并詢問“我應(yīng)該把這個放在哪里？”時，Gemini 1.5 Pro需要能夠理解這一指令的語義內(nèi)容，識別出用戶手中的物品。
在理解了用戶的語言指令后，接下來Gemini 1.5 Pro會在示范旅游視頻中定位與指令相關(guān)的目標(biāo)幀。
一些示范數(shù)據(jù)提供了環(huán)境的先驗知識，Gemini 1.5 Pro通過分析這些視頻，能夠識別出與用戶指令相匹配的場景，并深入分析和對用戶指令的精確匹配，確保機(jī)器人能夠準(zhǔn)確地導(dǎo)航到正確的位置。
在確定了目標(biāo)幀后，Gemini 1.5 Pro的輸出將被用作Mobility VLA低層策略的輸入。
低層策略主要負(fù)責(zé)生成實體機(jī)器人的實際各種動作，包括前進(jìn)、后退或轉(zhuǎn)向。Gemini 1.5 Pro通過其長上下文處理能力，能夠在整個視頻的背景下識別出最合適的目標(biāo)幀，并將這些信息傳遞給低層策略，從而幫助機(jī)器人生成精確的導(dǎo)航路徑。
此外，Gemini 1.5 Pro在Mobility VLA模型中的作用不僅限于理解用戶指令和定位目標(biāo)。憑借其超長的上下文處理能力，還有助于提升導(dǎo)航的準(zhǔn)確性和魯棒性。
在復(fù)雜的真實環(huán)境中，機(jī)器人可能會遇到各種意外情況，例如，遭遇座椅等障礙物或?qū)崟r的環(huán)境變化。Gemini 1.5 Pro能夠通過其對環(huán)境的深度理解，幫助機(jī)器人快速適應(yīng)這些變化，對接下來的行動指令做出準(zhǔn)確判斷，在面對復(fù)雜和動態(tài)的環(huán)境時，仍能保持高效的導(dǎo)航性能。
為了測試Mobility VLA在實體機(jī)器人的幫助能力，研究人員構(gòu)建了一個836平方米的真實空間，里面有架子、桌子、椅子等各種日常家具，還使用了無需推理、需要推理、多模態(tài)等多種類型指令進(jìn)行了綜合測試。
實驗結(jié)果顯示，在無需推理的20個指令中，機(jī)器人的成功率達(dá)到了80%，顯示出其在處理直接且明確的導(dǎo)航任務(wù)時的高效性。
在需要推理的15個指令中，機(jī)器人也達(dá)到了80%的成功率，這證明了其在理解和處理復(fù)雜用戶指令方面擁有相當(dāng)出色的能力。
盡管在小物體類別都得12個指令中，成功率略有下降至40%，但這也在一定程度上反映了小物體識別的挑戰(zhàn)性。而在多模態(tài)的10個指令中，機(jī)器人的成功率再次提升至85%，顯示了其在整合視覺和語言信息方面的優(yōu)勢。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
