Meta智能眼鏡用上多模態(tài)Llama 3!國內(nèi)AR眼鏡機(jī)會(huì)來了
科幻大片中的AR黑科技,竟走進(jìn)了現(xiàn)實(shí)!
就在剛剛,Meta自家的雷朋智能眼鏡,已經(jīng)開始支持多模態(tài)版的Llama 3了!要知道,Llama 3的開源版本還沒支持多模態(tài)呢。
就在最近,小扎還在訪談中承認(rèn)愿意開源價(jià)值100億美元的模型,不過,如果涉及到產(chǎn)品側(cè),那就是另一回事了。
誒,產(chǎn)品這不就來了么——
戴上這副智能眼鏡,外出旅行坐車感到無聊時(shí),可以讓Meta來點(diǎn)音樂。
帶著AR眼鏡,還可以直接翻譯不認(rèn)識(shí)的語言。又或者在路上騰不出手時(shí),Meta可以給好友發(fā)語音信息。
走到一座建筑前,呼叫Meta告訴自己關(guān)于它更多的信息。
甚至,視頻電話、直播,科普等,只要是你能想到的,AR眼鏡全可以做的到。
Meta介紹,去年12月便開始在雷朋Meta智能眼鏡上,測試了多模態(tài)AI。目前,已經(jīng)在美國和加拿大地區(qū)銷售的眼鏡上推出了這一新功能。
小扎也來炫技了
這款眼鏡配備了一個(gè)1200萬像素的攝像頭和五個(gè)麥克風(fēng),集成Meta AI助手后,意味著帶著它可以做更多的事。
你看到的任何東西,它都能描述出來。
只需說一句,「Hey Meta,看看這個(gè),告訴我它是什么?」,語音命令即可控制。
看著廚房柜臺(tái)上一堆食材,Meta能夠迅速制作出相關(guān)的食譜。
更有意思的是,小扎本人還在Ins發(fā)布一個(gè)帶上智能眼鏡,為自己挑選衣服的視頻。
他挑選了一個(gè)深色的襯衣,并問Meta我應(yīng)該搭配個(gè)什么樣的褲子。Meta給出了牛仔褲、短褲的建議。
他還讓智能眼鏡給一張萌寵的照片,配上了有趣的描述。
小扎手里拿著一種水果,智能眼鏡能告訴他這是面包果。
而對于AR眼鏡來說,實(shí)時(shí)翻譯將成為一款殺手級(jí)應(yīng)用。
當(dāng)你旅行時(shí),正在試著讀一份法語菜單。不用查閱手機(jī),智能眼鏡就可以完成實(shí)時(shí)翻譯。
它甚至可以閱讀不同語言的手勢,簡直是旅行必備單品。
此外,除了得到多模態(tài)Llama 3的加持,Meta還公布了智能眼鏡集成了WhatsApp和Messenger的免提視頻通話。
與此同時(shí),不同時(shí)尚款式的鏡框設(shè)計(jì),都可以專配處方鏡使用。
不過,這款智能眼鏡起價(jià)為300美元(2100元),并不便宜。
實(shí)測外出識(shí)物,比手機(jī)方便
蹭著更新的熱乎勁兒,外媒The Verge發(fā)布了提前拿到內(nèi)測資格的評(píng)測。
前段時(shí)間,Humane智能設(shè)備AI Pin因性能不如人意,全網(wǎng)陷入了非議之中。關(guān)鍵是700美元,根本不值。
作者表示,「我們要對Meta智能眼鏡的期望值不要太高,因?yàn)樗⒎菬o所不能」。
測試中的一半的樂趣,就是找到它的極限在哪。
它能否正確識(shí)別街上這輛隨機(jī)的汽車?(一輛Alfa Romeo Giulia Quadrifoglio和一輛Alfa Romeo Tonale)。
與大多數(shù)AI一樣,Meta AI有時(shí)非常準(zhǔn)確,有時(shí)又會(huì)出現(xiàn)幻覺。
它正確地識(shí)別出了Giulia。但Tonale也被識(shí)別為Giulia。
但有趣的是,這兩款車幾乎沒有相似之處,Giulia是一款轎車,而Tonale是一款跨界SUV。
作者還讓它識(shí)別自己種的多肉植物(由于有些是別人送的,自己也并不完全清楚具體品種)。
Meta回答的是,「Echeveria、aloe vera蘆薈和Crassula品種」。
但其實(shí),作者用可通過AI照片識(shí)別植物的應(yīng)用程序Planta進(jìn)行驗(yàn)證,發(fā)現(xiàn)植物當(dāng)中沒有一株是Echeveria。
最精彩的是,作者的愛人偶然看到鄰居家后院一只大松鼠,戴上智能眼鏡去要識(shí)別出是什么品種。
作者用手機(jī)拍下了照片,并用另一款應(yīng)用試了一番。
果然,Meta識(shí)別錯(cuò)了,而作者使用的APP成功識(shí)別出它是土撥鼠。
然而,當(dāng)再用智能眼鏡去識(shí)別手機(jī)中的照片時(shí),卻給出了「土撥鼠」正確的答案。
這個(gè)案例中,說明了AR眼鏡缺少「變焦」功能,才導(dǎo)致回答錯(cuò)誤。
除了多模態(tài)識(shí)別能力之外,作者測試其與手機(jī)配對時(shí),響應(yīng)速度也是非常地快。同時(shí),智能眼鏡將聲音功能集成一體,省去了戴眼鏡的麻煩,讓交互更加自然。
總得來說,Meta智能眼鏡在戶外活動(dòng),AI助手在識(shí)別事物上發(fā)揮了巨大的作用。
以往,作者外出看到感興趣的東西時(shí),需要掏出手機(jī)拍照在識(shí)別。
而現(xiàn)在,智能眼鏡也可以很好地延伸手機(jī)的能力,前提是不要將想要識(shí)別的內(nèi)容放大很多倍。