剛剛,谷歌AI智能體首次上線手機(jī),Gemini看懂屏幕實(shí)時(shí)交流!
谷歌還是那個(gè)谷歌,依然是「地表最強(qiáng)」科技公司。
Gemini也許僅僅是在「話題度」稍稍落后ChatGPT,但不要忽視他的技術(shù)實(shí)力。
最近,一位網(wǎng)友在激活了Gemini懸浮窗后,意外發(fā)現(xiàn)了一個(gè)全新新按鈕——「與Live共享屏幕」。
而這,正是谷歌為Gemini Live推出的全新「AI實(shí)時(shí)視頻功能」。
基于此,用戶可以讓Gemini實(shí)時(shí)查看屏幕內(nèi)容,或者調(diào)用手機(jī)攝像頭畫(huà)面。
手機(jī)發(fā)屏幕和外面的世界,Gemini全懂
「Gemini,你可以看到我的手機(jī)屏幕嗎?」
「沒(méi)問(wèn)題,我能到看到時(shí)間是8點(diǎn)50,溫度是71度,日期是3月23日」
「你能通過(guò)屏幕內(nèi)容猜到我的安卓系統(tǒng)是什么嗎?」
「嗯,似乎猜起來(lái)似乎有些困難,看起來(lái)像是定制的系統(tǒng)」
「屏幕上哪個(gè)APP和我職業(yè)最相關(guān)?」
「嗯,似乎是Code Editor」
「你可以幫我播放視頻嗎?」
「嗯,因?yàn)槲覀冋趯?shí)時(shí)對(duì)話,所以無(wú)法控制手機(jī),不過(guò)我可以和你聊天、進(jìn)行頭腦風(fēng)暴」
另一項(xiàng)同步上線的是實(shí)時(shí)視頻功能。
打開(kāi)完整的Gemini Live界面,開(kāi)啟視頻流之后,界面右下角有個(gè)按鈕,點(diǎn)一下就能切換到前置攝像頭,這樣就能和周?chē)h(huán)境直接互動(dòng)了。
這就像給Gemini裝上了眼睛,讓它能看世界。
開(kāi)啟這個(gè)功能后,Gemini能實(shí)時(shí)分析手機(jī)攝像頭捕捉到的畫(huà)面,然后回答你提出的相關(guān)問(wèn)題。
比如,谷歌本月發(fā)布的演示視頻里,有人想用顏料給新做好的釉陶上色,拿不定選什么顏色,就可以借助這個(gè)功能向Gemini求助。
對(duì)此谷歌表示,會(huì)在3月下旬「作為谷歌One AI高級(jí)計(jì)劃的一部分,向Gemini高級(jí)訂閱用戶逐步推送」。
「Project Astra」谷歌計(jì)劃已久的AI助手
「這個(gè)愿景在我腦海中存在了相當(dāng)長(zhǎng)一段時(shí)間?!?/span>
谷歌DeepMind的負(fù)責(zé)人、谷歌AI Efforts的領(lǐng)導(dǎo)者 Demis Hassabis在2024年3月谷歌I/O大會(huì)上提到。
Demis Hassabis展示了一個(gè)他希望成為通用助手的非常早期版本,谷歌稱其為「Project Astra」。
這是一個(gè)實(shí)時(shí)、多模態(tài)的人工智能助手,它可以看見(jiàn)世界,知道事物是什么以及你把它們放在哪里,并且可以回答問(wèn)題或幫助你做幾乎所有事情。
「Gemini Live共享屏幕」就是「Project Astra」的第一次亮相。
同時(shí)也是2025 AI Agent之年某種產(chǎn)品「形態(tài)」的預(yù)告片。
當(dāng)AI「裝上眼睛」實(shí)時(shí)觀看現(xiàn)實(shí)世界,并且和你以及你的手機(jī)互動(dòng)時(shí)。
AI會(huì)和人類碰撞出怎么樣的火花?
谷歌這次新功能的上線,進(jìn)一步鞏固了它在AI助手領(lǐng)域的領(lǐng)先地位。