GPT-4剛發(fā)布就有手機APP接入,上傳照片視頻一鍵解讀,還當(dāng)起了美版知乎的問答bot
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
GPT-4剛發(fā)布,就已經(jīng)有手機應(yīng)用接入了!
只需要上傳圖像,再用語音提出需求,GPT-4就能幫助視障人士“看清”眼前的世界。
隨時隨地,實時解讀,就像聊天對話一樣自然。
例如想要換裝,卻不知道手里的衣服是什么顏色:
只需要拍照上傳給GPT-4,它很快就能將衣服紋理描述出來,材質(zhì)、顏色和形狀一清二楚:?
△翻譯by有道
在此之前,視障人士除了用手觸摸以外,辨別物體往往需要依靠身邊的人或是志愿者的幫助。
有網(wǎng)友看到后贊嘆:這是目前見過最令人驚嘆的GPT-4應(yīng)用之一!
所以,加入了圖像理解功能的GPT-4,究竟展現(xiàn)出了哪些能力?
基于GPT-4讀圖能力打造
這個基于GPT-4的新功能名叫Virtual Volunteer,來自應(yīng)用Be My Eyes。
目前來看,包括問路、導(dǎo)航、讀取菜單、搜索等功能,接入GPT-4的Virtual Volunteer都能很好地幫用戶完成。
例如問路。
只需要拍一張所在地點的照片,再通過語音詢問GPT-4如何到達(dá)指定地點,它就會輸出一條完整路線圖,“讀”給用戶聽:
△翻譯by有道
又例如讀圖翻譯。
只需要給GPT-4看眼物品描述、甚至只是物體形狀,它就能搜索并輸出這個產(chǎn)品的功能、具體說明和使用方法。
△翻譯by有道
再例如公眾場合導(dǎo)航。
想去健身房、卻無法掌握空閑的器材位置,只需要拍攝所在場景照片,GPT-4就能指引你走到無人的器材面前。
△翻譯by有道
當(dāng)然,還有點菜、使用自動販賣機買飲料、搜索某種植物的名字、給出時裝建議……
只要將需求告訴GPT-4,它就能幫助視障人士解決對應(yīng)的問題。
不過,目前這一功能還在測試中,蘋果商店可以加入等待列表,至于安卓版也快來了。
搭載它的應(yīng)用Be My Eyes,是一個為盲人開發(fā)的公益應(yīng)用。
它最早是一個2012年成立的互助社區(qū),并于2015年上線iOS版本應(yīng)用,隨后又上線了安卓版應(yīng)用。
這個應(yīng)用分為志愿者和盲人兩個群體,志愿者會接受盲人傳過來的照片或視頻,通過語音溝通(打電話)幫助他們解決困難,目前已經(jīng)有接近45w+視障人士和630w+志愿者使用。
如果成為一名志愿者,則只需要保持在線,確保隨時可以接聽到視障人士的電話。
如果是視障人士使用,則可以在需要幫助時撥打志愿者電話,或是尋求一些專業(yè)人士的幫助:
現(xiàn)在加入Virtual Volunteer之后,盲人也可以呼叫“虛擬志愿者”GPT-4的幫助,不用擔(dān)心深夜無人應(yīng)答的問題。
官方還玩了個諧音梗,AI→Eyes,“讓AI成為你的眼睛”:
還當(dāng)起美版知乎問答bot
當(dāng)然,除了Be My Eyes應(yīng)用以外,不少其他APP也在爭先恐后接入GPT-4。
例如,在美版知乎Quora出的Poe上,現(xiàn)在已經(jīng)可以和GPT-4聊天(限免一句話):
又像AI律師軟件DoNotPay,同樣已經(jīng)接入了GPT-4,并計劃用它來推出“一鍵訴訟”服務(wù)。
基于這個服務(wù),你看不順眼的電話詐騙,一鍵就能舉報投訴。
如果接到電話詐騙,只需要點擊一個按鈕,對應(yīng)的電話內(nèi)容就會被全程錄音,并生成1000字的訴訟內(nèi)容,索賠1500美元的金額。(不過目前還只有美國地區(qū)適用)
值得一提的是,DoNotPay的CEO Joshua Browder表示,他們之前也用GPT-3.5做過類似的功能,但效果不太行,GPT-4則已經(jīng)能很好地hold住這一要求。
甚至已經(jīng)有網(wǎng)友嘗試用GPT-4來搞藥物發(fā)現(xiàn)了……
除了上述應(yīng)用和功能以外,還有網(wǎng)友察覺到了GPT-4開發(fā)小游戲的前景。
新的GPT-4似乎在編程靠譜度上也有所提升,無論是在60秒內(nèi)做一個打乒乓球小游戲:
還是20分鐘之內(nèi)搞出一個完整的貪吃蛇:
都可以說是游刃有余,提出更改需求也可以及時完成,編寫的簡單程序中基本上沒有遇到需要修改的bug。
你還想到了什么GPT-4好玩的應(yīng)用場景嗎?