基于NeRF的APP上架蘋果商店!照片轉(zhuǎn)3D只需一部手機(jī),網(wǎng)友們玩瘋了
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
只用一部手機(jī),現(xiàn)實中的2D照片就能渲染出3D模型?
沒錯,無需再手動上傳電腦或安裝激光雷達(dá),蘋果手機(jī)自帶APP就能生成3D模型。
這個名叫Luma AI的“NeRF APP”,正式上架App Store后爆火:
小如3D裝飾模型,兼具燈光和形狀細(xì)節(jié):
大到整個墓園的3D場景渲染版,都能被很好捕捉:
這樣無論是風(fēng)景、3D物體還是人物,都可以被很好地保存進(jìn)手機(jī),并快速生成對應(yīng)的3D模型。
所以這個APP究竟包含什么功能,它又具體要如何使用?
NeRF手機(jī)APP是什么?
Luma AI是一個基于NeRF打造的APP,目前能在蘋果商店中搜到:
NeRF是少量2D照片生成3D場景的經(jīng)典AI模型,最初版本由UC伯克利和谷歌開發(fā),只需要輸入少量靜態(tài)圖片,就能做到多視角的逼真3D效果。
最初NeRF需要專業(yè)相機(jī)拍幾百張照片,并在拍照時嚴(yán)格遵守參數(shù)坐標(biāo),但由于它的代碼數(shù)據(jù)開源,目前已經(jīng)有不少簡化版模型被開發(fā)出來。
不僅照片數(shù)量有所下降,從幾百張到幾十張甚至幾張,對拍照位置和照相機(jī)的要求也有所降低。
但能直接通過APP導(dǎo)引、隨時隨地可用的NeRF,幾乎還沒出現(xiàn)過。
現(xiàn)在,Luma AI團(tuán)隊基于云服務(wù)器,實現(xiàn)了這個可以實時渲染3D物體、產(chǎn)品或風(fēng)景和場景的APP。
它包含自動調(diào)整焦距、視角和畫面比例調(diào)整等不同功能,捕捉到的3D場景則包含復(fù)雜形狀、反射和照明等細(xì)節(jié)。
同時,制作得到的3D模型既可以直接分享到網(wǎng)上,比2D照片更全方位地展示細(xì)節(jié):
也可以放進(jìn)Blender等游戲引擎中,讓它“動起來”:
現(xiàn)在,你也可以試一試了。
支持iPhone 11或以上機(jī)型
目前Luma AI支持iPhone 11或以上的機(jī)型,操作方法也很簡單。
在蘋果商店下載APP后,只需要跟著導(dǎo)引,圍繞3D物體一步步完成拍攝,NeRF就能在后臺將這些照片合成出一個3D模型,并實時導(dǎo)出:
支持的玩法也很多樣,從調(diào)整焦距、效果預(yù)覽都包括:
實際拍出來的效果,可以直接放進(jìn)電影中,有運(yùn)鏡內(nèi)味了:
所以,沒有蘋果手機(jī)怎么辦?
在網(wǎng)頁端上傳照片也可以,視頻和照片集二選一:
在Luma AI公開的3D模型分享庫中,已經(jīng)有不少網(wǎng)友上傳了自己隨手拍的3D模型:
目前支持導(dǎo)出的3D模型格式,主要包括obj和gltf兩種。
你想好用它來拍出大片效果、做游戲模型,還是把家里的3D手辦“電子化”了嗎?