AI+3D攝像頭,我們從iPhone 10看到新一輪智能手機(jī)變革的方向
今年,恰逢蘋(píng)果手機(jī)發(fā)布十周年。北京時(shí)間 9 月 13 日凌晨 1 點(diǎn),蘋(píng)果在喬布斯劇院召開(kāi)新品發(fā)布會(huì)。
北京時(shí)區(qū)的果粉們熬了一個(gè)多小時(shí)后,終于等來(lái)「壓軸嘉賓」——蘋(píng)果十周年特別版 iPhoneX。外觀上,iPhone X 首次在 iPhone 上實(shí)現(xiàn) OLED 全面屏,前身和背部采用了玻璃材質(zhì),內(nèi)部采用不銹鋼材質(zhì),防塵防水,屏幕尺寸達(dá) 5.8 英寸。iPhoneX 的屏幕為 Super Retina Display,分辨率達(dá)到了 2436 x 1125,其每英寸有 458 個(gè)像素,這超過(guò)了以往所有的 iPhone。
它的獨(dú)特之處是沒(méi)有「Home 鍵」,庫(kù)克在發(fā)布會(huì)上將這款「iPhoneX」的特別版稱(chēng)為「iPhone10」。沒(méi)了 TouchID,iPhone X 采用 Face ID 作為手機(jī)生物辨識(shí)技術(shù)。為了實(shí)現(xiàn)最佳功能,除了利用位于屏幕上方的 TrueDepth 相機(jī)之外,手機(jī)還使用了新的神經(jīng)引擎。嵌在新款 A11 Bionic 芯片里的神經(jīng)引擎是雙核心架構(gòu),能每秒處理 6 兆個(gè)指令。Face ID 的安全系數(shù)比 Touch ID 更強(qiáng),同時(shí)兼容于現(xiàn)有的 Touch ID 保護(hù)功能。
過(guò)去十年中,智能手機(jī)變得越來(lái)越輕薄,越來(lái)越快速,但是其它功能方面似乎沒(méi)很大的改進(jìn),各家廠商的產(chǎn)品也日趨同質(zhì)化。想要預(yù)測(cè)未來(lái)智能手機(jī)的樣子,不妨將注意力放在設(shè)備的攝像頭以及利用該組件的軟件上。
「智能化的路徑需要新的傳感器,3D 攝像頭會(huì)是一個(gè)典型的代表?!归喢婵萍?CEO 趙京雷在接受機(jī)器之心采訪(fǎng)時(shí)表示?!笖z像頭是手機(jī)捕獲世界的眼睛,捕獲的任何圖像,都需要進(jìn)行處理,AI 為這些圖像的處理賦予了更多可能。我們認(rèn)為視覺(jué) AI 技術(shù)的應(yīng)用將掀起智能手機(jī)下一波浪潮?!股虦萍几嬖V機(jī)器之心。
一、消失的 Home 鍵
iPhone X 的解鎖由簡(jiǎn)單的三個(gè)動(dòng)作串聯(lián)完成,拿起手機(jī)、看一眼手機(jī)、手指從手機(jī)底部向上滑即可。蘋(píng)果手機(jī)從「滑動(dòng)開(kāi)鎖」時(shí)代,演進(jìn)到「指紋解鎖」時(shí)代,最終進(jìn)化成現(xiàn)在的「看一眼解鎖」時(shí)代。通過(guò)邊上的按鈕,也能呼喚出 Siri。
其實(shí),蘋(píng)果考慮對(duì) Home 鍵進(jìn)行改變的時(shí)間遠(yuǎn)比我們認(rèn)為的要早。去年蘋(píng)果發(fā)布 iPhone 7 和 7 Plus 的時(shí)候,這些設(shè)備獲得了巨大的成功,吸引了眾多新的以及想要換新機(jī)的用戶(hù),他們對(duì)相機(jī)出色的表現(xiàn)贊不絕口,但也僅限于此,除此之外并無(wú)更多值得夸耀之處。他們也在不知不覺(jué)中改變了 Home 鍵的屬性,因?yàn)檫@些新的蘋(píng)果機(jī)并不像過(guò)去的設(shè)備那樣對(duì) Home 鍵有很高的依賴(lài)度。
Home 鍵的消失的部分原因在于工藝設(shè)計(jì)。從屏幕材質(zhì)和尺寸大小方面考慮,全面屏基本不存在工藝難題,難點(diǎn)在于需要手機(jī)廠商解決攝像頭、指紋鍵等多個(gè)手機(jī)部件的位置布局形態(tài)。雖然智能手機(jī)配置指紋識(shí)別功能已經(jīng)普及,但在智能手機(jī)實(shí)現(xiàn)全面屏的需求下,指紋識(shí)別功能前置和后置等形式會(huì)出現(xiàn)不同程度的工藝難題。小米 Mix、LG G6、三星 S8 等手機(jī)表明,指紋識(shí)別功能的歸置已經(jīng)成為時(shí)下較為棘手的問(wèn)題
雖然虹膜識(shí)別也是較為成熟的生物識(shí)別技術(shù)。但在智能機(jī)上的大規(guī)模采用,會(huì)受到成本和技術(shù)的限制,用戶(hù)體驗(yàn)也不佳。有調(diào)研顯示,相比指紋識(shí)別,虹膜識(shí)別只是添置一個(gè)紅外攝像頭,但是紅外攝像頭的單價(jià)遠(yuǎn)遠(yuǎn)高于一顆指紋模組,也給手機(jī)廠商帶來(lái)成本壓力。
「指紋膜組的取消不僅能夠在價(jià)格上打開(kāi)新思路,所節(jié)省出來(lái)的空間還可以讓手機(jī)廠商實(shí)現(xiàn)其它性能的提升與完善,或是新功能的嘗試與創(chuàng)新。同時(shí),人臉解鎖與全面屏是緊密結(jié)合的,隨著全面屏的觸發(fā),未來(lái)人臉識(shí)別將成為全面屏的標(biāo)配?!箷缫暱萍几笨偛脜俏年桓嬖V機(jī)器之心。
二、「看一眼」解鎖,蘋(píng)果的優(yōu)勢(shì)與布局
起價(jià) 999 美元的 iPhone10 后置雙攝像頭后,再配備前置 3D 感應(yīng)攝像頭(TrueDepth),不僅支持 AR 增強(qiáng)現(xiàn)實(shí)技術(shù),還可以與相機(jī)配合,完成面部識(shí)別驗(yàn)證?!高@個(gè)階段而言,以蘋(píng)果的應(yīng)用為分水嶺,可以認(rèn)為它的安全性超過(guò)了指紋。」趙京雷告訴機(jī)器之心。
1、成熟的人臉識(shí)別技術(shù)。以往的臉部識(shí)別系統(tǒng)錯(cuò)誤接受率達(dá)到 1%,安全性相當(dāng)糟糕。舊式臉部識(shí)別系統(tǒng)僅僅使用攝像頭來(lái)給你拍張照片,然后拿它來(lái)跟存儲(chǔ)在設(shè)備上的圖像進(jìn)行對(duì)比,進(jìn)而作出判斷。盜賊只需要在攝像頭前舉起一張你的臉部照片,就能騙過(guò)該類(lèi)系統(tǒng)——有人已經(jīng)蒙騙過(guò)三星的臉部識(shí)別功能。
紅外臉部識(shí)別功能安全很多。其運(yùn)行方式如下(以高通的深度感應(yīng)攝像頭系統(tǒng) Spectra 為例):Spectra 系統(tǒng)中的一個(gè)模塊會(huì)對(duì)物體發(fā)出紅外點(diǎn),以便根據(jù)那些點(diǎn)的大小和扭曲度來(lái)收集物體深度方面的信息。如果那些點(diǎn)比較小,那該物體就是在離得較遠(yuǎn)的地方;如果它們比較大,那物體就是比較近。接著,成像系統(tǒng)會(huì)將模式拼合成你的臉部的精細(xì) 3D 圖像,進(jìn)而在解鎖智能手機(jī)之前判斷你是否是它的主人。
有了 3D 信息,無(wú)論是在美圖,還是在人臉修復(fù)方面,都可以實(shí)現(xiàn)更多的功能。比如現(xiàn)在圖像軟件中的 AR 特效,往往眼鏡、表情等疊加的信息是與人臉錯(cuò)位的,就像是貼上去的一樣,如果有 3D 深度信息,則可以更自然。
在人臉識(shí)別驗(yàn)證上,強(qiáng)弱光、角度和遮擋的影響,都會(huì)讓識(shí)別的效果打折扣,而深度信息就能弱化這些問(wèn)題,適應(yīng)惡劣的光照,非常大的表情變化,以及非常大的姿態(tài)變化。
「人臉解鎖的抗干擾能力較強(qiáng),能夠抵抗眼鏡、小范圍遮擋和角度變化以及較暗的光線(xiàn)等。而指紋解鎖在戴手套或是手指出汗、潮濕的狀態(tài)下則是完全失效的?!箷缫暱萍几嬖V機(jī)器之心。由于人的頭部形狀非常獨(dú)特,F(xiàn)ace ID 出錯(cuò)的可能性只有百萬(wàn)分之一,大幅低于 Touch ID 的五萬(wàn)分之一。
2、未雨綢繆的布局。全球生物識(shí)別市場(chǎng)預(yù)計(jì) 2020 年將達(dá) 250 億美元,其中目前增速最快的為人臉識(shí)別,在應(yīng)用場(chǎng)景不斷增加的情況下,人臉識(shí)別將是下一個(gè)消費(fèi)終端創(chuàng)新的大方向。
從終端廠商來(lái)看,蘋(píng)果、三星、華為、Facebook、谷歌的多項(xiàng)專(zhuān)利顯示,各大終端巨頭都在紛紛布局人臉識(shí)別技術(shù)。谷歌早在 2012 年久獲得人臉識(shí)別解鎖手機(jī)的專(zhuān)利,而蘋(píng)果獲得相應(yīng)專(zhuān)利的時(shí)間為 2015 年。但蘋(píng)果在手機(jī)端的布局最為明顯,先后收購(gòu) PolarRose,PrimeSense,Perceptio,F(xiàn)aceshift,Emotient,Turi 等人臉識(shí)別相關(guān)技術(shù)公司。
2013 年,蘋(píng)果收購(gòu) 3D 傳感技術(shù)公司 PrimeSense,這家公司因?yàn)榻o微軟的 Kinect 提供了傳感器而走紅。業(yè)界也一致認(rèn)為它的技術(shù)會(huì)應(yīng)用到蘋(píng)果自家硬件產(chǎn)品當(dāng)中。
PrimeSense 主要提供傳感器和中間件,可以讓設(shè)備感知周邊的三維環(huán)境,實(shí)現(xiàn)人機(jī)交互。而如果這種技術(shù)用于前置攝像頭,可以為拍照、背景虛化、人臉識(shí)別、手勢(shì)識(shí)別帶來(lái)便利。它使用了結(jié)構(gòu)光方案來(lái)獲取深度信息,原理簡(jiǎn)單來(lái)說(shuō),就是向空間投影一定圖案,傳感器獲取反射回來(lái)的圖案,與原圖進(jìn)行對(duì)比就能生成深度圖。
在專(zhuān)利方面,蘋(píng)果在 15 年獲得人臉識(shí)別解鎖設(shè)備的專(zhuān)利,特意保護(hù)紅外傳感器的使用,符合人臉識(shí)別的需求。
蘋(píng)果表示,會(huì)將人臉識(shí)別技術(shù)應(yīng)用到 ApplePay 以及第三方應(yīng)用中去。目前,支付寶、券商、銀行為主的金融服務(wù)機(jī)構(gòu)也已經(jīng)從去年開(kāi)始大量采用人臉識(shí)別開(kāi)戶(hù)、轉(zhuǎn)賬、付款等,以招商銀行為例,人臉識(shí)別能夠?qū)崿F(xiàn)手機(jī)端超過(guò) 50 萬(wàn)的轉(zhuǎn)賬。
「蘋(píng)果的技術(shù)肯定是特別成熟的,否則它不會(huì)用的。而且現(xiàn)在雖然看似只是用人臉解鎖替代了登錄,但在未來(lái)還將與手機(jī)支付等應(yīng)用關(guān)聯(lián),這些都是與安全技術(shù)相關(guān)的?!冠w京雷告訴機(jī)器之心。
紅外線(xiàn)掃描技術(shù)也存在局限性。高通專(zhuān)業(yè)人士曾表示,你身上穿戴的東西,如帽子或者圍巾,可能會(huì)讓該攝像頭系統(tǒng)無(wú)法正常運(yùn)行。此外,專(zhuān)家稱(chēng),紅外光會(huì)被戶(hù)外明亮的太陽(yáng)光壓過(guò),因此臉部掃描系統(tǒng)在沙灘上可能沒(méi)那么穩(wěn)定。不過(guò),專(zhuān)業(yè)人士仍然看好蘋(píng)果這一舉措。
「這個(gè)一個(gè)非常大的趨勢(shì)。因?yàn)槭謾C(jī)作為非常大的交互設(shè)備,目前正在向著更加智能化的方向在走。...... 這次 iphone8 在前置攝像頭加入 3D Sensor 用于人臉解鎖,我非??春眠@個(gè)應(yīng)用?!冠w京雷告訴機(jī)器之心。因?yàn)檫@個(gè)應(yīng)用代表了整個(gè)交互認(rèn)證,從配合式認(rèn)證向非配合式認(rèn)證的邁進(jìn)。以往的識(shí)別手段,不管是指紋、密碼還是虹膜,都需要用戶(hù)去配合進(jìn)行,但人臉是非常自然的。
「現(xiàn)在蘋(píng)果是在前置攝像頭加入 3D 攝像頭,后置攝像頭也引入了雙攝進(jìn)行圖像拍照的優(yōu)化。在未來(lái),后置攝像頭也可能加入深度攝像頭,類(lèi)似 AR 將虛擬和現(xiàn)實(shí)的融合的技術(shù),在手機(jī)端也可能會(huì)迎來(lái)快速發(fā)展。我們是比較看好的?!冠w京雷進(jìn)一步表示?!?018 年將會(huì)是智能手機(jī)攝像頭技術(shù)取得巨大突破的一年?!垢咄óa(chǎn)品經(jīng)理菲利普-詹姆斯·雅各博維茨(Philip-James Jacobowitz)指出。
3、專(zhuān)用 AI 芯片?!缚匆谎邸筰Phone 10,瞬間解鎖屏幕。目前,人臉解鎖的速度已經(jīng)可以達(dá)到毫秒級(jí)別,加上點(diǎn)亮屏幕和啟動(dòng)攝像頭的時(shí)間。如此精準(zhǔn)、高效的識(shí)別效果,離不開(kāi)蘋(píng)果 AI 專(zhuān)屬芯片的功勞。
iPhone X 的「留?!估镉性S多傳感器,用 3 萬(wàn)多個(gè)點(diǎn),以 3D 形式識(shí)別用戶(hù)面部,通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)建模、識(shí)別人臉。無(wú)論是換發(fā)型、留胡子、戴帽子還是光線(xiàn)強(qiáng)弱不同,都不影響系統(tǒng)識(shí)別。蘋(píng)果為此打造了 A11 Bionic 神經(jīng)引擎。這個(gè)神經(jīng)引擎使用雙核設(shè)計(jì),每秒運(yùn)算 6000 億次。面部數(shù)據(jù)都由 A11 引擎處理。為保證用戶(hù)的隱私,蘋(píng)果稱(chēng)所有相關(guān)的運(yùn)算都將在本地運(yùn)行,不會(huì)被上傳到云端。

早在今年 5 月,彭博社援引消息人士的說(shuō)法稱(chēng),蘋(píng)果正在開(kāi)發(fā)一款專(zhuān)用于人工智能的芯片。蘋(píng)果內(nèi)部將這款芯片稱(chēng)作「蘋(píng)果神經(jīng)引擎」,將有助于優(yōu)化蘋(píng)果設(shè)備涉及人工智能的任務(wù),例如面部識(shí)別和語(yǔ)音識(shí)別的處理。據(jù)稱(chēng),蘋(píng)果未來(lái)將把人工智能任務(wù)轉(zhuǎn)移至專(zhuān)用芯片,從而延長(zhǎng)電池續(xù)航時(shí)間。
這次推出的蘋(píng)果 A11 內(nèi)置了蘋(píng)果自研的 GPU,可用于輔助人臉識(shí)別、語(yǔ)音識(shí)別等 AI 應(yīng)用,比上代產(chǎn)品快了至少 30%。蘋(píng)果 A11 芯片采用 6 核心設(shè)計(jì),包括 4 個(gè) Mistral 核心(4*2.5Ghz)和 2 個(gè) Monsoon 核心,都具備獨(dú)立尋址能力。iPhone 10 的續(xù)航時(shí)間也多出 2 小時(shí)(比較 7 系列手機(jī))。
三、Animoji 和更有趣的 Siri
在這次發(fā)布會(huì)上,我們發(fā)現(xiàn) Siri 更加多才多藝了,比如更自然的語(yǔ)音、實(shí)時(shí)翻譯、更精準(zhǔn)的預(yù)測(cè)。另外,Siri 借助機(jī)器學(xué)習(xí),還能更了解用戶(hù)的興趣,可以據(jù)此推薦新聞、幫用戶(hù)回復(fù)消息等。
另外,我們還看到人臉 3D 追蹤系統(tǒng)的另一個(gè)有趣應(yīng)用——動(dòng)畫(huà)形象的合成 Animoji。追蹤面部超過(guò) 50 塊肌肉,可以用人臉表情創(chuàng)造有趣的動(dòng)畫(huà)表情,還能錄制成短視頻。
在 iMessage 中,用戶(hù)可以將自己的表情、口型事實(shí)地附加到卡通形象上去。接著,用戶(hù)的卡通形象將作為動(dòng)圖參與到聊天中來(lái)。在 SnapChat 中,用戶(hù)能夠使用蘋(píng)果的人工智能技術(shù)為自己「戴上面具」。此外,iPhone X 的后置豎排攝像頭,也是為機(jī)器學(xué)習(xí)任務(wù)而設(shè)計(jì)。目前,該攝像頭能夠與機(jī)器學(xué)習(xí)技術(shù)合作,在按下快門(mén)之前實(shí)時(shí)地自動(dòng)調(diào)參。
「AI 技術(shù)的大規(guī)模應(yīng)用將帶來(lái)兩大賦能,一種是生產(chǎn)力的提升,一種是創(chuàng)造全新的交互方式?!股虦萍几嬖V機(jī)器之心?!敢曈X(jué) AI 技術(shù)在手機(jī)中的應(yīng)用,很大程度上將帶來(lái)的是后者——交互方式的創(chuàng)新。例如解鎖時(shí),通過(guò)人臉解鎖;拍照時(shí),通過(guò)智能算法,來(lái)實(shí)現(xiàn)背景虛化、暗光增強(qiáng)等等;除上述場(chǎng)景外,AR 技術(shù)在手機(jī)上的應(yīng)用,虛實(shí)結(jié)合,無(wú)論在娛樂(lè)、生活、辦公等場(chǎng)景下,都將帶來(lái)無(wú)限可能?!?nbsp;