進(jìn)入元宇宙，只能靠頭顯嗎？

非也。讓我們的想象力再放飛一點(diǎn)。

巨頭谷歌給出了另一種方案：不用頭顯，用3D「電話(huà)亭」！

如果你平時(shí)用慣了skype或者zoom，第一次見(jiàn)到starline時(shí)，你一定會(huì)大吃一驚。

谷歌在去年官宣了Project Starline項(xiàng)目。它是一個(gè)視頻通話(huà)亭，使用3D圖像、高分辨率相機(jī)、定制的深度傳感器和突破性的光場(chǎng)顯示。

這為屏幕兩邊的通話(huà)者創(chuàng)造了極其逼真的體驗(yàn)。

時(shí)隔一年，谷歌全息視頻聊天項(xiàng)目Project Starline將在今年晚些時(shí)候在合作伙伴辦公室安裝原型，完成最初測(cè)試。

裸眼3D

Starline是谷歌在元宇宙中布下的兩枚棋子之一（另一枚是AR眼鏡Iris）。

這個(gè)項(xiàng)目，谷歌已經(jīng)醞釀了五年多了。

2021的I/O大會(huì)上，谷歌官宣了一個(gè)超高分辨率視頻聊天室Project Starline項(xiàng)目。

以往，skype或zoom之類(lèi)的傳統(tǒng)視頻聊天軟件并不能克服感官上的距離感。和你聊天的人，是以2D平面的形式出現(xiàn)在你對(duì)面。而ta的聲音，也明顯是從手機(jī)、平板或是電腦中傳出來(lái)的。

這種「音畫(huà)分離」的體驗(yàn)，并不真實(shí)。

有沒(méi)有可能徹底消除這種「距離感」？

谷歌提出了這樣一個(gè)問(wèn)題，「可不可以把Zoom變成一個(gè)巨大的坐式街機(jī)？」他們成功了。

耗時(shí)五年，谷歌研發(fā)出了一款黑科技——Starline3D視頻通話(huà)技術(shù)。

這一技術(shù)有兩大亮點(diǎn)：一個(gè)是真實(shí)，另一個(gè)是無(wú)需佩戴任何設(shè)備。

一個(gè)65寸的光場(chǎng)顯示屏，外加預(yù)先布置的十幾個(gè)傳感器和攝像頭，就構(gòu)成了這樣一個(gè)聊天室。

看起來(lái)，效果相當(dāng)真實(shí)。

這么真實(shí)的人物外貌，是被攝像頭和傳感器拍下來(lái)，直接顯示在對(duì)方的顯示屏上的嗎？

并不是。每一個(gè)攝像頭和傳感器的作用，是通過(guò)不同角度捕捉人像，利用深度學(xué)習(xí)進(jìn)行實(shí)時(shí)壓縮，把這些數(shù)據(jù)傳輸?shù)綄?duì)面，在顯示屏上重建成3D化身。

也就是說(shuō)，在這個(gè)電話(huà)亭里，你看到的是對(duì)人像的「重建」。

這種實(shí)時(shí)重建的人物影像，讓彼此的感受變得無(wú)與倫比的真實(shí)。就好像和自己聊天的人，真真切切地坐在自己對(duì)面一樣。

這些采集到的數(shù)據(jù)的傳輸，和與普通的視頻會(huì)議一樣，都是基于WebRTC，而谷歌獨(dú)特的壓縮算法使得雙向?qū)崟r(shí)傳輸3D影像成為可能。

通過(guò)視頻聊天連接傳輸3D化身，讓谷歌能夠解決眼神接觸的問(wèn)題。在普通的視頻聊天中，這一直是個(gè)麻煩。在以往，顯示器上面的網(wǎng)絡(luò)攝像頭使得人在看顯示器時(shí)不可能有眼神接觸，而3D化身可以彌補(bǔ)攝像頭中心和顯示器中心之間的脫節(jié)，使雙方有眼神接觸。

谷歌正在一個(gè)強(qiáng)大的雙Xeon工作站中處理這些數(shù)據(jù)，這個(gè)工作站有四個(gè)英偉達(dá)GPU（兩個(gè)Quadro RTX 6000和兩個(gè)Titan RTX）。

Starline的另一大特點(diǎn)是不需要佩戴任何設(shè)備。

是的，你沒(méi)聽(tīng)錯(cuò)，VR頭顯、智能眼鏡，通通不需要！

甚至，在谷歌此前發(fā)布的概念圖上，攝像頭和傳感器都放在一張桌子里。

稍加裝飾之后，你甚至?xí)a(chǎn)生這樣一種錯(cuò)覺(jué)：眼前是你的書(shū)桌，而和你聊天的人就坐在書(shū)桌對(duì)面。

根據(jù)谷歌給出的技術(shù)圖，這一套設(shè)備包括：一個(gè)包含顯示器、攝像頭、揚(yáng)聲器、麥克風(fēng)、照明器和計(jì)算機(jī)的顯示單元，和包含紅外背光并用作bench seat的背光單元。兩個(gè)單元都包含向墻壁和天花板傾斜的白色LED燈條，用于產(chǎn)生柔和的反射照明。

顯示器是一個(gè) 65 英寸、8 K、60 Hz的自動(dòng)立體透鏡面板，就是在它上面生成真人大小的裸眼3D視圖化身。

而捕獲子系統(tǒng)由三個(gè)同步立體的RGBD捕獲pod組成：兩個(gè)在顯示器上方，一個(gè)在顯示器下方的「中墻」(middle wall)中。

更下方的pod包括一個(gè)額外的彩色相機(jī)，用于放大拍攝對(duì)象的臉部。另外，四個(gè)單色追蹤攝像頭中的兩個(gè)在顯示器上方，其余兩個(gè)一側(cè)一個(gè)，用于捕捉眼睛、耳朵和嘴巴的高速?gòu)V角圖像。

渲染的方式如下圖所示。

而pod就是上述提到的RGBD捕獲裝置。

這樣渲染出的人物影響，更加逼真，栩栩如生。

Starline還配備了高級(jí)的聲音系統(tǒng)。

這套系統(tǒng)使用了talker-tracked波束成形、混響消減、WebRTC傳輸、talker/listener-tracked虛擬音頻合成、雙耳串?dāng)_消除分頻組合、振幅平移、空間化音頻和動(dòng)態(tài)波束成形等技術(shù)。

有了這些技術(shù)的加持，就仿佛通話(huà)的兩個(gè)人在面對(duì)面說(shuō)話(huà)一樣。

去年，谷歌工程師表示，這套設(shè)備在標(biāo)準(zhǔn)辦公網(wǎng)絡(luò)環(huán)境下就可以運(yùn)行?？磥?lái)Starline技術(shù)是被寄望于廣泛推廣的。

當(dāng)時(shí)，谷歌并未披露有關(guān)價(jià)格的更多細(xì)節(jié)。

很難想象這個(gè)7*7英尺、大小如同一個(gè)浴室的六位數(shù)電話(huà)亭有多大市場(chǎng)，但谷歌正在推進(jìn)更多的測(cè)試。

不要「抱臉蟲(chóng)」

時(shí)至今日，這一項(xiàng)目進(jìn)展如何？

Google Cloud Next 2022上，谷歌CEO桑達(dá)爾·皮查伊介紹了在全息視頻聊天項(xiàng)目（Project Starline）上取得的一些進(jìn)展。

谷歌稱(chēng)，它將在選定的合作伙伴辦公室進(jìn)行定期測(cè)試，其中就包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health。

WeWork 和 Salesforce表示，他們有興趣嘗試這項(xiàng)技術(shù)，并認(rèn)為這項(xiàng)技術(shù)可以讓人與人之間的聯(lián)系變得更有意義。

到目前為止，Starline項(xiàng)目已經(jīng)在谷歌內(nèi)部進(jìn)行了數(shù)千小時(shí)的測(cè)試，并在其美國(guó)辦公室每天使用。

谷歌在一份聲明里說(shuō)：「今天，在美國(guó)各地的谷歌辦事處都可以找到Starline項(xiàng)目的原型，員工每天都在使用該技術(shù)進(jìn)行會(huì)議。」

當(dāng)這一項(xiàng)目推向?qū)崪y(cè)后，便可以了解這種技術(shù)將如何在現(xiàn)實(shí)世界中使用，以及它可能面臨什么樣的挑戰(zhàn)。

許多人認(rèn)為其非常炫酷，但也有人質(zhì)疑Starline項(xiàng)目是否最終能夠成為職場(chǎng)人士日常生活一部分。

面對(duì)廣闊的企業(yè)會(huì)議設(shè)備市場(chǎng)，Starline確實(shí)有一些空間。但一些限制使得Starline難以用于嚴(yán)肅的會(huì)議。企業(yè)會(huì)議設(shè)備通常適用于坐在桌旁的一大群人，廣泛的兼容性使得任何人都可以使用幾乎任何硬件來(lái)發(fā)起會(huì)議。

然而Starline僅支持一個(gè)人進(jìn)行一對(duì)一聊天，恐怕只能用于打總統(tǒng)電話(huà)？

近日，谷歌曾邀請(qǐng)一位記者對(duì)Starline進(jìn)行體驗(yàn)測(cè)試。這位記者描述如下：

「整個(gè)過(guò)程感覺(jué)比Zoom通話(huà)要自然得多。對(duì)方的動(dòng)作和我們的談話(huà)都沒(méi)有明顯的延遲，所以說(shuō)話(huà)就像在說(shuō)話(huà)。沒(méi)有任何奇怪的音頻或視覺(jué)延遲?！?/span>

「我會(huì)相信我真的和某人在一起，因?yàn)槲艺谂c全尺寸的虛擬人進(jìn)行真正的眼神交流，而不是瞇著眼睛看著一個(gè)小小的Zoom窗口?！?/span>

Starline之所以如此令人信服的部分原因在于，你不僅在看屏幕，而且在看屏幕前的一系列鏡頭，或者說(shuō)透鏡陣列。這個(gè)原理類(lèi)似于全息卡，當(dāng)你來(lái)回?fù)u晃它們時(shí)，它可以顯示不同的圖像或3D效果。而Starline會(huì)通過(guò)跟蹤你的眼睛，來(lái)了解將顯示給你的圖像指向何處。

最后，這位記者總結(jié)道：「它對(duì)于一對(duì)一的對(duì)話(huà)很有用，尤其是醫(yī)生辦公室或需要服務(wù)客戶(hù)的地方。」

一直以來(lái)，Starline項(xiàng)目在谷歌的長(zhǎng)期地位一直不為人知。

一年前，這一項(xiàng)目還進(jìn)行了重組，谷歌將其AR/VR技術(shù)和內(nèi)部研發(fā)團(tuán)隊(duì)Area 120重新組建為「Labs」團(tuán)隊(duì)。

而在上個(gè)月，谷歌還將Area 120人員數(shù)量削減了一半。

這表明，在當(dāng)前的經(jīng)濟(jì)環(huán)境下，谷歌可能不會(huì)把這類(lèi)試驗(yàn)視為優(yōu)先事項(xiàng)。即便是一些谷歌內(nèi)部員工也不確定Project Starline是否還存在。

即便是這樣，Starline依然讓人振奮，是對(duì)另一種虛擬現(xiàn)實(shí)的押注。

人們并不需要Avatar，僅通過(guò)真實(shí)自我就可以實(shí)現(xiàn)在虛擬世界中的連接。

前幾天，Meta還推出了自家最貴的高端頭顯Quest Pro。

而谷歌沒(méi)有像Meta現(xiàn)在所做的那樣，開(kāi)發(fā)利用攝像頭來(lái)實(shí)現(xiàn)眼睛和臉部運(yùn)動(dòng)追蹤的技術(shù)。

也沒(méi)有研究如何在虛擬現(xiàn)實(shí)中為你的身體「加個(gè)腿」，而是致力于呈現(xiàn)一個(gè)真實(shí)的人。

最重要的是，不用像個(gè)「抱臉蟲(chóng)」一樣戴在臉上，增加負(fù)擔(dān)。

與此同時(shí)，隨著越來(lái)越多的企業(yè)試圖找到工作模式的混合未來(lái)，而Starline正好可以彌補(bǔ)現(xiàn)如今2D視頻聊天的差距。

2024，攜首款A(yù)R頭顯上市

其實(shí)，在AR頭顯上的布局，谷歌也不甘落后。

今年年初，兩位知情人士透露，谷歌已開(kāi)始加緊研發(fā)AR頭顯，內(nèi)部代號(hào)為Project Iris，希望在2024 年上市。

并且谷歌希望在2024年之前與Iris一起發(fā)布Starline。

最新Iris頭顯將采用谷歌最新處理器，全自研的Tensor芯片，而且還支持在安卓系統(tǒng)上運(yùn)行。

至于全新的操作系統(tǒng)，也在谷歌未來(lái)研發(fā)計(jì)劃中。

這款A(yù)R設(shè)備使用外向攝像頭將計(jì)算圖形與現(xiàn)實(shí)世界融合，創(chuàng)造出比Snap和Magic Leap等現(xiàn)有AR眼鏡更身臨其境的混合現(xiàn)實(shí)體驗(yàn)。

由于電量的限制，谷歌會(huì)使用其數(shù)據(jù)中心去遠(yuǎn)程渲染一些圖形，并通過(guò)互聯(lián)網(wǎng)連接將它們傳送到AR眼鏡中。

Project Iris項(xiàng)目，可以說(shuō)，是谷歌AR眼鏡研發(fā)的一個(gè)轉(zhuǎn)折點(diǎn)。

早在2012年，谷歌就發(fā)布了一款A(yù)R眼鏡的原型機(jī)。類(lèi)似于一副滑雪護(hù)目鏡，而且不需要與外部電源連接。

隨著一波硬件和軟件的升級(jí)，2014年成功登陸美國(guó)市場(chǎng)，售價(jià)1500美元。然而，在2015年卻因?yàn)楦鞣N負(fù)面新聞被迫下架。

緊接著，2015年，谷歌在其I/O大會(huì)上發(fā)布了一款「VR眼鏡盒子」。其裝置非常簡(jiǎn)單，主要由一塊硬紙板與兩塊特殊的塑料鏡片組成。

到了2017年，谷歌決定將AR眼鏡的應(yīng)用轉(zhuǎn)向工業(yè)。

盡管急于追趕，但谷歌在打造新形式的AR硬件方面似乎落后于同行。

此后，谷歌在AR眼鏡的硬件研發(fā)上明顯保持沉默，并且選擇專(zhuān)注于研發(fā)Google Lens、視覺(jué)搜索引擎和谷歌地圖中的AR方向相關(guān)的軟件功能。

隨著2021年元宇宙概念大爆發(fā)，許多大廠紛紛在該賽道上展開(kāi)布局。

其實(shí)，谷歌也在悄悄下自己的這盤(pán)棋。不論是AR頭顯Iris，還是全息視頻通話(huà)項(xiàng)目Starline。

小扎曾在采訪(fǎng)中說(shuō)：「VR 的魔力在于，它可以立即讓你相信你在另一個(gè)地方，并且和那里的人在一起?！顾臉?gòu)想是全息圖，而Starline也正好英雄所見(jiàn)略同了。

現(xiàn)在，世界上最大的兩家科技公司正在努力改善虛擬形象，雖然方法不同：Meta正全力以赴地提出元宇宙的概念，而Google 正在努力接管企業(yè)。

對(duì)于大多數(shù)人來(lái)說(shuō)，聊天室和昂貴的混合現(xiàn)實(shí)顯示器既不實(shí)用也不理想，但真正起飛的東西，可能會(huì)發(fā)生在兩者之間的某個(gè)地方。

?參考資料：

https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in-the-real-world/

https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions