本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

這幾年我的研究主要關(guān)注視覺(jué)外觀和理解，從微米分辨率到世界級(jí)。在我開(kāi)始演講之前，我先給大家展示一個(gè)很有趣的例子，這部電影里主角和世界互動(dòng)的視覺(jué)界面很有意思。

大家能夠看到，當(dāng)這個(gè)人在現(xiàn)實(shí)世界中行走時(shí)，他的視覺(jué)界面上出現(xiàn)了一系列文字。主角是一個(gè)汽車(chē)迷，所以視覺(jué)界面向他展示了這輛車(chē)的豐富信息：

僅僅需要一張照片，視覺(jué)界面就能告訴你這輛車(chē)的全部信息。我們需要計(jì)算機(jī)視覺(jué)和視覺(jué)理解領(lǐng)域的研究來(lái)推動(dòng)這種技術(shù)的實(shí)現(xiàn)。

主角繼續(xù)走，當(dāng)走近這些模特時(shí)，你會(huì)發(fā)現(xiàn)她們并不是真人，盡管她們看起來(lái)十分逼真。想要達(dá)到這樣的技術(shù)，我們就需要研究逼真外觀（Realistic Appearance）。

然后主角走到一個(gè)購(gòu)物櫥窗面前，他看到了櫥窗里的所有商品。這次他的視覺(jué)界面向他展示了里面商品的所有信息，甚至?xí)M一個(gè)佩戴該商品的效果，不需要真正觸碰，主角就可以體驗(yàn)到商品。

想要達(dá)到我給大家展示的這段視頻的效果，我們需要一種叫做“逆圖形（inverse graphics）”的技術(shù)，才能把商品的所有屬性數(shù)字化，從而與之互動(dòng)。

我展示這些例子是為了向大家展示我們正在開(kāi)發(fā)的各種技術(shù)，大家想必已經(jīng)聽(tīng)過(guò)很多關(guān)于增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)的內(nèi)容，我剛才提到的都是現(xiàn)在推動(dòng)增強(qiáng)現(xiàn)實(shí)發(fā)展的技術(shù)。今天我將重點(diǎn)講解其中的視覺(jué)技術(shù)。

一個(gè)模型看起來(lái)非常真實(shí)，以至于你無(wú)法區(qū)分其到底是真的還是假的，這就是計(jì)算機(jī)圖形學(xué)領(lǐng)域中的逼真外觀；這個(gè)領(lǐng)域還有另一個(gè)方向，就是拍下一個(gè)物體的照片，我們?nèi)绾稳ダ斫膺@張照片上物體的所有屬性；接著我們可以在此基礎(chǔ)上繼續(xù)發(fā)展，從而理解這個(gè)世界的屬性。

這就是我今天要講的三大內(nèi)容：

• 基于物理的視覺(jué)外觀模型（Physics-Based Visual Appearance Models）
• 逆圖形（Inverse Graphics）
• 世界尺度的視覺(jué)發(fā)現(xiàn)（World-Scale Visual Discovery）

1 基于物理的視覺(jué)外觀模型

讓我們先從基于物理的圖形講起。

首先我想介紹一個(gè)著名的測(cè)試：康奈爾盒子（Cornell box）測(cè)試，其旨在通過(guò)將渲染場(chǎng)景與同一場(chǎng)景的實(shí)際照片進(jìn)行比較來(lái)確定渲染軟件的準(zhǔn)確性。我給大家展示的兩張圖，一張是人為渲染的，另一張是真的——其實(shí)左邊是真實(shí)的場(chǎng)景，右邊是虛擬的圖片。

多年來(lái)人們致力于創(chuàng)造出這個(gè)測(cè)試檢測(cè)不出來(lái)真假的圖片。不過(guò)真實(shí)的世界并不像康奈爾盒子里面的圖片那么簡(jiǎn)單，真實(shí)的世界里有許多種材料，比如這張圖里展示的織物、皮膚、樹(shù)葉、食物，等等。人們不斷地與這個(gè)世界互動(dòng)，判斷自己所看到的是否真實(shí)。當(dāng)我們想要模擬出下方左圖這個(gè)模特的逼真視覺(jué)效果時(shí)，如何表現(xiàn)這些復(fù)雜的材料便是一個(gè)很大的挑戰(zhàn)，這也是我研究了多年的問(wèn)題。

所以我要講講如何正確地捕捉織物和布料的外觀。首先讓我們先提出一個(gè)問(wèn)題，看看這兩幅圖，作為人類(lèi)，你馬上就能認(rèn)出來(lái)左邊是天鵝絨，而右邊是一種閃閃發(fā)光的絲綢一樣的材料，為什么你能立刻辨認(rèn)出呢？是什么讓天鵝絨看起來(lái)像天鵝絨，是什么讓絲綢看起來(lái)不同于天鵝絨，而是看起來(lái)像絲綢？

答案是：結(jié)構(gòu)。

兩種布料不僅僅是表面不同，其本質(zhì)是因?yàn)樗鼈兘Y(jié)構(gòu)不同，視覺(jué)效果才不同。如果我們掌握了這個(gè)結(jié)構(gòu)，我們就抓住了它們視覺(jué)的本質(zhì)。

所以我們?cè)谧畛醯捻?xiàng)目中所做的是：觀察這些材料的微型CT掃描。

在天鵝絨的微型CT掃描中，我們能看到天鵝絨是一種毛茸茸的材料。

而絲綢的結(jié)構(gòu)則截然不同，絲綢是非常緊密地交織在一起的，經(jīng)紗和緯紗形成了特定的圖案，正是因?yàn)榻z綢的結(jié)構(gòu)如此緊密，才為絲綢帶來(lái)了那種閃亮的效果。

講到這里，我們會(huì)發(fā)現(xiàn)，只要把握住了材料的微型結(jié)構(gòu)，基本就把握住了材料的外觀模型，即便材料很復(fù)雜，仍然萬(wàn)變不離其宗。

一旦我們掌握了結(jié)構(gòu)，就能掌握顯示出光學(xué)特性的信息，比如顏色等。這些信息足夠讓我們掌握一個(gè)完整的模型，讓我們能夠還原出這種材料的逼真視覺(jué)效果。

如圖，通過(guò)掌握兩種面料的結(jié)構(gòu)特性，我們成功還原出了天鵝絨和絲綢兩種材料的視覺(jué)效果。

我們就實(shí)際推廣這些模型進(jìn)行了大量研究，思考這種模型可以得到什么現(xiàn)實(shí)應(yīng)用?，F(xiàn)在我們認(rèn)為這種工具讓工業(yè)設(shè)計(jì)師、紡織品設(shè)計(jì)師等進(jìn)行數(shù)字原型制作時(shí)更加得心應(yīng)手，賦予設(shè)計(jì)師們模擬真實(shí)機(jī)織織物外觀的能力。

在工業(yè)織機(jī)中，線軸上使用真實(shí)的紗線，加入編織圖案后，工業(yè)織機(jī)將生產(chǎn)出如下方右圖所示的織物，而我們想要?jiǎng)?chuàng)建的現(xiàn)代視覺(jué)圖靈測(cè)試本質(zhì)上是一個(gè)完全數(shù)字化的管線，使用 CT 掃描和照片等組合可以達(dá)到與工業(yè)織機(jī)相同的效果。

這種虛擬卻逼真的視覺(jué)效果可以讓設(shè)計(jì)師在不需要實(shí)際制造織物的情況下就做出重要的決定。

我們實(shí)際上創(chuàng)建了低維模型和更直觀的表示材料結(jié)構(gòu)的22個(gè)參數(shù)，設(shè)計(jì)師如果能使用上這種工具，將會(huì)獲得更大的力量。

而這22個(gè)參數(shù)則會(huì)引向我將要說(shuō)的第二個(gè)話題，逆圖形。

2 逆圖形

我們遇到的第二個(gè)問(wèn)題則是，有了這些模型以后，如何去適應(yīng)這些模型呢？這也是計(jì)算機(jī)圖形研究的一個(gè)重要話題。

我們首先從光與物體表面的關(guān)系說(shuō)起。

當(dāng)光遇到金屬的表面，光會(huì)被反射出去。而其它材料，比如皮膚、食物、織物等，當(dāng)光遇到它們的表面，光會(huì)進(jìn)入表面并與物體產(chǎn)生一定互動(dòng)，我們稱(chēng)之為次表面散射（Subsurface scattering）。

如上圖所示，判斷壽司是否可口的方式是判斷其外表的光澤與新鮮度。因此想要模擬某種物體的視覺(jué)效果，就需要了解光射到這種物體表面發(fā)生了什么。

圖注：端到端的管線

在理想情況下，我們有某種已經(jīng)學(xué)習(xí)到的表征，在拍下照片后，我們能夠辨認(rèn)出照片上的物體都具有什么材料屬性，具有什么材料參數(shù)，也能得知三項(xiàng)有關(guān)不同散射的參數(shù)：光在介質(zhì)中傳播了多遠(yuǎn)，散開(kāi)了多少，散射時(shí)物質(zhì)的反照率是多少等等。

而我們現(xiàn)在擁有很不錯(cuò)的基于物理的渲染器，可以模擬光射到物體表面的整個(gè)物理過(guò)程，我認(rèn)為我們已經(jīng)有創(chuàng)建這種管道的能力了。

如果把基于物理的渲染器和習(xí)得表征結(jié)合起來(lái)，得到這個(gè)端到端的管道，再將輸出圖像和輸入圖像進(jìn)行匹配并使得損失最小化，如此一來(lái)我們就能得到材料屬性（即上圖最中間的material π）。

要有效地做到這一點(diǎn)，我們需要將學(xué)習(xí)和物理有效結(jié)合起來(lái)，把世界上的物理渲染過(guò)程顛倒過(guò)來(lái)，努力得到逆參數(shù)。

但是，對(duì)于形狀和材料的恢復(fù)是很困難的，以上流程要求渲染引擎R是可微分的，最近的很多研究都在研究這個(gè)問(wèn)題。

想要就能像電影里的場(chǎng)景一樣復(fù)原一個(gè)商品的視覺(jué)效果，我們需要有一個(gè)可微分的渲染管線，即是說(shuō)我們需要能夠微分關(guān)于想要恢復(fù)的屬性的損失。以下是一個(gè)恢復(fù)材料和幾何形狀的例子，我們可以用鏈?zhǔn)椒ㄔ诒砻孢吘壣线M(jìn)行簡(jiǎn)單取樣，從而獲取我們需要的信息。

然后我們就能得出如下圖的一個(gè)復(fù)原物體視覺(jué)效果的流程。首先我們可以用手機(jī)對(duì)想要復(fù)原的物體拍攝一系列圖片，然后對(duì)圖片進(jìn)行初始化，并對(duì)材料和形狀進(jìn)行優(yōu)化，再通過(guò)可微分渲染進(jìn)行再次優(yōu)化，最終該物體就可以呈現(xiàn)逼真的模擬效果，可以運(yùn)用在增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)等應(yīng)用中。

在視覺(jué)模擬當(dāng)中，次表面散射是一個(gè)非常重要的現(xiàn)象，下圖是一張多位藝術(shù)家的作品，叫做Cubes（方塊）。這些其實(shí)是用98種食物做成的邊長(zhǎng)為2.5cm的方塊。98種食物的每一種表面都不盡相同，十分復(fù)雜，這激起了我們的探索興趣。

由于食物的表面非常復(fù)雜，所以在復(fù)原材料的屬性時(shí)必須要考慮到次表面散射，這方面的具體內(nèi)容將會(huì)在我們稍后發(fā)布的論文中呈現(xiàn)，我們已經(jīng)開(kāi)發(fā)了一種全微分渲染管道。我們利用這種管道恢復(fù)的是以次表面散射為核心的材料屬性。最后我們復(fù)原了這兩種水果不同的材料和形狀，成功呈現(xiàn)了奇異果和火龍果方塊的視覺(jué)效果。

圖注：復(fù)原奇異果和火龍果方塊的流程

在以上研究中，我們運(yùn)用了學(xué)習(xí)和物理相結(jié)合的方式，并總結(jié)出了以下3點(diǎn)重要性。

• 理解視覺(jué)現(xiàn)象；
• 在復(fù)原物體的視覺(jué)效果前，先對(duì)其呈現(xiàn)的視覺(jué)效果進(jìn)行預(yù)判；
• 用戶控制。

3 世界尺度的視覺(jué)發(fā)現(xiàn)

還記得電影里主角走在街上，他看著櫥窗里的商品，然后視覺(jué)界面就告訴他他所看到物體的一切信息的場(chǎng)景嗎？

這就是細(xì)粒度對(duì)象識(shí)別（Fine-grained object recognition），是計(jì)算機(jī)視覺(jué)中的一個(gè)很大的研究領(lǐng)域，細(xì)粒度對(duì)象識(shí)別在在產(chǎn)品識(shí)別方面、房地產(chǎn)業(yè)等許多行業(yè)都得到了應(yīng)用。

圖注：細(xì)粒度對(duì)象識(shí)別提供的精準(zhǔn)信息

譬如這張圖上，細(xì)粒度對(duì)象識(shí)別可以說(shuō)出這個(gè)人提著一個(gè)x，這個(gè)x不是指一個(gè)手提包（這個(gè)大部分人都可以說(shuō)得出），這里x指的是一個(gè)特定品牌的手提包，這種精度的知識(shí)是大部分普通人都說(shuō)不出的。

本質(zhì)上說(shuō)，我們可以通過(guò)視覺(jué)識(shí)別提供專(zhuān)家級(jí)別的信息，甚至不止一個(gè)領(lǐng)域的專(zhuān)家級(jí)別信息，我認(rèn)為這方面的研究非常激動(dòng)人心。

這張圖上是一個(gè)篝火爐，也許有些人還不能僅僅通過(guò)視覺(jué)就判定這個(gè)物體的用途，而細(xì)粒度對(duì)象識(shí)別不僅可以告訴我們這是一個(gè)篝火爐，而且還能提供這個(gè)藝術(shù)品的名稱(chēng)、何處可以購(gòu)買(mǎi)以及設(shè)計(jì)藝術(shù)家的信息。

圖注：宜家APP

我們?cè)谝思业脑鰪?qiáng)現(xiàn)實(shí)APP中推出了這個(gè)使用方法。我們將視覺(jué)識(shí)別和虛擬渲染在增強(qiáng)現(xiàn)實(shí)的APP中綜合到了一起，從此我們過(guò)去關(guān)于視覺(jué)界面的設(shè)想開(kāi)始逐步變成了現(xiàn)實(shí)。

圖注：Meta的購(gòu)物AI GrokNet的界面

上圖的研究實(shí)際上是Meta的購(gòu)物AI「GrokNet」的一部分。GrokNet的口號(hào)是讓每一張圖像都可以引領(lǐng)人們購(gòu)物（shoppable），而我和我的研究小組的目標(biāo)則是，讓每一張圖像都能被理解（understandable）。

我以上所說(shuō)的都是一些較為基礎(chǔ)的研究，而我們現(xiàn)在所做的是以前所未有的規(guī)模去收集視覺(jué)信息，包括照片、視頻甚至于衛(wèi)星圖像。這些年我們的衛(wèi)星數(shù)量大幅度增長(zhǎng)，現(xiàn)在大約有1500個(gè)衛(wèi)星，這些衛(wèi)星每天上傳100 tb的數(shù)據(jù)，如果我們能做到理解衛(wèi)星圖像，那么我們就可以理解整個(gè)世界的發(fā)展方向，并且得知世界里在發(fā)生什么事情，這是一個(gè)非常激動(dòng)人心的研究方向。

圖注：我們能夠做到從世界尺度去理解圖片嗎？

如果我們能夠做到從世界層面去理解圖片，屆時(shí)我們就能回答圖片上的這些問(wèn)題：我們應(yīng)該如何生活？我們穿什么？吃什么？我們的行為是如何隨時(shí)間變化的？隨著時(shí)間的推移，地球又是如何變化的?

于是我們開(kāi)始與人類(lèi)學(xué)家和社會(huì)學(xué)家共同研究這個(gè)問(wèn)題，他們對(duì)于這些問(wèn)題非常著迷，只是缺少一個(gè)有力的工具去進(jìn)行研究。與我們合作的其中一位人類(lèi)學(xué)家對(duì)于“世界各地的服裝是如何變化的”這個(gè)問(wèn)題非常感興趣，而我們發(fā)現(xiàn)這個(gè)問(wèn)題其實(shí)與許多方面都有著聯(lián)系。

為什么地球上不同地域的人穿著不一樣？我們認(rèn)為有以下幾個(gè)原因：

• 天氣是一個(gè)很重要的原因，我們?cè)谙奶旌图又莸娜舜┲灰粯?，因?yàn)榇颂幍奶鞖獗燃又菀獩隹欤?/span>
• 參加派對(duì)或者參加體育賽事，各類(lèi)活動(dòng)或場(chǎng)合也需要人們穿著特定的服裝；
• 文化差異會(huì)使得世界各地衣著不同；
• 潮流趨勢(shì)也是一個(gè)影響的因素。

所以我們開(kāi)始研究這個(gè)問(wèn)題，并開(kāi)始分析一組大約800萬(wàn)張來(lái)自世界各地的人們的圖片。我們發(fā)明了一個(gè)簡(jiǎn)單的識(shí)別算法，用來(lái)識(shí)別人們穿了什么衣服，其中包括12個(gè)屬性。

而我們從這個(gè)研究里發(fā)現(xiàn)了什么呢？

從我們的分析中可以看出一定的規(guī)律，比如右上角的人們穿著有一種偏綠的趨勢(shì)，而左下角的人們傾向于穿紅色衣服。

通過(guò)對(duì)大數(shù)據(jù)的分析，我們發(fā)現(xiàn)有一些數(shù)據(jù)符合我們的預(yù)設(shè)，如天氣確實(shí)影響人們的穿著，人們?cè)诙爝x擇穿厚衣服，在夏天穿著涼爽，這符合邏輯；可是在某些方面卻出現(xiàn)了一些奇怪的數(shù)據(jù)現(xiàn)象，如下圖所示，在芝加哥的數(shù)年內(nèi)，有幾個(gè)時(shí)間點(diǎn)是人們選擇穿著綠色的高峰。

這幾個(gè)時(shí)間點(diǎn)都是每年的三月份，經(jīng)過(guò)調(diào)查，原來(lái)這幾個(gè)時(shí)間點(diǎn)是芝加哥的圣帕特里克節(jié)：

這是當(dāng)?shù)匾粋€(gè)很重要的節(jié)日，在這天芝加哥的人們會(huì)選擇穿著綠色。如果不是當(dāng)?shù)厝耍芸赡懿恢烙羞@個(gè)文化活動(dòng)。

圖注：世界各地重視的文化活動(dòng)，人們會(huì)為這些活動(dòng)穿著不同顏色的衣物

通過(guò)識(shí)別大數(shù)據(jù)中人們的衣著變化，我們就能夠了解當(dāng)?shù)氐奈幕?政治活動(dòng)，從而去了解世界各地不同的地域文化。以上，就是我們從世界的角度去理解圖片信息的意義。

原視頻鏈接：https://www.youtube.com/watch?v=kaQSc4iFaxc