本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

想研究可微分渲染，卻擔(dān)心找不到合適的框架？

[[356673]]

現(xiàn)在，世界上首個(gè)官方支持可微分渲染的深度學(xué)習(xí)框架來了：

清華自研的「計(jì)圖」 （Jittor）深度學(xué)習(xí)框架，在更新的版本中加入了可微分渲染庫(kù)。

可微分渲染是計(jì)算機(jī)圖形學(xué)的熱門領(lǐng)域，CVPR 2020的最佳論文獎(jiǎng)，就頒給了可微分渲染的相關(guān)工作（Jittor已優(yōu)化開源相關(guān)代碼）。

當(dāng)然，作為一個(gè)主打計(jì)算機(jī)圖形學(xué)的深度學(xué)習(xí)框架，Jittor的這次更新也“緊隨潮流”，加入了最新的Vision Transformer等模塊，性能優(yōu)化上較之PyTorch等框架優(yōu)秀不少。

一起來看看。

可微分渲染，圖像重建利器

渲染究竟是什么？

簡(jiǎn)單來說，「渲染」通常是指將3D場(chǎng)景，轉(zhuǎn)變?yōu)?D圖像的過程。

對(duì)于人眼來說，這種事情非常容易，因?yàn)楝F(xiàn)實(shí)世界中存在大量自然光線，人眼通過光線反射，能看清物體各個(gè)方位的深度、形狀。

但計(jì)算機(jī)眼里的3D場(chǎng)景，并沒有現(xiàn)實(shí)世界中各種各樣的光線，這種情況下生成的2D圖像不僅沒有參數(shù)，形狀也容易出錯(cuò)。那么，直接在計(jì)算機(jī)中模擬四面八方來的所有光線？

計(jì)算量太大。

所以，為了讓計(jì)算機(jī)生成圖像效果更好，即更快、更逼真地生成接近于人眼看到的2D圖像，「渲染」目前是圖形學(xué)重要的研究領(lǐng)域，通常被用于如制作動(dòng)畫電影等方向：

那么，可微分渲染呢？

這有點(diǎn)像是「渲染」的“反向操作”，從2D圖像中，生成所需的3D場(chǎng)景信息，包括3D幾何、燈光、材質(zhì)、視角等等。

在用深度學(xué)習(xí)生成3D場(chǎng)景的過程中，同樣需要進(jìn)行梯度下降優(yōu)化算法，這其中，就會(huì)用到可微分渲染。

目前在圖像領(lǐng)域中，可微分渲染仍然是非常新穎的一個(gè)方向，但相比之下，此前還沒有深度學(xué)習(xí)框架設(shè)立一個(gè)相關(guān)的庫(kù)，便于進(jìn)行可微分渲染的相關(guān)工作。

清華「計(jì)圖」，自發(fā)布實(shí)例分割模型庫(kù)和3D點(diǎn)云模型庫(kù)后，目前正式發(fā)布可微分渲染庫(kù)，支持obj的加載和保存、三角網(wǎng)格模型渲染。

除此之外，這一可微分渲染庫(kù)內(nèi)置2種主流可微渲染器，支持多種材質(zhì)渲染，相比于PyTorch，速度提升了1.49~13.04倍。

當(dāng)然，這次「計(jì)圖」的更新，帶來的驚喜不止這些。

視覺玩家福音：訓(xùn)練速度較PyTorch更快

繼在NLP領(lǐng)域取得最優(yōu)性能后，Transformer又進(jìn)入了圖像領(lǐng)域，目前Vision Transformer也已經(jīng)在視覺分類上取得了最佳效果。

有關(guān)Vision Transformer，目前「計(jì)圖」已經(jīng)實(shí)現(xiàn)了復(fù)現(xiàn)，訓(xùn)練速度相比于PyTorch還要快上20%。

同時(shí)，這次更新還帶上了YOLOv3的加速和復(fù)現(xiàn)，訓(xùn)練速度相較于PyTorch提升11%。

原來在Jittor上可以運(yùn)行的MobileNet，這次的訓(xùn)練和推理速度也得到了全面提升，在不同的圖像及batchsize大小上，速度提升從10%~50%不等。

簡(jiǎn)直是視覺分類玩家的福音。

搞圖形學(xué)，選哪個(gè)深度學(xué)習(xí)框架？

就傳統(tǒng)的幾大主流框架而言，相比于Caffe的速度，Tensorflow和PyTorch更側(cè)重于“容易上手”。

這里面相較于Tensorflow，PyTorch搭建在更高層，雖然上手更友好，但訓(xùn)練速度也會(huì)因此更慢。

此外，這些深度學(xué)習(xí)框架并非像「計(jì)圖」一樣，完全針對(duì)于圖形學(xué)領(lǐng)域，因此無論是渲染、還是圖形處理等方向，并不能做到每個(gè)新領(lǐng)域都及時(shí)地跟進(jìn)。

Caffe作者賈揚(yáng)清也曾在知乎表示，「計(jì)圖」更關(guān)注計(jì)算圖優(yōu)化及JIT（實(shí)時(shí)）編譯。

也就是說，在訓(xùn)練速度、上手友好度方向，「計(jì)圖」都是要優(yōu)于PyTorch的，而接口仿PyTorch，也是為了讓大家能更快適應(yīng)新的框架。

那么，這次的可微渲染庫(kù)，與胡淵鳴的Taichi渲染工具相比怎么樣呢？

據(jù)開發(fā)者之一梁盾介紹，二者整體來說屬于不同的領(lǐng)域。

Taichi做的是類似下圖的可微物理模擬，而Jittor這次加入的則是可微渲染庫(kù)。

但就渲染領(lǐng)域來看，Taichi并沒有可微分渲染部分，主要也是通過物理模擬光線的折射，來完成簡(jiǎn)單的渲染工作。

也就是說，渲染是完成三維模型和圖像之間的變換，而物理模擬，則是完成三維模型和作用力之間的變化。

如果想要系統(tǒng)地上手CV，「計(jì)圖」會(huì)是一個(gè)不錯(cuò)的深度學(xué)習(xí)框架。

作者介紹

「計(jì)圖」的開發(fā)團(tuán)隊(duì)，均來自清華大學(xué)計(jì)算機(jī)系圖形學(xué)實(shí)驗(yàn)室，負(fù)責(zé)人是清華大學(xué)計(jì)算機(jī)系的胡事民教授。

而主要負(fù)責(zé)開發(fā)的，則是來自實(shí)驗(yàn)室的博士生們：梁盾、楊國(guó)燁、楊國(guó)煒、周文洋……

梁盾認(rèn)為，這次「計(jì)圖」的升級(jí)，兼具創(chuàng)新、前瞻性，而且可微分渲染也是逐漸火熱的研究領(lǐng)域。

而針對(duì)Vision transformer的訓(xùn)練，速度也比許多國(guó)際主流平臺(tái)要快。

心動(dòng)的同學(xué)，可以更新/安裝起「計(jì)圖」來了~

Jittor項(xiàng)目地址：

https://github.com/Jittor/jittor