本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

拍照已經(jīng)是手機(jī)最大的賣點(diǎn)，各大廠商在DxO上刷分刷得不亦樂乎，一億像素、超級(jí)夜景、光學(xué)變焦……花樣越來越多。

然而不同手機(jī)拍出來的質(zhì)感卻不一樣，一方面是鏡頭模組不同，另一方面是對(duì)圖像處理器（ISP）的軟件調(diào)教也不同。

最近，蘇黎世聯(lián)邦理工學(xué)院（ETHZ）提出一個(gè)新的算法PyNet，只需單個(gè)端到端深度學(xué)習(xí)模型，就能替代手機(jī)的ISP。

它調(diào)教出的相機(jī)算法可以從一個(gè)手機(jī)移植到另一個(gè)手機(jī)上，而不必使用手機(jī)的ISP。即使兩款手機(jī)芯片來自兩家廠商，也完全沒問題。

用華為P20和佳能單反相機(jī)5D Mark IV調(diào)教的算法，移植到黑莓手機(jī)KeyOne上，照片質(zhì)量與原始ISP輸出相比，有了很大的改善。

華為P20使用的是麒麟970芯片+1200萬像素索尼IMX 380攝像頭，黑莓KeyOne使用的是驍龍625+1200萬像素索尼IMX 378攝像頭。

目前，PyNET的源代碼、數(shù)據(jù)集、預(yù)訓(xùn)練模型都已經(jīng)在GitHub上發(fā)布了。

PyNET原理

我們按下快門后，手機(jī)在不到一秒時(shí)間里就輸出了一幅圖片，背后過程卻相當(dāng)復(fù)雜。

手機(jī)拍照時(shí)，首先輸出的是原始不帶任何修飾的感光信息文件RAW。

RAW經(jīng)過手機(jī)SoC中專門用于運(yùn)算圖像的ISP經(jīng)過一系列處理，將原本暗淡的原始圖像變成艷麗的結(jié)果。

這其中的過程包括：去除噪點(diǎn)、修正白平衡、調(diào)整曝光量、校正色彩對(duì)比度、超分辨率等等。

現(xiàn)在，越來越多的手機(jī)開始用上NPU等AI核心，AI運(yùn)算能力越來越強(qiáng)，未來是否可以用NPU來代替ISP做圖像運(yùn)算呢？這就是ETHZ研究人員的思路。

研究人員首先采集2萬張華為P20拍攝的RAW原始圖片，和同樣場(chǎng)景下Canon單反5D Mark IV拍攝的照片，以此作為數(shù)據(jù)集進(jìn)行訓(xùn)練。

但是訓(xùn)練過程中并沒有使用原尺寸的圖片，而是448×448的窗口從圖片上選取一部分，最后 產(chǎn)生了48043個(gè)RAW-RGB圖像對(duì)。

為了能夠把較小尺度上訓(xùn)練的結(jié)果用于原尺寸圖片上，PyNET采用了分級(jí)的架構(gòu)。

以下就是PyNET的網(wǎng)絡(luò)架構(gòu)，該模型具有倒金字塔形狀，能以五個(gè)不同的級(jí)別處理圖像。

PyNET架構(gòu)具有多個(gè)塊，這些塊與不同大小的卷積濾波器（從3×3到9×9）并行處理特征圖，然后將相應(yīng)的卷積層的輸出進(jìn)行級(jí)聯(lián)。

在較低尺度下獲得的輸出將通過轉(zhuǎn)置的卷積層進(jìn)行上采樣，與高級(jí)的特征圖堆疊在一起，然后在隨后的卷積層中進(jìn)行處理。

PyNET從最低層開始，對(duì)模型進(jìn)行順序訓(xùn)練。先在較低尺度上獲得良好的圖像重建結(jié)果，用于處理分辨率非常低的圖像并執(zhí)行全局圖像操作。

對(duì)底層進(jìn)行預(yù)訓(xùn)練之后，再將相同的步驟應(yīng)用于下一個(gè)級(jí)別，直到對(duì)原始分辨率圖像進(jìn)行訓(xùn)練為止。

由于每個(gè)較高級(jí)別都從模型的下部獲得了高級(jí)的高質(zhì)量特征，因此它主要學(xué)習(xí)重建缺失的低級(jí)細(xì)節(jié)并完善結(jié)果。

經(jīng)過訓(xùn)練后，將華為P20拍攝的RAW原始圖像交給PyNET處理，圖片不輸華為自帶ISP的處理效果。

在Amazon Mechanical Turk平臺(tái)上的人工打分顯示，用PyNet處理的圖片觀感優(yōu)于P20直出效果。

安裝和訓(xùn)練

PyNET用TensorFlow實(shí)現(xiàn)，需要安裝SciPy、NumPy、imageio和pillow，英偉達(dá)GPU也是必不可少的，因?yàn)橛?xùn)練過程中需要用到CUDA和cuDNN。

此外還需要下載預(yù)訓(xùn)練的VGG-19、PyNet模型，以及RAW-RGB圖像對(duì)數(shù)據(jù)集。

作者推薦模型在具有16GB顯存的Tesla V100 GPU上進(jìn)行訓(xùn)練。

如果你沒有強(qiáng)大的計(jì)算資源，也可以利用開源代碼中的dng_to_png.py將RAW轉(zhuǎn)換為PNG格式圖片，不過你用的就是官方P20和佳能單反的調(diào)教結(jié)果了。

論文地址：https://arxiv.org/abs/2002.05509

源代碼：https://github.com/aiff22/PyNET