本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯(lián)系出處。

還在為圖像加載犯愁嗎？

最新的好消息是，谷歌團隊采用了一種GANs與基于神經(jīng)網(wǎng)絡的壓縮算法相結合的圖像壓縮方式HiFiC，在碼率高度壓縮的情況下，仍能對圖像高保真還原。

GAN（Generative Adversarial Networks，生成式對抗網(wǎng)絡）顧名思義，系統(tǒng)讓兩個神經(jīng)網(wǎng)絡相互「磨煉」，一個神經(jīng)網(wǎng)絡負責生成接近真實的數(shù)據(jù)，另一個神經(jīng)網(wǎng)絡負責區(qū)分真實數(shù)據(jù)與生成的數(shù)據(jù)。

簡單來說，就是一個神經(jīng)網(wǎng)絡「造假」，另一個神經(jīng)網(wǎng)絡「打假」，而當系統(tǒng)達到平衡時，生成的數(shù)據(jù)看起來便會非常接近真實數(shù)據(jù)，達到「以假亂真」的效果。

下面是這種算法展現(xiàn)出來的圖像與JPG格式圖像的對比。

可見，在圖像大小接近的情況下（HiFiC大小74kB，JPG圖像大小78kB），算法所展現(xiàn)出來的圖像壓縮效果要好得多。

而在與原圖進行對比時，HiFiC所展現(xiàn)出來的還原效果仍然非常優(yōu)秀。（真的不是在原圖中間畫了條線嗎？）

目前處于特殊時期，大量國外網(wǎng)友仍在家中隔離，Netflix和油管的播放量暴增，一些視頻網(wǎng)站甚至不得不被迫降低視頻在線播放的清晰度，以適應激增的數(shù)據(jù)量。

但看慣了高清視頻的網(wǎng)友們，面對突如其來的「模糊打擊」自然怨聲載道。

用一位網(wǎng)友的話來說，如果視頻行業(yè)也能被應用類似的技術，相信Netflix和油管會特別高興，畢竟這種高清低碼率的圖像復原實在太誘惑。

哇，如果他們可以對視頻做同樣的事情的話，我相信Netflix和YouTube會很高興的。

事實上，在了解HiFiC算法的原理后，會發(fā)現(xiàn)它的確不難實現(xiàn)。

接近原圖的圖像重構算法

此前，相關研究已有采用神經(jīng)網(wǎng)絡進行圖像壓縮的算法，而隨著近年來生成式對抗網(wǎng)絡興起，采用GANs生成以假亂真圖像的算法也不在少數(shù)。

如果能有辦法將二者結合，圖像壓縮的效果是不是會更好、更接近于人類的感知？

這次圖像壓縮的模型便是基于二者的特性設計，在基于神經(jīng)網(wǎng)絡的壓縮圖像算法基礎上，采用GANs進一步讓生成的圖片更接近于人類視覺，在圖像大小和視覺感知間達到一個平衡。

可以看見，HiFiC的架構被分成了4個主要部分，其中E為編碼器，G為生成器，D為判別器，而P則是E的輸出E(x)的概率模型（這里用y表示），也就是P用于模擬y的概率分布。

GANs運作的核心思想在于，需要讓架構中的生成器G通過某種方法，「欺騙」判別器D判定樣本為真。

而概率模型P，則是達成這步操作的條件。

然后，將E、G、P參數(shù)化為卷積神經(jīng)網(wǎng)絡，這樣就可以通過率失真優(yōu)化的條件，對這些網(wǎng)絡進行共同訓練。

同時，研究者也對已有的幾種GANs算法架構進行了微調，使其更適于HiFiC架構。

研究發(fā)現(xiàn)，將GANs與深度學習相結合的HiFiC算法取得了意想不到的效果。

模型評估

下圖是采用目前幾種主流圖像質量評估標準，對幾種前沿的圖像壓縮算法與HiFiC算法進行比較的結果。

在圖中，評估標準后面自帶的箭頭，表示數(shù)據(jù)更低（↓）或數(shù)據(jù)更高（↑）表示圖像質量更好。

為了更好地對比，結果分別采用了HiFiC算法（圖中紅點連線）、不帶GANs的對比算法（圖中橙方連線）、目前較為前沿的M&S算法（圖中藍方連線）和BPG算法（圖中藍點連線）。

從結果來看，HiFiC算法在FID、KID、NIQE、LPIPS幾種評估標準均為最優(yōu)，而在MS-SSIM和PSNR標準中表現(xiàn)一般。

由評估標準間的差異可見，各項圖像質量標準不一定是判斷壓縮技術的最好辦法。

用戶評測對比

畢竟，圖像是用來看的，最終的判斷權還得交回用戶手里。

圖像究竟是否「清晰」，某種程度上得通過人眼的判斷來決定。

出于這個考慮，團隊采取了調研模式，讓一部分志愿者參與算法的比較。

他們先展示一張測試圖片的隨機裁切圖樣，當志愿者對其中某張裁切圖樣感興趣時，便用這一部分來進行所有算法的對比。

志愿者將原圖與經(jīng)過算法處理后的圖像對比后，選出他們認為「視覺上」更接近于原圖的壓縮算法。

在所有算法經(jīng)過選取后，將會出現(xiàn)一個排名，以衡量HiFiC的實際效果。（其中，HiFiC的角標Hi、Mi和Lo分別為設置由高至低3種不同碼率閾值時的算法）

上圖中，評分越低，則代表圖像在用戶眼中「越清晰」。從圖中來看，HiFiC(Mi)在0.237bpp的壓縮效果下，甚至比兩倍碼率的0.504bpp的BPG算法在用戶眼里還要更好。

即使壓縮效果達到了0.120bpp，也比0.390bpp的BPG算法更好。

這項研究再次推動了圖像壓縮技術的發(fā)展，正如網(wǎng)友所說，隨著圖像壓縮技術的發(fā)展，在線看4k電影也許真能實現(xiàn)。

作者介紹

Fabian Mentzer，目前在瑞士蘇黎世理工學院進行計算機視覺研究，感興趣的研究方向有深度學習、圖像壓縮、前饋神經(jīng)網(wǎng)絡、圖像分類等。

這篇論文的主要工作由Fabian Mentzer在谷歌研習期間完成，其余三位作者均來自谷歌團隊。

目前有關這個項目的源代碼和訓練好的模型也即將放出，小伙伴們可以戳下方傳送門查看最新進展。

傳送門

項目鏈接
https://hific.github.io/