SR取得了顯著進(jìn)步。一般可以將現(xiàn)有的SR技術(shù)研究大致分為三大類：監(jiān)督SR，無(wú)監(jiān)督SR和特定領(lǐng)域SR（人臉）。

先說(shuō)監(jiān)督SR。

如今已經(jīng)有各種深度學(xué)習(xí)的超分辨率模型。這些模型依賴于有監(jiān)督的超分辨率，即用LR圖像和相應(yīng)的基礎(chǔ)事實(shí)（GT）HR圖像訓(xùn)練。雖然這些模型之間的差異非常大，但它們本質(zhì)上是一組組件的組合，例如模型框架，上采樣方法，網(wǎng)絡(luò)設(shè)計(jì)和學(xué)習(xí)策略等。從這個(gè)角度來(lái)看，研究人員將這些組件組合起來(lái)構(gòu)建一個(gè)用于擬合特定任務(wù)的集成SR模型。

由于圖像超分辨率是一個(gè)病態(tài)問(wèn)題，如何進(jìn)行上采樣（即從低分辨率產(chǎn)生高分辨率）是關(guān)鍵問(wèn)題?；诓捎玫纳喜蓸硬僮骷捌湓谀Ｐ椭械奈恢茫琒R模型可歸因于四種模型框架：預(yù)先采樣SR，后上采樣SR，漸進(jìn)上采樣SR和迭代上下采樣SR，如圖所示。

除了在模型中的位置之外，上采樣操作如何實(shí)現(xiàn)它們也非常重要。為了克服插值法的缺點(diǎn)，并以端到端的方式學(xué)習(xí)上采樣操作，轉(zhuǎn)置卷積層（Transposed Convolution Layer）和亞像素層（Sub-pixel Layer）可以引入到超分辨率中。

轉(zhuǎn)置卷積層，即反卷積層，基于尺寸類似于卷積層輸出的特征圖來(lái)預(yù)測(cè)可能的輸入。具體地說(shuō)，它通過(guò)插入零值并執(zhí)行卷積來(lái)擴(kuò)展圖像，從而提高了圖像分辨率。為了簡(jiǎn)潔起見(jiàn)，以3×3內(nèi)核執(zhí)行2次上采樣為例，如圖所示。首先，輸入擴(kuò)展到原始大小的兩倍，其中新添加的像素值被設(shè)置為0（b）。然后應(yīng)用大小為3×3、步長(zhǎng)1和填充1的內(nèi)核卷積（c）。這樣輸入特征圖實(shí)現(xiàn)因子為2的上采樣，而感受野最多為2×2。

由于轉(zhuǎn)置卷積層可以以端到端的方式放大圖像大小，同時(shí)保持與vanilla卷積兼容的連接模式，因此它被廣泛用作SR模型的上采樣層。然而，它很容易在每個(gè)軸上產(chǎn)生“不均勻重疊（uneven overlapping）”，并且在兩個(gè)軸的乘法進(jìn)一步產(chǎn)生了特有的不同幅度棋盤狀圖案，從而損害了SR性能。

亞像素層也是端到端學(xué)習(xí)的上采樣層，通過(guò)卷積生成多個(gè)通道然后重新整形，如圖所示。首先卷積產(chǎn)生具有s2倍通道的輸出，其中s是上采樣因子（b）。假設(shè)輸入大小為h×w×c，則輸出大小為h×w×s2c。之后，執(zhí)行整形（shuffle）操作產(chǎn)生大小為sh×sw×c的輸出（c）。感受野大小可以達(dá)到3×3。

由于端到端的上采樣方式，亞像素層也被SR模型廣泛使用。與轉(zhuǎn)置卷積層相比，亞像素層的最大優(yōu)勢(shì)是具有較大的感知場(chǎng)，提供更多的上下文信息，能幫助生成更準(zhǔn)確的細(xì)節(jié)。然而，亞像素層的感受野的分布是不均勻的，塊狀區(qū)域?qū)嶋H上共享相同的感受野，這可能導(dǎo)致在塊邊界附近的一些畸變。

各種深度學(xué)習(xí)的模型已經(jīng)被用于SR，如圖所示。

ResNet學(xué)習(xí)殘差而不是徹底的映射，已被SR模型廣泛采用，如上圖（a）所示。其中，殘差學(xué)習(xí)策略可以大致分為兩種類型，即全局和局部殘差學(xué)習(xí)。

由于超分辨率是圖像到圖像的轉(zhuǎn)換任務(wù)，其中輸入圖像與目標(biāo)圖像高度相關(guān)，全局殘差學(xué)習(xí)僅學(xué)習(xí)兩個(gè)圖像之間的殘差。在這種情況下，它避免學(xué)習(xí)從完整圖像到另一個(gè)圖像的復(fù)雜轉(zhuǎn)換，而只需要學(xué)習(xí)殘差圖來(lái)恢復(fù)丟失的高頻細(xì)節(jié)。由于大多數(shù)區(qū)域殘差接近于零，模型的復(fù)雜性和學(xué)習(xí)難度都大大降低。這種方法在預(yù)上采樣的SR框架普遍采用。

局部殘差學(xué)習(xí)類似于ResNet的殘差學(xué)習(xí)，用于緩解不斷增加的網(wǎng)絡(luò)深度引起的退化問(wèn)題并提高學(xué)習(xí)能力。

實(shí)踐中，上述方法都是通過(guò)快捷連接（通常有小常數(shù)因子的縮放）和逐元素加法操作實(shí)現(xiàn)的。區(qū)別在于，前者直接連接輸入圖像和輸出圖像，而后者通常在不同深度的網(wǎng)絡(luò)中層之間添加多個(gè)快捷方式。

• 遞歸學(xué)習(xí)

遞歸學(xué)習(xí)（以遞歸方式多次應(yīng)用相同模塊）也被超分辨率采用，如上圖 （b）所示。在實(shí)踐中，遞歸學(xué)習(xí)固有地帶來(lái)了消失（vanishing）或爆漲（exploding）梯度問(wèn)題，因此殘差學(xué)習(xí)和多信號(hào)監(jiān)督等一些技術(shù)通常與遞歸學(xué)習(xí)相結(jié)合，以減輕這些問(wèn)題。

• 通道關(guān)注

考慮到不同通道之間特征表征的相互依賴和作用，一種“擠壓-激發(fā)（SAE，squeeze-and-excitation）”模塊明確對(duì)通道相互依賴性建模，來(lái)提高表示能力，如上圖（c）所示。其中用全局平均池化將每個(gè)輸入通道壓縮到通道描述子（即一個(gè)常數(shù)）中，然后將這些描述子饋送到兩個(gè)全連接層產(chǎn)生通道尺度因子。基于通道乘法，用尺度因子重新縮放輸入通道得到最終輸出。

• 致密連接

致密連接在視覺(jué)任務(wù)中變得越來(lái)越流行。在致密塊的每個(gè)層，所有前層的特征圖用作輸入，并且其自身特征圖用作所有后續(xù)層的輸入，在一個(gè)有l(wèi)層致密塊中帶來(lái)l·（l - 1）/ 2個(gè)連接。致密連接，不僅有助于緩解梯度消失問(wèn)題、增強(qiáng)信號(hào)的傳播并促進(jìn)特征重用，而且在連接之后采用小增長(zhǎng)率（即致密塊的通道數(shù)）和通道縮減來(lái)大大減少參數(shù)量。

為了融合低級(jí)和高級(jí)特征以提供更豐富的信息來(lái)重建高質(zhì)量的細(xì)節(jié)，致密連接被引入SR領(lǐng)域，如上圖（d）所示。

• 多路徑學(xué)習(xí)

多路徑學(xué)習(xí)指模型存在多個(gè)路徑傳遞特征，這些路徑執(zhí)行不同的操作以提供更好的建模功能。具體而言，它可以分為三種類型：全局法、局部法和特定尺度法。

全局多路徑學(xué)習(xí)是指用多個(gè)路徑提取圖像不同方面的特征。這些路徑可以在傳播中相互交叉，從而大大增強(qiáng)了特征提取的能力。

本地多路徑學(xué)習(xí)用新塊進(jìn)行多尺度特征提取，如上圖（e）所示。該塊采用不同內(nèi)核大小的卷積同時(shí)提取特征，然后將輸出連接起來(lái)并再次進(jìn)行相同的操作。快捷方式通過(guò)逐元素添加來(lái)連接該塊的輸出和輸入。通過(guò)這種局部多路徑學(xué)習(xí)，SR模型可以更好地從多個(gè)尺度提取圖像特征，進(jìn)一步提高性能。

特定尺度多路徑學(xué)習(xí)共享模型的主要部分（即特征提取的中間部分），并分別在網(wǎng)絡(luò)的開(kāi)頭和結(jié)尾附加特定尺度的預(yù)處理路徑和上采樣路徑，如上圖（f）所示。在訓(xùn)練期間，僅啟用和更新與所選尺度對(duì)應(yīng)的路徑。這樣大多數(shù)參數(shù)在不同尺度上共享。

• 高級(jí)卷積

卷積運(yùn)算是深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，改進(jìn)卷積運(yùn)算可獲得更好的性能或更快的速度。這里給出兩個(gè)方法：擴(kuò)張卷積（Dilated Convolution）和群卷積（Group Convolution）。眾所周知，上下文信息有助于在圖像超分辨率生成逼真的細(xì)節(jié)。擴(kuò)張卷積能將感受野增加兩倍，最終實(shí)現(xiàn)更好的性能。群卷積以很少的性能損失可減少大量的參數(shù)和操作，如上圖（g）所示。

• 像素遞歸學(xué)習(xí)

大多數(shù)SR模型認(rèn)為這是一個(gè)與像素?zé)o關(guān)的任務(wù)，因此無(wú)法正確地確定生成像素之間的相互依賴性。在人注意力轉(zhuǎn)移機(jī)制推動(dòng)下，一種遞推網(wǎng)絡(luò)可依次發(fā)現(xiàn)參與的補(bǔ)丁并進(jìn)行局部增強(qiáng)。以這種方式，模型能夠根據(jù)每個(gè)圖像自身特性自適應(yīng)地個(gè)性化最佳搜索路徑，從而充分利用圖像全局的內(nèi)依賴性（intra-dependence）。不過(guò)，需要長(zhǎng)傳播路徑的遞歸過(guò)程，特別對(duì)超分辨率的HR圖像，大大增加了計(jì)算成本和訓(xùn)練難度。

• 金字塔池化

金字塔池化模塊更好地利用全局和局部的上下文信息，如上圖（h）所示。具體地，對(duì)于尺寸為h×w×c的特征圖，每個(gè)特征圖被劃分為M×M個(gè)區(qū)間，并經(jīng)歷全局平均池化產(chǎn)生M×M×c個(gè)輸出。然后，執(zhí)行1×1卷積輸出壓縮到一個(gè)單信道。之后，通過(guò)雙線性插值將低維特征圖上采樣到與原始特征圖相同的大小。使用不同的M，該模塊可以有效地整合全局和局部的上下文信息。

• 小波變換

眾所周知，小波變換（WT）是一種高效的圖像表示，將圖像信號(hào)分解為表示紋理細(xì)節(jié)的高頻小波和包含全局拓?fù)湫畔⒌牡皖l小波。將WT與基于深度學(xué)習(xí)的SR模型相結(jié)合，這樣插值LR小波的子帶作為輸入，并預(yù)測(cè)相應(yīng)HR子帶的殘差。WT和逆WT分別用于分解LR輸入和重建HR輸出。

另外學(xué)習(xí)策略問(wèn)題，涉及損失函數(shù)的設(shè)計(jì)（包括像素?fù)p失，內(nèi)容損失，紋理?yè)p失，對(duì)抗損失和周期連續(xù)損失）、批處理歸一化（BN）、課程學(xué)習(xí)（Curriculum Learning）和多信號(hào)監(jiān)督（Multi-supervision）等等。

再說(shuō)無(wú)監(jiān)督SR。

現(xiàn)有的超分辨率工作主要集中在監(jiān)督學(xué)習(xí)上，然而難以收集不同分辨率的相同場(chǎng)景的圖像，因此通常通過(guò)對(duì)HR圖像預(yù)定義退化來(lái)獲得SR數(shù)據(jù)集中的LR圖像。為了防止預(yù)定義退化帶來(lái)的不利影響，無(wú)監(jiān)督的超分辨率成為選擇。在這種情況下，只提供非配對(duì)圖像（HR或LR）用于訓(xùn)練，實(shí)際上得到的模型更可能應(yīng)對(duì)實(shí)際場(chǎng)景中的SR問(wèn)題。

• 零擊（zero shot）超分辨率

單個(gè)圖像內(nèi)部的統(tǒng)計(jì)數(shù)據(jù)足以提供超分辨率所需的信息，所以零擊超分辨率（ZSSR）在測(cè)試時(shí)訓(xùn)練小圖像特定的SR網(wǎng)絡(luò)進(jìn)行無(wú)監(jiān)督SR，而不是在大數(shù)據(jù)集上訓(xùn)練通用模型。具體來(lái)說(shuō)，核估計(jì)方法直接從單個(gè)測(cè)試圖像估計(jì)退化內(nèi)核，并在測(cè)試圖像上執(zhí)行不同尺度因子的退化來(lái)構(gòu)建小數(shù)據(jù)集。然后在該數(shù)據(jù)集上訓(xùn)練超分辨率的小CNN模型用于最終預(yù)測(cè)。

ZSSR利用圖像內(nèi)部特定信息的跨尺度復(fù)現(xiàn)這一特點(diǎn)，對(duì)非理想條件下（非bi-cubic退化核獲得的圖像，受模糊、噪聲和壓縮畸變等影響）更接近現(xiàn)實(shí)世界場(chǎng)景的圖像，比以前的方法性能提高一大截，同時(shí)在理想條件下（bi-cubic插值構(gòu)建的圖像），和以前方法結(jié)果差不多。盡管這樣，由于需要在測(cè)試期間為每個(gè)圖像訓(xùn)練單個(gè)網(wǎng)絡(luò)，使得其測(cè)試時(shí)間遠(yuǎn)比其他SR模型長(zhǎng)。

• 弱監(jiān)督SR

為了在超分辨率中不引入預(yù)退化，弱監(jiān)督學(xué)習(xí)的SR模型，即使用不成對(duì)的LR-HR圖像，是一種方案。一些方法學(xué)習(xí)HR-LR退化模型并用于構(gòu)建訓(xùn)練SR模型的數(shù)據(jù)集，而另外一些方法設(shè)計(jì)周期循環(huán)（cycle-in-cycle）網(wǎng)絡(luò)同時(shí)學(xué)習(xí)LR-HR和HR-LR映射。

由于預(yù)退化是次優(yōu)的，從未配對(duì)的LR-HR數(shù)據(jù)集中學(xué)習(xí)退化是可行的。一種方法稱為“兩步法”：

1）訓(xùn)練HR-LR 的GAN模型，用不成對(duì)的LR-HR圖像學(xué)習(xí)退化；

2）基于第一個(gè)GAN模型，使用成對(duì)的LR-HR圖像訓(xùn)練LR- HR 的GAN模型執(zhí)行SR。

對(duì)于HR到LR 的GAN模型，HR圖像被饋送到生成器產(chǎn)生LR輸出，不僅需要匹配HR圖像縮?。ㄆ骄鼗┇@得的LR圖像，而且還要匹配真實(shí)LR圖像的分布。訓(xùn)練之后，生成器作為退化模型生成LR-HR圖像對(duì)。

對(duì)于LR到HR 的GAN模型，生成器（即SR模型）將生成的LR圖像作為輸入并預(yù)測(cè)HR輸出，不僅需要匹配相應(yīng)的HR圖像而且還匹配HR圖像的分布 。

在“兩步法”中，無(wú)監(jiān)督模型有效地提高了超分辨率真實(shí)世界LR圖像的質(zhì)量，比以前方法性能獲得了很大改進(jìn)。

無(wú)監(jiān)督SR的另一種方法是將LR空間和HR空間視為兩個(gè)域，并使用周期循環(huán)結(jié)構(gòu)學(xué)習(xí)彼此之間的映射。這種情況下，訓(xùn)練目的包括推送映射結(jié)果去匹配目標(biāo)的域分布，并通過(guò)來(lái)回（round trip）映射使圖像恢復(fù)。

• 深度圖像先驗(yàn)知識(shí)

CNN結(jié)構(gòu)在逆問(wèn)題之前捕獲大量的低級(jí)圖像統(tǒng)計(jì)量，所以在執(zhí)行SR之前可使用隨機(jī)初始化的CNN作為手工先驗(yàn)知識(shí)。具體地講，定義生成器網(wǎng)絡(luò)，將隨機(jī)向量z作為輸入并嘗試生成目標(biāo)HR圖像I。訓(xùn)練目標(biāo)是網(wǎng)絡(luò)找到一個(gè)Iˆ y，其下采樣Iˆy與LR圖像Ix相同。因?yàn)榫W(wǎng)絡(luò)隨機(jī)初始化，從未在數(shù)據(jù)集上進(jìn)行過(guò)訓(xùn)練，所以唯一的先驗(yàn)知識(shí)是CNN結(jié)構(gòu)本身。雖然這種方法的性能仍然比監(jiān)督方法差很多，但遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)的bicubic上采樣。此外，表現(xiàn)出的CNN架構(gòu)本身合理性，促使將深度學(xué)習(xí)方法與CNN結(jié)構(gòu)或自相似性等先驗(yàn)知識(shí)相結(jié)合來(lái)提高超分辨率。

特定SR。

特定SR領(lǐng)域主要包括深度圖、人臉圖像、高光譜圖像和視頻等內(nèi)容的SR應(yīng)用。

面部圖像超分辨率，即面部幻覺(jué)（FH， face hallucination），通?？梢詭椭渌c面部相關(guān)的任務(wù)。與通用圖像相比，面部圖像具有更多與面部相關(guān)的結(jié)構(gòu)化信息，因此將面部先驗(yàn)知識(shí)（例如，關(guān)鍵點(diǎn)，結(jié)構(gòu)解析圖和身份）結(jié)合到FH中是非常流行且有希望的方法。利用面部先驗(yàn)知識(shí)的最直接的方式是約束所生成的HR圖像具有與基礎(chǔ)事實(shí)（GT）的HR圖像相同的面部相關(guān)信息。

與全色圖像（PAN，panchromatic images），即具有3個(gè)波段的RGB圖像相比，有數(shù)百個(gè)波段的高光譜圖像（HSI，hyperspectral images）提供了豐富的光譜特征并有助于各種視覺(jué)任務(wù)。然而，由于硬件限制，收集高質(zhì)量的HSI比收集PAN更困難，收集的HSI分辨率要低得多。因此，超分辨率被引入該領(lǐng)域，研究人員傾向于將HR PAN和LR HSI結(jié)合起來(lái)預(yù)測(cè)HR HSI。

就視頻超分辨率而言，多個(gè)幀提供更多的場(chǎng)景信息，不僅有幀內(nèi)空間依賴性而且有幀間時(shí)間依賴性（例如，運(yùn)動(dòng)、亮度和顏色變化）。大多數(shù)方法主要集中在更好地利用時(shí)空依賴性，包括顯式運(yùn)動(dòng)補(bǔ)償（例如，光流算法、基于學(xué)習(xí)的方法）和遞歸方法等。