[[202259]]

近日，一篇題為《Training Neural Networks with Very Little Data-A Draft》IEEE 論文提出了一種使用少量數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的新方法，即通過極坐標(biāo)空間中的徑向變換(radial transform) 實(shí)現(xiàn)圖像增強(qiáng)。它并未改變數(shù)據(jù)的信息內(nèi)容，而是改進(jìn)了數(shù)據(jù)的多樣性，并最終提升了神經(jīng)網(wǎng)絡(luò)的泛化表現(xiàn)。

論文地址：https://arxiv.org/pdf/1708.04347.pdf

摘要：深度神經(jīng)網(wǎng)絡(luò)是由許多節(jié)點(diǎn)層組成的復(fù)雜架構(gòu)，結(jié)果導(dǎo)致大量需要在訓(xùn)練中評(píng)估的參數(shù)，包括權(quán)重、偏差等。相比于簡(jiǎn)單的架構(gòu)，更大、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)需要更多的訓(xùn)練數(shù)據(jù)滿足適當(dāng)?shù)氖諗俊Ｈ欢?，可用于?xùn)練網(wǎng)絡(luò)的數(shù)據(jù)要么有限、要么不均衡。我們提出在極坐標(biāo)空間中的徑向變換(radial transform) 進(jìn)行圖像增強(qiáng)，從而幫助數(shù)據(jù)較少的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。每像素的坐標(biāo)變換提供了原始圖像與增強(qiáng)后的數(shù)據(jù)在極坐標(biāo)系統(tǒng)中的表征，且又能增加表征較弱的圖像類別的多樣性。使用我們提出的方法，在 MNIST 上，以及使用 AlxNet、GoogLeNet 神經(jīng)網(wǎng)絡(luò)模型的一系列多模型醫(yī)療圖像上的試驗(yàn)表現(xiàn)出了極高的分類準(zhǔn)確率。

圖 1：徑向變換采樣。a)使用徑向變換從笛卡爾坐標(biāo)系統(tǒng)(左)中把樣本映射到極坐標(biāo)系統(tǒng)(右)。b)極坐標(biāo)系統(tǒng)中的徑向變換。c)使用徑向變換篩選 256 × 256 圖像(2D 平面)中的離散樣本。任意選定的極點(diǎn)在像素(170，50)處。d)把 c)中篩選的樣本從極坐標(biāo)系統(tǒng)映射到笛卡爾坐標(biāo)系統(tǒng)。紅色樣本表明了樣本從 c)到 d)的映射方向。

圖 2 ：來自 MNIST 數(shù)據(jù)集的樣本和使用極坐標(biāo)系中的徑向變換 RT(·)的相應(yīng)表征。

圖 3：多模態(tài)醫(yī)療數(shù)據(jù)集的樣本，以及在極坐標(biāo)系統(tǒng)中使用徑向變換的相應(yīng)表征。

表 4：使用 MNIST 和醫(yī)療多模態(tài)數(shù)據(jù)集中的原始和徑向變換圖像訓(xùn)練的 AlexNet 和 GoogLeNet 模型的收斂行為。術(shù)語「RT」是指徑向變換圖像，術(shù)語「Original」是指用很少的原始圖像訓(xùn)練的模型。x 軸表示訓(xùn)練迭代，左 y 軸表示訓(xùn)練時(shí)的模型損失，右 y 軸表示使用驗(yàn)證數(shù)據(jù)集訓(xùn)練時(shí)的模型準(zhǔn)確度。

表 1：通過原始和徑向變換的多模態(tài)醫(yī)療圖像訓(xùn)練的 AlexNet 和 GoogLeNet 的準(zhǔn)確度(「Acc.」in %)和置信度(「Conf.」in %)值?！窤bd」是指腹部 MRI，「Std」是標(biāo)準(zhǔn)偏差。黑體部分是***結(jié)果。

表 2 ：通過原始和徑向變換的 MNIST 圖像訓(xùn)練的 AlexNet 和 GoogLeNet 的準(zhǔn)確度(「Acc.」in %)和置信度(「Conf.」in %)值?！窼td」是標(biāo)準(zhǔn)偏差。黑體部分是***結(jié)果。

結(jié)論

成功地訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要大量均衡的數(shù)據(jù)。在實(shí)踐中，大部分?jǐn)?shù)據(jù)集都是不均衡的，或者特定類別的數(shù)據(jù)集可用的數(shù)據(jù)有限。在此論文中，我們提出了極坐標(biāo)系統(tǒng)中的徑向變換來增加數(shù)據(jù)集中的樣本量，從而幫助對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。提出的這種數(shù)據(jù)增強(qiáng)方法并未改變數(shù)據(jù)的信息內(nèi)容，而是改進(jìn)了數(shù)據(jù)的多樣性。我們的結(jié)果顯示這種方法增加了神經(jīng)網(wǎng)絡(luò)的泛化表現(xiàn)，也就是機(jī)器學(xué)習(xí)模型預(yù)測(cè)未知數(shù)據(jù)的輸出值的準(zhǔn)確率。在非常少的數(shù)據(jù)上訓(xùn)練當(dāng)前***的 AlexNet 和 GooLeNet 神經(jīng)網(wǎng)絡(luò)模型，表明該方法在整個(gè)學(xué)習(xí)流程中訓(xùn)練損失和驗(yàn)證準(zhǔn)確率都有極大的波動(dòng)。