GAN 自從被提出后，便迅速受到廣泛關(guān)注。我們可以將 GAN 分為兩類，一類是無條件下的生成；另一類是基于條件信息的生成。近日，來自韓國(guó)浦項(xiàng)科技大學(xué)的碩士生在 GitHub 上開源了一個(gè)項(xiàng)目，提供了條件 / 無條件圖像生成的代表性生成對(duì)抗網(wǎng)絡(luò)（GAN）的實(shí)現(xiàn)。

近日，機(jī)器之心在 GitHub 上看到了一個(gè)非常有意義的項(xiàng)目 PyTorch-StudioGAN，它是一個(gè) PyTorch 庫(kù)，提供了條件 / 無條件圖像生成的代表性生成對(duì)抗網(wǎng)絡(luò)（GAN）的實(shí)現(xiàn)。據(jù)主頁(yè)介紹，該項(xiàng)目旨在提供一個(gè)統(tǒng)一的現(xiàn)代 GAN 平臺(tái)，這樣機(jī)器學(xué)習(xí)領(lǐng)域的研究者可以快速地比較和分析新思路和新方法等。

該項(xiàng)目的作者為韓國(guó)浦項(xiàng)科技大學(xué)的碩士生，他的研究興趣主要包括深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。

項(xiàng)目地址：https://github.com/POSTECH-CVLab/PyTorch-StudioGAN

具體而言，該項(xiàng)目具有以下幾個(gè)顯著特征：

• 提供了大量 PyTorch 框架的 GAN 實(shí)現(xiàn)；
• 基于 CIFAR 10、Tiny ImageNet 和 ImageNet 數(shù)據(jù)集的 GAN 基準(zhǔn)；
• 相較原始實(shí)現(xiàn)的更好的性能和更低的內(nèi)存消耗；
• 提供完全最新 PyTorch 環(huán)境的預(yù)訓(xùn)練模型；
• 支持多 GPU（DP、DDP 和多節(jié)點(diǎn) DDP）、混合精度、同步批歸一化、LARS、Tensorboard 可視化和其他分析方法。

對(duì)于這個(gè) PyTorch GAN 庫(kù)，有網(wǎng)友表示：「看上去很不錯(cuò)！如果可以提供 top-k 等現(xiàn)代訓(xùn)練實(shí)踐以及各種增強(qiáng)方法就更棒了?！箤?duì)此，項(xiàng)目作者稱其會(huì)在 NeurIPS 論文提交截止日期之后，添加一些改進(jìn)的方法，如 Sinha 等人的 Tok-K 訓(xùn)練以及 Langevin 采樣和 SimCLR 增強(qiáng)。

此外，有網(wǎng)友詢問是否可以將該項(xiàng)目用于圖像之外的其他領(lǐng)域。作者表示可以，即使無法使用一些穩(wěn)定器（如 diffaug、ada 等），依然可以通過調(diào)整 dataLoader 來訓(xùn)練自己的模型。

18+ SOTA GAN 實(shí)現(xiàn)

如下圖所示，項(xiàng)目作者提供了 18 + 個(gè) SOTA GAN 的實(shí)現(xiàn)，包括 DCGAN、LSGAN、GGAN、WGAN-WC、WGAN-GP、WGAN-DRA、ACGAN、ProjGAN、SNGAN、SAGAN、BigGAN、BigGAN-Deep、CRGAN、ICRGAN、LOGAN、DiffAugGAN、ADAGAN、ContraGAN 和 FreezeD。

cBN：條件批歸一化；AC：輔助分類器；PD：Projection 判別器；CL：對(duì)比學(xué)習(xí)。

其中，需要注意以下幾點(diǎn)：

• G/D_type 表示將標(biāo)簽信息注入生成器或判別式的方式；
• EMA 表示生成器中應(yīng)用更新后的指數(shù)移動(dòng)平均線；
• Tiny ImageNet 數(shù)據(jù)集上的實(shí)驗(yàn)使用的是 ResNet 架構(gòu)而不是 CNN。

下圖中 StyleGAN2 為即將實(shí)現(xiàn)的 GAN 網(wǎng)絡(luò)，其中 AdaIN 表示自適應(yīng)實(shí)例歸一化（Adaptive Instance Normalization）。

環(huán)境要求

• Anaconda
• Python >= 3.6
• 6.0.0 <= Pillow <= 7.0.0
• scipy == 1.1.0
• sklearn
• seaborn
• h5py
• tqdm
• torch >= 1.6.0
• torchvision >= 0.7.0
• tensorboard
• 5.4.0 <= gcc <= 7.4.0
• torchlars

用戶可以采用以下方法安裝推薦的環(huán)境：

conda env create -f environment.yml -n studiogan 

在 docker 中還可以采用以下方式：

docker pull mgkang/studiogan:latest 

以下是創(chuàng)建名字為「studioGAN」容器的命令，同樣也可以使用端口號(hào)為 6006 來連接 tensoreboard。

docker run -it --gpus all --shm-size 128g -p 6006:6006 --name studioGAN -v /home/USER:/root/code --workdir /root/code mgkang/studiogan:latest /bin/bash 

使用方法

使用 GPU 0 的情況下，在 CONFIG_PATH 中對(duì)于模型的訓(xùn)練「-t」和評(píng)估「-e」進(jìn)行了定義：

CUDA_VISIBLE_DEVICES=0 python3 src/main.py -t -e -c CONFIG_PATH 

在使用 GPU (0, 1, 2, 3) 和 DataParallel 情況下，在 CONFIG_PATH 中對(duì)于模型的訓(xùn)練「-t」和評(píng)估「-e」進(jìn)行了定義：

CUDA_VISIBLE_DEVICES=0,1,2,3 python3 src/main.py -t -e -c CONFIG_PATH 

在 python3 src/main.py 程序中查看可用選項(xiàng)，通過 Tensorboard 可以監(jiān)控 IS、FID、F_beta、Authenticity Accuracies 以及最大奇異值：

~ PyTorch-StudioGAN/logs/RUN_NAME>>> tensorboard --logdir=./ --port PORT 

可視化以及分析生成圖像

StudioGAN 支持圖像可視化、k 最近鄰分析、線性差值以及頻率分析。所有的結(jié)果保存在「./figures/RUN_NAME/*.png」中。

圖像可視化的代碼和示例如下：

CUDA_VISIBLE_DEVICES=0,...,N python3 src/main.py -iv -std_stat --standing_step STANDING_STEP -c CONFIG_PATH --checkpoint_folder CHECKPOINT_FOLDER --log_output_path LOG_OUTPUT_PATH 

k 最近鄰分析，這里固定 K=7，第一列中是生成的圖像：

CUDA_VISIBLE_DEVICES=0,...,N python3 src/main.py -knn -std_stat --standing_step STANDING_STEP -c CONFIG_PATH --checkpoint_folder CHECKPOINT_FOLDER --log_output_path LOG_OUTPUT_PATH 

線性插值（僅適用于有條件的 Big ResNet 模型 ）的代碼和示例如下：

CUDA_VISIBLE_DEVICES=0,...,N python3 src/main.py -itp -std_stat --standing_step STANDING_STEP -c CONFIG_PATH --checkpoint_folder CHECKPOINT_FOLDER --log_output_path LOG_OUTPUT_PATH