Keras 和 PyTorch 當(dāng)然是對初學(xué)者最友好的深度學(xué)習(xí)框架，它們用起來就像描述架構(gòu)的簡單語言一樣，告訴框架哪一層該用什么。這樣減少了很多抽象工作，例如設(shè)計(jì)靜態(tài)計(jì)算圖、分別定義各張量的維度與內(nèi)容等等。

但是，到底哪一個(gè)框架更好一點(diǎn)呢?當(dāng)然不同的開發(fā)者和研究者會(huì)有不同的愛好，也會(huì)有不同的看法。本文主要從抽象程度和性能兩個(gè)方面對比 PyTorch 與 Keras，并介紹了一個(gè)新的基準(zhǔn)，它復(fù)現(xiàn)并對比了兩個(gè)框架的所有預(yù)訓(xùn)練模型。

在 Keras 和 PyTorch 基準(zhǔn)項(xiàng)目中，MIT 在讀博士 Curtis G. Northcutt 復(fù)現(xiàn)了 34 個(gè)預(yù)訓(xùn)練模型。該基準(zhǔn)結(jié)合了 Keras 和 PyTorch，并將它們統(tǒng)一到一個(gè)框架內(nèi)，這樣我們就能知道這兩個(gè)框架的對比結(jié)果，知道不同模型用什么框架好。例如，項(xiàng)目作者表示 ResNet 架構(gòu)的模型使用 PyTorch 要比 Keras 效果好，Inception 架構(gòu)的模型使用 Keras 又要比 PyTorch 好。

Keras 和 PyTorch 基準(zhǔn)項(xiàng)目：https://github.com/cgnorthcutt/benchmarking-keras-pytorch

一、兩大框架的性能與易用性

作為 TensorFlow 的高度封裝，Keras 的抽象層次非常高，很多 API 細(xì)節(jié)都隱藏了起來。雖然 PyTorch 比 TensorFlow 的靜態(tài)計(jì)算圖更容易使用，但總體上 Keras 隱藏的細(xì)節(jié)更多一些。而對于性能，其實(shí)各框架都會(huì)經(jīng)過大量的優(yōu)化，它們的差別并不是很明顯，也不會(huì)作為主要的選擇標(biāo)準(zhǔn)。

1. 易用性

Keras 是一個(gè)更高級別的框架，將常用的深度學(xué)習(xí)層和運(yùn)算封裝進(jìn)便捷的構(gòu)造塊，并像積木一樣搭建復(fù)雜模型，開發(fā)者和研究者不需要考慮深度學(xué)習(xí)的復(fù)雜度。

PyTorch 提供一個(gè)相對較低級別的實(shí)驗(yàn)環(huán)境，使用戶可以更加自由地編寫自定義層、查看數(shù)值優(yōu)化任務(wù)等等。例如在 PyTorch 1.0 中，編譯工具 torch.jit 就包含一種名為 Torch Script 的語言，它是 Python 的子語言，開發(fā)者使用它能進(jìn)一步對模型進(jìn)行優(yōu)化。

我們可以通過定義簡單的卷積網(wǎng)絡(luò)看看兩者的易用性：

model = Sequential() 
model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3))) 
model.add(MaxPool2D()) 
model.add(Conv2D(16, (3, 3), activation='relu')) 
model.add(MaxPool2D()) 
model.add(Flatten()) 
model.add(Dense(10, activation='softmax')) 

如上所示為 Keras 的定義方式，很多時(shí)候運(yùn)算都會(huì)作為參數(shù)嵌入到 API 中，因此代碼會(huì)顯得非常簡潔。如下所示為 PyTorch 的定義方式，它一般都是通過類和實(shí)例的方式定義，且具體運(yùn)算的很多維度參數(shù)都需要定義。

class Net(nn.Module): 
    def __init__(self): 
        super(Net, self).__init__() 
 
        self.conv1 = nn.Conv2d(3, 32, 3) 
        self.conv2 = nn.Conv2d(32, 16, 3) 
        self.fc1 = nn.Linear(16 * 6 * 6, 10)  
        self.pool = nn.MaxPool2d(2, 2) 
 
    def forward(self, x): 
        x = self.pool(F.relu(self.conv1(x))) 
        x = self.pool(F.relu(self.conv2(x))) 
        xx = x.view(-1, 16 * 6 * 6) 
        x = F.log_softmax(self.fc1(x), dim=-1) 
 
        return x 
 
model = Net() 

雖然 Keras 感覺比 PyTorch 更易于使用，但兩者的差別不大，都期望模型的編寫能更便捷。

2. 性能

目前有很多對比各框架性能的實(shí)驗(yàn)都表明 PyTorch 的訓(xùn)練速度相比 Keras 會(huì)快一些。如下兩張圖表展示了不同框架在不同硬件和模型類型的表現(xiàn)：

下面兩張同樣展示了不同模型在 PyTorch 和 Keras 框架下的性能，這兩份 18 年的測試都表明 PyTorch 的速度要比 Keras 快那么一點(diǎn)點(diǎn)。

這兩份對比細(xì)節(jié)可查閱：

• https://github.com/ilkarman/DeepLearningFrameworks/
• https://wrosinski.github.io/deep-learning-frameworks/

二、Keras 和 PyTorch Benchmark

現(xiàn)在如果我們從預(yù)訓(xùn)練模型的角度看，那么相同的模型在不同的框架上，驗(yàn)證集準(zhǔn)確度又是什么樣的?在這個(gè)項(xiàng)目中，作者用兩個(gè)框架一共復(fù)現(xiàn)了 34 個(gè)預(yù)訓(xùn)練模型，并給出了所有預(yù)訓(xùn)練模型的驗(yàn)證準(zhǔn)確率。所以該項(xiàng)目不僅能作為對比依據(jù)，同時(shí)還能作為學(xué)習(xí)資源，又有什么比直接學(xué)習(xí)經(jīng)典模型代碼更好的方法呢?

1. 預(yù)訓(xùn)練模型不是已經(jīng)可以復(fù)現(xiàn)了嗎?

在 PyTorch 中是這樣的。然而有些 Keras 用戶卻覺得復(fù)現(xiàn)非常難，他們遇見的問題可以分為三類：

• 不能復(fù)現(xiàn) Keras 已發(fā)布的基準(zhǔn)結(jié)果，即使完全復(fù)制示例代碼也沒有用。實(shí)際上，他們報(bào)告的準(zhǔn)確率(截止到 2019 年 2 月)通常略高于實(shí)際準(zhǔn)確率。
• 一些預(yù)訓(xùn)練的 Keras 模型在部署到某個(gè)服務(wù)器或與其他 Keras 模型一起依次運(yùn)行時(shí)會(huì)產(chǎn)生不一致或較低的準(zhǔn)確率。
• 使用批歸一化(BN)的 Keras 模型可能并不可靠。對于一些模型，前向傳播評估仍然會(huì)導(dǎo)致推理階段中的權(quán)重改變。

這些問題都是現(xiàn)實(shí)存在的，原 GitHub 項(xiàng)目為每個(gè)問題都提供了鏈接。項(xiàng)目作者的目標(biāo)之一是通過為 Keras 預(yù)訓(xùn)練模型創(chuàng)建可復(fù)現(xiàn)基準(zhǔn)，從而幫助解決上述的一些問題。解決方法可分為以下三個(gè)方面，在 Keras 中要做到：推理期間避免分批(batches)。

每次運(yùn)行一個(gè)樣本，這樣做非常慢，但可以為每個(gè)模型得出一個(gè)可復(fù)現(xiàn)的輸出。

只在本地函數(shù)或 with 語句中運(yùn)行模型，以確保在加載下一個(gè)模型時(shí)，前一個(gè)模型的任何東西都不會(huì)保存在內(nèi)存中。

2. 預(yù)訓(xùn)練模型復(fù)現(xiàn)結(jié)果

以下是 Keras 和 PyTorch 的「實(shí)際」驗(yàn)證集準(zhǔn)確度表(已經(jīng)在 macOS 10.11.6、Linux Debian 9 和 Ubuntu 18.04 上得到驗(yàn)證)。

3. 復(fù)現(xiàn)方法

首先需要下載 ImageNet 2012 驗(yàn)證集，該數(shù)據(jù)集包含 50000 張圖片。在 ILSVRC2012_img_val.tar 下載完成后，運(yùn)行以下命令行預(yù)處理/提取驗(yàn)證集：

# Credit to Soumith: https://github.com/soumith/imagenet-multiGPU.torch 
$ cd ../ && mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar 
$ wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash 

ImageNet 驗(yàn)證集中每個(gè)示例的 top 5 預(yù)測已經(jīng)進(jìn)行了預(yù)計(jì)，運(yùn)行以下命令行將直接使用這些預(yù)計(jì)算結(jié)果，并在幾秒內(nèi)復(fù)現(xiàn) Keras 和 PyTorch 基準(zhǔn)。

$ git clone https://github.com:cgnorthcutt/imagenet-benchmarking.git 
$ cd benchmarking-keras-pytorch 
$ python imagenet_benchmarking.py /path/to/imagenet_val_data 

不使用預(yù)計(jì)算數(shù)據(jù)也可以復(fù)現(xiàn)每個(gè) Keras 和 PyTorch 的推理輸出。Keras 的推理要花很長時(shí)間(5-10 小時(shí))，因?yàn)槊看沃挥?jì)算一個(gè)示例的前向傳播，還要避免向量計(jì)算。如果要可靠地復(fù)現(xiàn)同樣的準(zhǔn)確率，這是目前發(fā)現(xiàn)的***的方法。PyTorch 的推理非?？?一個(gè)小時(shí)都不到)。復(fù)現(xiàn)代碼如下：

$ git clone https://github.com:cgnorthcutt/imagenet-benchmarking.git 
$ cd benchmarking-keras-pytorch 
$ # Compute outputs of PyTorch models (1 hour) 
$ ./imagenet_pytorch_get_predictions.py /path/to/imagenet_val_data 
$ # Compute outputs of Keras models (5-10 hours) 
$ ./imagenet_keras_get_predictions.py /path/to/imagenet_val_data 
$ # View benchmark results 
$ ./imagenet_benchmarking.py /path/to/imagenet_val_data 

你可以控制 GPU 的使用、批大小、輸出存儲(chǔ)目錄等。運(yùn)行時(shí)加上-h flag，可以查看命令行參數(shù)選項(xiàng)。

看完文章之后，你更中意誰呢?

原文鏈接：http://l7.curtisnorthcutt.com/towards-reproducibility-benchmarking-keras-pytorch

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】 

戳這里，看該作者更多好文