從PyTorch到Mxnet ，對比這些Python深度學(xué)習(xí)框架。選擇什么深度學(xué)習(xí)框架一直是開發(fā)者非常關(guān)心的一個話題，而且深度學(xué)習(xí)框架之間的「戰(zhàn)爭」也越來越激烈。隨著 Python 逐漸成為機器學(xué)習(xí)社區(qū)***的語言，支持 Python 的深度學(xué)習(xí)框架的性能也值得關(guān)注。Indico Data Solutions 的 CTO Madison May 根據(jù)他們公司在產(chǎn)品和開發(fā)過程中的經(jīng)驗對 Python 深度學(xué)習(xí)框架進行了對比，希望這篇文章能對讀者有所幫助。

[[258848]]

Python 深度學(xué)習(xí)生態(tài)系統(tǒng)在這幾年中的演變實屬驚艷。pylearn2，已經(jīng)不再被積極地開發(fā)或者維護，大量的深度學(xué)習(xí)庫開始接替它的位置。這些庫每一個都各有千秋。我們已經(jīng)在 indico 的產(chǎn)品或者開發(fā)中使用了以下列表中的大部分的技術(shù)，但是對于剩下一些我們沒有使用的，我將會借鑒他人的經(jīng)驗來幫助給出 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)的清晰的、詳盡的理解。

確切地說，我們將會關(guān)注：

Theano

Lasagne

Blocks

TensorFlow

Keras

MXNet

PyTorch

下面是對這 7 大 Python 深度學(xué)習(xí)框架的描述以及優(yōu)缺點的介紹。

Theano

描述：Theano 是一個 Python 庫，允許你定義、優(yōu)化并且有效地評估涉及到多維數(shù)組的數(shù)學(xué)表達式。它與 GPUs 一起工作并且在符號微分方面表現(xiàn)優(yōu)秀。

概述：Theano 是數(shù)值計算的主力，它支持了許多我們列表當中的其他的深度學(xué)習(xí)框架。Theano 由 Frédéric Bastien 創(chuàng)建，這是蒙特利爾大學(xué)機器學(xué)習(xí)研究所(MILA)背后的一個非常優(yōu)秀的研究團隊。它的 API 水平較低，并且為了寫出效率高的 Theano，你需要對隱藏在其他框架幕后的算法相當?shù)氖煜ぁＨ绻阌兄S富的學(xué)術(shù)機器學(xué)習(xí)知識，正在尋找你的模型的精細的控制方法，或者想要實現(xiàn)一個新奇的或者不同尋常的模型，Theano 是你的***庫?？偠灾?，為了靈活性，Theano 犧牲了易用性。

優(yōu)點：

靈活

正確使用時的高性能

缺點：

較高的學(xué)習(xí)難度

低水平的 API

編譯復(fù)雜的符號圖可能很慢

Lasagne

描述：在 Theano 上建立和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的輕量級庫

概述：因為 Theano 致力于成為符號數(shù)學(xué)中***且***的庫，Lasagne 提供了在 Theano 頂部的抽象，這使得它更適合于深度學(xué)習(xí)。它主要由當前 DeepMind 研究科學(xué)家 Sander Dieleman 編寫并維護。Lasagne 并非是根據(jù)符號變量之間的函數(shù)關(guān)系來指定網(wǎng)絡(luò)模型，而是允許用戶在層級思考，為用戶提供了例如「Conv2DLayer」和「DropoutLayer」的構(gòu)建塊。Lasagne 在犧牲了很少的靈活性的同時，提供了豐富的公共組件來幫助圖層定義、圖層初始化、模型正則化、模型監(jiān)控和模型訓(xùn)練。

優(yōu)點：

仍舊非常靈活

比 Theano 更高級的抽象

文檔和代碼中包含了各種 Pasta Puns

缺點：

社區(qū)小

Blocks

描述：用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的 Theano 框架

概述：與 Lasagne 類似，Blocks 是在 Theano 頂部添加一個抽象層使深度學(xué)習(xí)模型比編寫原始的 Theano 更清晰、更簡單、定義更加標準化。它是由蒙特利爾大學(xué)機器學(xué)習(xí)研究所(MILA)編寫，其中一些人為搭建 Theano 和***個神經(jīng)網(wǎng)絡(luò)定義的高級接口(已經(jīng)淘汰的 PyLearn2)貢獻了自己的一份力量。比起 Lasagne，Blocks 靈活一點，代價是入門臺階較高，想要高效的使用它有不小的難度。除此之外，Blocks 對遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)(recurrent neural network architectures)有很好的支持，所以如果你有興趣探索這種類型的模型，它值得一看。除了 TensorFlow，對于許多我們已經(jīng)部署在 indico 產(chǎn)品中的 API，Blocks 是其***庫。

優(yōu)點：

仍舊非常靈活

比 Theano 更高級的抽象

易于測試

缺點：

較高的學(xué)習(xí)難度

更小的社區(qū)

TensorFlow

描述：用于數(shù)值計算的使用數(shù)據(jù)流圖的開源軟件庫

概述：TensorFlow 是較低級別的符號庫(比如 Theano)和較高級別的網(wǎng)絡(luò)規(guī)范庫(比如 Blocks 和 Lasagne)的混合。即使它是 Python 深度學(xué)習(xí)庫集合的***成員，在 Google Brain 團隊支持下，它可能已經(jīng)是***的活躍社區(qū)了。它支持在多 GPUs 上運行深度學(xué)習(xí)模型，為高效的數(shù)據(jù)流水線提供使用程序，并具有用于模型的檢查，可視化和序列化的內(nèi)置模塊。最近，TensorFlow 團隊決定支持 Keras(我們列表中下一個深度學(xué)習(xí)庫)。雖然 TensorFlow 有著自己的缺點，但是社區(qū)似乎同意這一決定，社區(qū)的龐大規(guī)模和項目背后巨大的動力意味著學(xué)習(xí) TensorFlow 是一次安全的賭注。因此，TensorFlow 是我們今天在 indico 選擇的深度學(xué)習(xí)庫。

優(yōu)點：

由軟件巨頭 Google 支持

非常大的社區(qū)

低級和高級接口網(wǎng)絡(luò)訓(xùn)練

比基于 Theano 配置更快的模型編譯

完全地多 GPU 支持

缺點：

雖然 Tensorflow 正在追趕，但是最初在許多基準上比基于 Theano 的慢。

RNN 支持仍不如 Theano

Keras

描述：Python 的深度學(xué)習(xí)庫。支持 Convnets、遞歸神經(jīng)網(wǎng)絡(luò)等。在 Theano 或者 TensorFlow 上運行。

概述：Keras 也許是水平***，對用戶最友好的庫了。由 Francis Chollet(Google Brain 團隊中的另一個成員)編寫和維護。它允許用戶選擇其所構(gòu)建的模型是在 Theano 上或是在 TensorFlow 上的符號圖上執(zhí)行。Keras 的用戶界面受啟發(fā)于 Torch，所以如果你以前有過使用 Lua 語言的機器學(xué)習(xí)經(jīng)驗，Keras 絕對值得一看。由于部分非常優(yōu)秀的文檔和其相對易用性，Keras 的社區(qū)非常大并且非?；钴S。最近，TensorFlow 團隊宣布計劃與 Keras 一起支持內(nèi)置，所以很快 Keras 將是 TensorFlow 項目的一個分組。

優(yōu)點：

可供選擇的 Theano 或者 TensorFlow 后端

直觀、高級別的端口

更易學(xué)習(xí)

缺點：

不太靈活，比其他選擇更規(guī)范

MXNet

描述：MXNet 是一個旨在提高效率和靈活性的深度學(xué)習(xí)框架。

概述：MXNet 是亞馬遜(Amazon)選擇的深度學(xué)習(xí)庫，并且也許是***秀的庫。它擁有類似于 Theano 和 TensorFlow 的數(shù)據(jù)流圖，為多 GPU 配置提供了良好的配置，有著類似于 Lasagne 和 Blocks 更高級別的模型構(gòu)建塊，并且可以在你可以想象的任何硬件上運行(包括手機)。對 Python 的支持只是其冰山一角—MXNet 同樣提供了對 R、Julia、C++、Scala、Matlab，和 Javascript 的接口。如果你正在尋找***的性能，選擇 MXNet 吧，但是你必須愿意處理與之相對的一些 MXNet 的怪癖。

優(yōu)點：

速度的標桿

非常靈活

缺點：

最小的社區(qū)

比 Theano 更困難的學(xué)習(xí)難度

PyTorch

描述：Python 中的張量(Tensors)和動態(tài)神經(jīng)網(wǎng)絡(luò)，有著強大的 GPU 加速。

概述：剛剛放出一段時間，PyTorch 就已經(jīng)是我們 Python 深度學(xué)習(xí)框架列表中的一個新的成員了。它是從 Lua 的 Torch 庫到 Python 的松散端口，由于它由 Facebook 的 人工智能研究團隊(Artificial Intelligence Research team (FAIR))支持且因為它用于處理動態(tài)計算圖(Theano，TensorFlow 或者其他衍生品沒有的特性，編譯者注：現(xiàn)在 TensorFlow 好像支持動態(tài)計算圖)，它變得非常的有名。PyTorch 在 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)將扮演怎樣的角色還不得而知，但所有的跡象都表明，PyTorch 是我們列表中其他框架的一個非常棒的選擇。

優(yōu)點:

來自 Facebook 組織的支持

完全地對動態(tài)圖的支持

高級和低級 API 的混合

缺點：

比其他選擇，PyTorch 還不太成熟