1. Theano

[[180776]]

Theano 在深度學習框架中是祖師級的存在。它的開發(fā)始于 2007，早期開發(fā)者包括傳奇人物 Yoshua Bengio 和 Ian Goodfellow。

Theano 基于 Python，是一個擅長處理多維數(shù)組的庫（這方面它類似于 NumPy）。當與其他深度學習庫結合起來，它十分適合數(shù)據(jù)探索。它為執(zhí)行深度學習中大規(guī)模神經(jīng)網(wǎng)絡算法的運算所設計。其實，它可以被更好地理解為一個數(shù)學表達式的編譯器：用符號式語言定義你想要的結果，該框架會對你的程序進行編譯，來高效運行于 GPU 或 CPU。

它與后來出現(xiàn)的 Tensorflow 功能十分相似（或者應該說，Tensorflow 類似 Theano ），因而兩者常常被放在一起比較。它們本身都偏底層，同樣的，Theano 像是一個研究平臺多過是一個深度學習庫。你需要從底層開始做許多工作，來創(chuàng)建你需要的模型。比方說，Theano 沒有神經(jīng)網(wǎng)絡的分級。

但隨著這些年的發(fā)展，大量基于 Theano 的開源深度學習庫被開發(fā)出來，包括 Keras, Lasagne 和 Blocks。這些更高層級的 wrapper API，能大幅減少開發(fā)時間以及過程中的麻煩。甚至，據(jù)雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))所知，很少開發(fā)者會使用“裸奔”的 Theano，多數(shù)人需要輔助的 API。順便說一句，Theano 是一整套生態(tài)系統(tǒng)，別只用它裸奔，然后抱怨不好用。

在過去的很長一段時間內(nèi)，Theano 是深度學習開發(fā)與研究的行業(yè)標準。而且，由于出身學界，它最初是為學術研究而設計，這導致深度學習領域的許多學者至今仍在使用 Theano。但隨著 Tensorflow 在谷歌的支持下強勢崛起，Theano 日漸式微，使用的人越來越少。這過程中的標志性事件是：***之一的 Ian Goodfellow 放棄 Theano 轉去谷歌開發(fā) Tensorflow。

因此，資深一些的開發(fā)者往往認為，對于深度學習新手，用Theano 練練手并沒有任何壞處。但對于職業(yè)開發(fā)者，還是建議用 Tensorflow。

優(yōu)點：

• Python + NumPy 的組合

• 使用計算圖

• RNN 與計算圖兼容良好

• 有 Keras 和 Lasagne 這樣高層的庫

• 不少開發(fā)者反映，它的學習門檻比Tensorflow 低

缺點：

• 本身很底層

• 比 Torch 臃腫

• 不支持分布式

• 有的錯誤信息沒什么用

• 大模型的編譯時間有時要很久

• 對事先訓練過的模型支持不足

• 用的人越來越少

2. Caffe

[[180779]]

這又是一個祖師級的深度學習框架，2013 年就已問世。

它的全稱是 “Convolution Architecture For Feature Extraction”，意為“用于特征提取的卷積架構”，很明白地體現(xiàn)了它的用途。Caffe 的創(chuàng)始人，是加州大學伯克利分校的中國籍博士生賈揚清。當時賈在伯克利計算機視覺與學習中心做研究。博士畢業(yè)后，他先后在谷歌和 Facebook 工作。

在 AI 開發(fā)者圈子中，Caffe 可以說是無人不知、無人不曉。據(jù) GitHub ***的機器學習項目熱度排名，Caffe 僅位列 Tensorflow 之后，雄踞第二。它是一個被廣泛使用的機器視覺庫，把 Matlab 執(zhí)行快速卷積網(wǎng)絡的方式帶到 C 和 C++。雖然 Caffe 被部分開發(fā)者看做是通用框架，但它的設計初衷是計算機視覺——并不適于其他深度學習應用，比如文字、語音識別和處理時間序列數(shù)據(jù)。

Caffe 的主要用途：利用卷積神經(jīng)網(wǎng)絡進行圖像分類。這方面它代表了業(yè)內(nèi)***水平，是開發(fā)者的***。

說到 Caffe，就不得不提 Model Zoo。后者是在 Caffe 基礎上開發(fā)出的一系列模型的匯聚之地。因此，開發(fā)者使用 Caffe ***的好處是：能在 Model Zoo 海量的、事先訓練好的神經(jīng)網(wǎng)絡中，選擇貼近自己使用需求的直接下載，并立刻就能用。

就雷鋒網(wǎng)所知，這些模型中有很多是世界***的。有很多它們的教程：

• Alex’s CIFAR-10 tutorial with Caffe

• Training LeNet on MNIST with Caffe

• ImageNet with Caffe

業(yè)內(nèi)人士普遍認為，Caffe 適合于以實現(xiàn)基礎算法為主要目的的工業(yè)應用，有利于快速開發(fā)。但對于處理較特殊的任務，它存在靈活性不足的問題——為模型做調(diào)整常常需要用 C++ 和 CUDA，雖然 Python 和 Matlab 也能做些小調(diào)整。

優(yōu)點：

• 非常適合前饋神經(jīng)網(wǎng)絡和圖像處理任務

• 非常適于利用現(xiàn)有神經(jīng)網(wǎng)絡

• 不寫代碼也能訓練模型

• Python 交互界面做得不錯

缺點：

• 需要 C++ 和 CUDA 來編寫新 GPU 層級。

• 在遞歸神經(jīng)網(wǎng)絡上表現(xiàn)不佳

• 對于大型神經(jīng)網(wǎng)絡，它十分繁瑣（GoogLeNet, ResNet）

• 沒有商業(yè)支持

3. Torch

相比其他開源框架，Torch 是一個非主流。

沒錯，說的就是它的開發(fā)語言：基于1990 年代誕生于巴西的 Lua，而非機器學習界廣泛采用的 Python。其實 Lua 和Python 都屬于比較容易入門的語言。但后者明顯已經(jīng)統(tǒng)治了機器學習領域，尤其在學界。而企業(yè)界的軟件工程師最熟悉的是 Java，對 Lua 也比較陌生。這導致了 Torch 推廣的困難。因此，雖然 Torch 功能強大，但并不是大眾開發(fā)者的菜。

那么它強大在哪里？

• 首先，Torch 非常適用于卷積神經(jīng)網(wǎng)絡。它的開發(fā)者認為，Torch 的原生交互界面比其他框架用起來更自然、更得心應手。

• 其次，第三方的擴展工具包提供了豐富的遞歸神經(jīng)網(wǎng)絡（ RNN）模型。

因為這些強項，許多互聯(lián)網(wǎng)巨頭開發(fā)了定制版的 Torch，以助力他們的 AI 研究。這其中包括 Facebook、Twitter，和被谷歌招安前的 DeepMind。

與 Caffe 相比，在 Torch 里定義一個新層級比它要容易，因為你不需要寫  C++ 代碼。和 TensorFlow 和 Theano 比起來，Torch 的靈活度更高，因為它是命令式的；而前兩者是陳述式的（declarative），你必須 declare 一個計算圖。這使得在 Torch 上進行束搜索（beam search）這樣的操作要比它們?nèi)菀椎枚唷?/p>

Torch 的熱門應用：在增強學習領域，用卷積神經(jīng)網(wǎng)絡和代理處理圖像問題。

興趣主要在增強學習的開發(fā)者， Torch 是***。

優(yōu)點：

• 靈活度很高

• 高度模塊化

• 容易編寫你自己的層級

• 有很多訓練好的模型

缺點：

• 需要學  Lua

• 通常需要自己寫訓練代碼

• 不適于循環(huán)神經(jīng)網(wǎng)絡

• 沒有商業(yè)支持

4. SciKit-learn

SciKit-learn 是老牌的開源 Python 算法框架，始于 2007 年的 Google Summer of Code 項目，最初由 David Cournapeau 開發(fā)。

它是一個簡潔、高效的算法庫，提供一系列的監(jiān)督學習和無監(jiān)督學習的算法，以用于數(shù)據(jù)挖掘和數(shù)據(jù)分析。SciKit-learn 幾乎覆蓋了機器學習的所有主流算法，這為其在 Python 開源世界中奠定了江湖地位。

它的算法庫建立在 SciPy (Scientific Python) 之上——你必須先安裝 SciPy 才能使用 SciKit-learn 。它的框架中一共包括了：

• NumPy: 基礎的多維數(shù)組包

• SciPy: 科學計算的基礎庫

• Matplotlib: 全面的 2D/3D 測繪

• IPython: 改進的交互控制器

• Sympy: 符號數(shù)學

• Pandas:數(shù)據(jù)結構和分析

它命名的由來：SciPy 的擴展和模塊在傳統(tǒng)上被命名為 SciKits。而提供學習算法的模組就被命名為 scikit-learn。

它與 Python 世界另一大算法框架——TensorFlow 的主要區(qū)別是：TensorFlow 更底層。而 SciKit-learn 提供了執(zhí)行機器學習算法的模塊化方案，很多算法模型直接就能用。

優(yōu)點：

• 經(jīng)過篩選的、高質量的模型

• 覆蓋了大多數(shù)機器學習任務

• 可擴展至較大的數(shù)據(jù)規(guī)模

• 使用簡單

缺點：

• 靈活性低

5. MXNet

提到出身學界的開源框架，就不得不提 MXNet。不過，因為亞馬遜已將其作為御用平臺，因而上期的盤點（谷歌、微軟、OpenAI 等巨頭的七大機器學習開源項目 看這篇就夠了）中已經(jīng)對其作了介紹。有興趣的讀者請戳鏈接。