4款深度學習框架簡介，初學者該如何選擇？
01 Theano
Theano是在BSD許可證下發(fā)布的一個開源項目，誕生于加拿大魁北克蒙特利爾大學的LISA實驗室，是用一位希臘數(shù)學家的名字命名的。
Theano是一個Python庫，可用于定義、優(yōu)化和計算數(shù)學表達式，特別是多維數(shù)組(numpy.ndarray)。在解決包含大量數(shù)據(jù)的問題時，使用Theano可實現(xiàn)比手寫C 語言更快的編程速度。而通過GPU加速，Theano甚至可以比基于CPU計算的C語言快上好幾個數(shù)量級。
Theano結(jié)合了計算機代數(shù)系統(tǒng)(Computer Algebra System，CAS)和優(yōu)化編譯器，還可以為多種數(shù)學運算生成定制的C語言代碼。對于包含重復計算的復雜數(shù)學表達式任務，計算速度很重要，因此這種CAS和優(yōu)化編譯器的組合是很有用的。
對于需要將每種不同數(shù)學表達式都計算一遍的情況，Theano能夠?qū)崿F(xiàn)編譯/解析計算量的最小化，但仍然會給出如自動微分那樣的符號特征。
在過去很長一段時間內(nèi)，Theano是深度學習開發(fā)與研究的行業(yè)標準。而且由于誕生于學界，Theano最初是為學術研究而設計的，深度學習領域的許多學者至今仍在使用Theano。
但隨著TensorFlow在谷歌的支持下強勢崛起，Theano日漸式微，使用的人越來越少。在這個過程中標志性事件是：Theano創(chuàng)始者之一Ian Goodfellow放棄Theano轉(zhuǎn)去谷歌開發(fā)TensorFlow了。
2017年9月28日，在Theano 1.0正式版發(fā)布前夕，LISA實驗室負責人、深度學習三巨頭之一的Yoshua Bengio宣布Theano將停止繼續(xù)開發(fā)：“Theano is Dead.”
盡管Theano正慢慢退出歷史舞臺，但作為第一個Python深度學習框架，Theano很好地完成了自己的使命，為深度學習研究人員早期拓荒提供了極大的幫助，同時也為之后深度學習框架的開發(fā)奠定了基本設計方向：以計算圖為框架的核心，采用GPU加速計算。
總結(jié)：深度學習新手可以使用Theano來練習，但對于職業(yè)開發(fā)者，建議使用其他主流深度學習框架。
02 TensorFlow
2015年11月10日，Google宣布推出全新的機器學習開源工具TensorFlow。TensorFlow最初是由Google機器智能研究部門Google Brain團隊基于Google 2011年開發(fā)的深度學習基礎架構(gòu)DistBelief構(gòu)建的。
TensorFlow涉及大量數(shù)學運算的算法庫，是目前使用最廣泛的機器學習工具之一。Google在大部分應用程序中都使用TensorFlow來實現(xiàn)機器學習。例如，我們使用Google照相或Google語音搜索功能時，就是間接使用了TensorFlow模型，它們在大型Google硬件集群上工作，在感知任務方面功能強大。
TensorFlow在很大程度上可以看作Theano的后繼者，不僅因為它們有很大一批共同的開發(fā)者，更是因為它們還擁有相近的設計理念——基于計算圖實現(xiàn)自動微分系統(tǒng)。
TensorFlow編程接口支持Python和C++。隨著1.0版本的公布，相繼支持了Java、Go、R和Haskell API的alpha版本。此外，TensorFlow可在Google Cloud和AWS中運行。TensorFlow還支持 Windows 7、Windows 10和Windows Server 2016。
由于TensorFlow使用C++ Eigen庫，所以庫可在ARM架構(gòu)上進行編譯和優(yōu)化。這也就意味著用戶可以在各種服務器和移動設備上部署自己的訓練模型，無須執(zhí)行單獨的模型解碼器或者加載Python解釋器。
作為當前主流的深度學習框架，TensorFlow獲得了極大的成功，但在學習過程中，讀者也需要注意如下問題。
- 由于TensorFlow的接口一直處于快速迭代之中，并且版本之間存在不兼容的問題，因此開發(fā)和調(diào)試過程可能會出現(xiàn)問題(許多開源代碼無法在新版的TensorFlow上運行)。
- 想學習TensorFlow底層運行機制的讀者需要做好心理準備，TensorFlow在GitHub代碼倉庫的總代碼量超過100萬行，系統(tǒng)設計比較復雜，因此這將是一個漫長的學習過程。
- 在代碼層面，面對同一個功能，TensorFlow提供了多種實現(xiàn)，這些實現(xiàn)良莠不齊，使用中還有細微的差異，請讀者注意區(qū)分。另外，TensorFlow創(chuàng)造了圖、會話、命名空間、PlaceHolder等諸多抽象概念，對普通用戶來說難以理解。
總結(jié)：憑借Google強大的推廣能力，TensorFlow已經(jīng)成為當今最炙手可熱的深度學習框架，雖不完美但是最流行。目前各公司使用的框架也不統(tǒng)一，讀者有必要多學習幾個流行框架以作為知識儲備，TensorFlow就是一個不錯的選擇。
03 Keras
Keras是一個高層神經(jīng)網(wǎng)絡API，由純Python編寫而成并使用TensorFlow、Theano及CNTK作為后端。Keras為支持快速實驗而生，能夠把想法迅速轉(zhuǎn)換為結(jié)果。Keras應該是深度學習框架之中最容易上手的一個，它提供了一致而簡潔的API，能夠極大地減少一般應用下用戶的工作量，避免用戶重復造輪子。
嚴格意義上講，Keras并不能算是一個深度學習框架，它更像一個構(gòu)建于第三方框架之上的深度學習接口。Keras的缺點很明顯：過度封裝導致喪失靈活性。
Keras最初作為Theano的高級API，后來增加了TensorFlow和CNTK作為后端。為了屏蔽后端的差異性，提供一致的用戶接口，Keras做了層層封裝，導致用戶在新增操作或獲取底層的數(shù)據(jù)信息時過于困難。
同時，過度封裝也使得Keras的程序執(zhí)行十分緩慢，許多Bug都隱藏于封裝之中，在絕大多數(shù)場景下，Keras是本書介紹的所有框架中運行最慢的一個。
學習Keras十分容易，但是很快就會遇到瓶頸，因為它缺少靈活性。另外，在使用Keras的大多數(shù)時間里，用戶主要是在調(diào)用接口，很難真正學到深度學習的內(nèi)容。
總結(jié)：Keras比較適合作為深度學習框架，但是過度的封裝并不適合新手學習(無法理解深度學習的真正內(nèi)涵)，故不推薦。
04 PyTorch
PyTorch是一個Python優(yōu)先的深度學習框架，能夠在強大的GPU加速基礎上實現(xiàn)張量和動態(tài)神經(jīng)網(wǎng)絡。
PyTorch是一個Python軟件包，提供了如下兩種高層面的功能。
- 使用強大的GPU加速的Tensor計算(類似 Numpy)。
- 構(gòu)建基于tape框架的autograd系統(tǒng)深度神經(jīng)網(wǎng)絡。
除此之外，PyTorch提供了完整的官方文檔、幫助用戶循序漸進地學習的用戶指南，以及作者親自維護的論壇以供用戶交流和求教。
Facebook人工智能研究院FAIR對PyTorch提供了強力支持，作為當今世界排名前三的深度學習研究機構(gòu)，F(xiàn)AIR的力挺足以確保PyTorch獲得持續(xù)開發(fā)、更新的支持，不至于像許多由個人開發(fā)的框架那樣只是曇花一現(xiàn)。
如有需要，你也可以使用自己喜歡的Python軟件包(如Numpy、scipy和Cython)來擴展PyTorch。
相對于TensorFlow，PyTorch有一個顯著優(yōu)點，就是它的圖是動態(tài)的，而TensorFlow是靜態(tài)的，不利于擴展。同時，PyTorch的使用非常方便。
總結(jié)：如果說TensorFlow的設計是“Make it complicated”，Keras的設計是“Make it complicated and hide it”，那么PyTorch的設計真正做到了“Keep it Simple，Stupid”。
小結(jié)：深度學習框架該如何選擇?
初學者往往糾結(jié)于選擇哪個深度學習框架作為學習的開始。在這里筆者建議初學者選擇容易上手、非過度調(diào)用接口的框架。另外對于初學者來說，所選框架應具備易用性強、性能佳、社區(qū)完善以及平臺支持等特點。
當今行業(yè)內(nèi)各大公司使用的框架也都不盡相同，因此初學者可以考慮掌握多個框架(比如PyTorch和TensorFlow)以應對未來的職場要求。
