本節(jié)將介紹深度學習領(lǐng)域中常用的10種深度學習框架，包括MindSpore、PaddlePaddle、PyTorch及TensorFlow等。

1.MindSpore

2020年3月28日，華為在2020開發(fā)者大會上宣布全場景AI計算框架MindSpore在碼云正式開源，企業(yè)級AI應用開發(fā)者套件ModelArts Pro也在華為云上線。該框架是一款支持端、邊、云獨立/協(xié)同的統(tǒng)一訓練和推理框架。圖3-23展示了MindSpore框架的結(jié)構(gòu)。

圖3-23　MindSpore框架的結(jié)構(gòu)

其API包括Python版本、C++版本及Java版本，MindSpore旨在提升數(shù)據(jù)科學家和算法工程師的開發(fā)體驗，并為Ascend AI處理器提供原生支持及軟硬件協(xié)同優(yōu)化。圖3-24所示即為MindSpore官網(wǎng)。

圖3-24　MindSpore官網(wǎng)

2.MegEngine

2020年3月25日，北京曠視科技有限公司宣布開源其AI生產(chǎn)力平臺Brain++的核心組件——MegEngine。圖3-25展示了MegEngine的架構(gòu)，它是一個快速、可擴展、易于使用且支持自動求導的深度學習框架，包括三個特性——動靜結(jié)合的訓練能力、訓練推理一體化及全平臺高效支持。

圖3-25　MegEngine的架構(gòu)

除此之外，為了方便開發(fā)者遷移并降低學習成本，曠視團隊還對MegEngine框架做了全面升級，在整個框架的接口設計及接口命令等方面，尊重開發(fā)者在PyTorch機器學習和數(shù)學計算的使用習慣，讓開發(fā)者可以在最短時間內(nèi)快速上手。MegEngine官網(wǎng)如圖3-26所示。

圖3-26　MegEngine官網(wǎng)

值得一提的是，為了方便開發(fā)者學習，曠視團隊還上線了MegStudio在線深度學習開發(fā)平臺，提供數(shù)據(jù)、模型及免費的算力服務，幫助開發(fā)者快速、高效地進行深度學習開發(fā)。MegStudio官網(wǎng)如圖3-27所示。

圖3-27　MegStudio官網(wǎng)

3.Jittor

2020年3月20日，北京信息科學與技術(shù)國家研究中心可視媒體智能計算團隊宣布開源其深度學習框架——Jittor(計圖)。Jittor官網(wǎng)如圖3-28所示。

圖3-28　Jittor官網(wǎng)

該框架完全基于動態(tài)編譯，內(nèi)部使用創(chuàng)新的元算子和統(tǒng)一計算圖。元算子和NumPy一樣易于使用，并且超越NumPy，能夠?qū)崿F(xiàn)更復雜更高效的操作。而統(tǒng)一計算圖則融合了靜態(tài)計算圖和動態(tài)計算圖的優(yōu)點，在易于使用的同時，提供了高性能的優(yōu)化。圖3-29展示了Jittor與TensorFlow和PyTorch的特性對比。

圖3-29　框架比較(圖片來源：清華大學官網(wǎng))

4.PaddlePaddle

2018年7月，百度開源了其深度學習框架飛槳(PaddlePaddle v0.14)，該版本包含CV、NLP、語音、強化學習等模型。經(jīng)過大約3年的發(fā)展，2021年3月，飛槳2.0正式版發(fā)布，該框架以百度多年的深度學習技術(shù)研究和業(yè)務應用為基礎，是中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學習平臺，集深度學習核心訓練與推理框架、基礎模型庫、端到端開發(fā)套件和豐富的工具組建于一體，可幫助開發(fā)者快速實現(xiàn)AI想法，快速上線AI業(yè)務。值得一提的是，百度還為我們提供了在線深度學習平臺AI Studio。圖3-30所示即為飛槳官網(wǎng)。

圖3-30　飛槳官網(wǎng)

5.NCNN

NCNN 是騰訊優(yōu)圖實驗室的某個開源項目，是一個為手機端優(yōu)化的高性能神經(jīng)網(wǎng)絡前向計算框架。該框架從設計之初就考慮手機端的部署和使用，無第三方依賴，跨平臺，手機端CPU的速度快于目前所有已知的開源框架?；贜CNN，開發(fā)者能夠?qū)⑸疃葘W習算法輕松移植到手機端并高效執(zhí)行，開發(fā)出人工智能APP。NCNN目前已在騰訊多款應用(如QQ、Qzone、天天P圖、微信等)中使用。圖3-31所示即為騰訊優(yōu)圖官網(wǎng)。

圖3-31　騰訊優(yōu)圖官網(wǎng)

6.Caffe

2013年9月，賈揚清在GitHub正式開源Caffe，該框架的英文全稱為Convolutional Architecture For Fast Embedding，它是一個清晰、高效的深度學習框架，核心語言是C++，其代碼和框架都比較簡單，代碼易于擴展，運行速度快，也適合深入分析，十分適合初學者學習。

2017年4月18日，Meta(原Facebook)開源了Caffe2，其開發(fā)重點是性能和跨平臺的部署，而Meta旗下的PyTorch則專注于快速原型設計和研究的靈活性。圖3-32所示即為Caffe2官網(wǎng)。

圖3-32　Caffe2官網(wǎng)

7.MXNet

2016年11月，亞馬遜正式開源MXNet。該框架是一個輕量級、可移植、靈活的分布式深度學習框架，支持CNN、RNN和LSTM模型，為圖像、手寫文字、語音識別和預測及自然語言處理提供了出色的工具，其優(yōu)勢在于對分布式的支持和對內(nèi)存、顯存的優(yōu)化。同樣的深度學習模型在MXNet中往往占用較少的內(nèi)存和顯存。MXNet官網(wǎng)如圖3-33所示。

圖3-33　MXNet官網(wǎng)

8.Keras

2015年3月，谷歌正式開源Keras，其最初版本同時支持CNN和RNN，該框架以TensorFlow、Theano、CNTK作為底層引擎，并將其函數(shù)統(tǒng)一封裝。Keras官網(wǎng)如圖3-34所示。

圖3-34　Keras官網(wǎng)

2017年，Keras成為TensorFlow的默認API。至此，谷歌大力主推Keras+TensorFlow的深度學習框架，在TensorFlow 2.4.1版本中，Keras已經(jīng)集成到TensorFlow中，并以tf.keras模塊供開發(fā)者使用，如圖3-35所示。

圖3-35　tf.keras模塊

9.PyTorch

2017年1月，Meta人工智能研究院在GitHub上開源了PyTorch深度學習框架，Meta用Python重寫了基于Lua語言的深度學習庫Torch，并繼承了其靈活、動態(tài)的編程環(huán)境和友好的界面，支持以快速和靈活的方式構(gòu)建動態(tài)神經(jīng)網(wǎng)絡，還允許在訓練過程中快速更改代碼而不妨礙其性能，還在此基礎上新增了自動求導系統(tǒng)，使其成為流行的動態(tài)圖框架。

PyTorch重構(gòu)和統(tǒng)一了Caffe2和PyTorch 0.4框架的代碼庫，刪除了重復的組件并共享上層抽象，支持高效的圖模式執(zhí)行、移動端部署和廣泛的供應商集成等，同時具有PyTorch和Caffe2的優(yōu)勢。PyTorch官網(wǎng)如圖3-36所示。

圖3-36　PyTorch官網(wǎng)

10.TensorFlow

2015年11月，谷歌正式開源TensorFlow。該框架由谷歌大腦團隊開發(fā)，是一款用于機器學習的端到端開源平臺，它擁有一個全面而靈活的生態(tài)系統(tǒng)。其中包含各種工具、庫和社區(qū)資源，可以幫助開發(fā)者輕松地構(gòu)建和部署由機器學習提供支持的應用。該框架具有如下3個顯著的特點。

輕松構(gòu)建模型：在即時執(zhí)行環(huán)境中使用Keras等直觀的高階API輕松地構(gòu)建和訓練機器學習模型，該環(huán)境使我們能夠快速迭代模型并輕松地調(diào)試模型。

隨時隨地進行可靠的機器學習生產(chǎn)：無論使用哪種語言，開發(fā)人員都可以在云端、本地、瀏覽器或設備上輕松地訓練和部署模型。

強大的研究試驗：快速地將概念轉(zhuǎn)換成代碼，然后創(chuàng)建出先進的模型，并最終對外發(fā)布。

目前，TensorFlow是所有深度學習框架中生態(tài)最完整的框架之一，它由C++語言開發(fā)，支持Python、JavaScript、C++、Java、Swift、R等語言的調(diào)用。圖3-37所示即為TensorFlow官網(wǎng)。

圖3-37　TensorFlow官網(wǎng)