在過去的一年里，咱們討論了六個(gè)開源機(jī)器學(xué)習(xí)和/或深度學(xué)習(xí)框架：Caffe，Microsoft Cognitive Toolkit（又名CNTK 2），MXNet，Scikit-learn，Spark MLlib和TensorFlow。如果把網(wǎng)撒得大些，可能還會(huì)覆蓋其他幾個(gè)流行的框架，包括Theano（一個(gè)10年之久的Python深度學(xué)習(xí)和機(jī)器學(xué)習(xí)框架），Keras（一個(gè)Theano和TensorFlow深度學(xué)習(xí)的前端），DeepLearning4j（Java和Scala在Hadoop和Spark之上的深度學(xué)習(xí)軟件）。如果你有興趣使用機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，你從來沒有像現(xiàn)在這樣多的選擇。

機(jī)器學(xué)習(xí)框架和深度學(xué)習(xí)框架之間有區(qū)別。本質(zhì)上，機(jī)器學(xué)習(xí)框架涵蓋用于分類，回歸，聚類，異常檢測(cè)和數(shù)據(jù)準(zhǔn)備的各種學(xué)習(xí)方法，并且其可以或可以不包括神經(jīng)網(wǎng)絡(luò)方法。深度學(xué)習(xí)或深度神經(jīng)網(wǎng)絡(luò)（DNN）框架涵蓋具有許多隱藏層的各種神經(jīng)網(wǎng)絡(luò)拓?fù)?。這些層包括模式識(shí)別的多步驟過程。網(wǎng)絡(luò)中的層越多，可以提取用于聚類和分類的特征越復(fù)雜。

Caffe，CNTK，DeepLearning4j，Keras，MXNet和TensorFlow是深度學(xué)習(xí)框架。 Scikit-learning和Spark MLlib是機(jī)器學(xué)習(xí)框架。 Theano跨越了這兩個(gè)類別。

一般來說，深層神經(jīng)網(wǎng)絡(luò)計(jì)算在GPU（特別是Nvidia CUDA通用GPU，大多數(shù)框架）上運(yùn)行的速度要比CPU快一個(gè)數(shù)量級(jí)。一般來說，更簡(jiǎn)單的機(jī)器學(xué)習(xí)方法不需要GPU的加速。

雖然你可以在一個(gè)或多個(gè)CPU上訓(xùn)練DNN，訓(xùn)練往往是緩慢的，慢慢我不是說秒或分鐘。需要訓(xùn)練的神經(jīng)元和層數(shù)越多，可用于訓(xùn)練的數(shù)據(jù)越多，需要的時(shí)間就越長(zhǎng)。當(dāng)Google Brain小組在2016年針對(duì)新版Google翻譯訓(xùn)練語言翻譯模型時(shí)，他們?cè)诙鄠€(gè)GPU上同時(shí)運(yùn)行了一周的訓(xùn)練時(shí)間。沒有GPU，每個(gè)模型訓(xùn)練實(shí)驗(yàn)將需要幾個(gè)月。

這些框架中每一個(gè)框架具有至少一個(gè)顯著特征。 Caffe的強(qiáng)項(xiàng)是用于圖像識(shí)別的卷積DNN。 Cognitive Toolkit有一個(gè)單獨(dú)的評(píng)估庫，用于部署在ASP.Net網(wǎng)站上工作的預(yù)測(cè)模型。 MXNet具有良好的可擴(kuò)展性，可用于多GPU和多機(jī)器配置的訓(xùn)練。 Scikit-learn具有廣泛的強(qiáng)大的機(jī)器學(xué)習(xí)方法，易學(xué)已用。 Spark MLlib與Hadoop集成，具有良好的機(jī)器學(xué)習(xí)可伸縮性。 TensorFlow為其網(wǎng)絡(luò)圖TensorBoard提供了一個(gè)獨(dú)特的診斷工具。

另一方面，所有深度學(xué)習(xí)框架在GPU上的訓(xùn)練速度幾乎相同。這是因?yàn)橛?xùn)練內(nèi)循環(huán)在Nvidia CuDNN包中花費(fèi)大部分時(shí)間。然而，每個(gè)框架采用一種不同的方法來描述神經(jīng)網(wǎng)絡(luò)，具有兩個(gè)主要的陣營(yíng)：使用圖形描述文件的陣營(yíng)，以及通過執(zhí)行代碼來創(chuàng)建它們的描述的陣營(yíng)。

考慮到這一點(diǎn)，讓我們來看看每一個(gè)框架的特性。

Caffe（咖啡）

Caffe深度學(xué)習(xí)項(xiàng)目，最初是一個(gè)強(qiáng)大的圖像分類框架，似乎停滯不前，基于它的持續(xù)的bug，以及它已被卡住1.0版RC3一年多的事實(shí)，并且創(chuàng)始人已離開項(xiàng)目。它仍然有良好的卷積網(wǎng)絡(luò)圖像識(shí)別和良好的支持Nvidia CUDA GPU，以及一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)描述格式。另一方面，它的模型通常需要大量的GPU內(nèi)存（超過1GB）運(yùn)行，它的文檔是多斑點(diǎn)和問題，支持很難獲得，安裝是iffy，特別是對(duì)于它的Python筆記本支持。

Caffe有命令行，Python和Matlab接口，它依靠ProtoText文件來定義它的模型和求解器。 Caffe在其自己的模型模式中逐層定義網(wǎng)絡(luò)。網(wǎng)絡(luò)定義從輸入數(shù)據(jù)到丟失的整個(gè)模型。當(dāng)數(shù)據(jù)和派生數(shù)據(jù)在前向和后向遍歷網(wǎng)絡(luò)時(shí)，Caffe存儲(chǔ)，通信和操作信息為blob（二進(jìn)制大對(duì)象），內(nèi)部是以C連續(xù)方式存儲(chǔ)的N維數(shù)組（表示行該數(shù)組被存儲(chǔ)在連續(xù)的存儲(chǔ)器塊中，如在C語言中）。 Blob之于Caffe如Tensor之于TensorFlow。

圖層對(duì)blob執(zhí)行操作，并構(gòu)成Caffe模型的組件。層卷積濾波器，執(zhí)行池，取內(nèi)部乘積，應(yīng)用非線性（諸如整流線性和S形以及其他元素方面的變換），歸一化，加載數(shù)據(jù)和計(jì)算諸如softmax和鉸鏈的損失。

Caffe已經(jīng)證明其在圖像分類中的有效性，但它的時(shí)刻似乎已經(jīng)過去了。除非現(xiàn)有的Caffe模型符合您的需要，或者可以根據(jù)您的目的進(jìn)行微調(diào)，我建議使用TensorFlow，MXNet或CNTK。

在NBViewer中顯示的預(yù)先計(jì)算的CaffeJupyter筆記本。這本筆記本解釋了使用一只可愛的小貓?jiān)贑affe網(wǎng)絡(luò)上做“手術(shù)”。

Microsoft Cognitive Toolkit（Microsoft認(rèn)知工具包）

Microsoft Cognitive Toolkit是一個(gè)快速，易用的深度學(xué)習(xí)軟件包，但與TensorFlow相比，其范圍有限。它有各種各樣的模型和算法，極好的支持Python和Jupyter筆記本，一個(gè)有趣的聲明性神經(jīng)網(wǎng)絡(luò)配置語言BrainScript，以及在Windows和Ubuntu Linux環(huán)境下自動(dòng)部署。

在缺點(diǎn)方面，當(dāng)我審查Beta 1的文檔還沒有完全更新到CNTK 2，并且包沒有對(duì)MacOS支持。雖然自Beta 1以來，CNTK 2有許多改進(jìn)，包括新的內(nèi)存壓縮模式，以減少GPU和新的Nuget安裝包的內(nèi)存使用，但對(duì)MacOS支持仍然缺失。

為Beta 1添加的PythonAPI有助于將認(rèn)知工具包帶入主流的、用Python碼的、深度學(xué)習(xí)研究人員當(dāng)中。 API包含模型定義和計(jì)算、學(xué)習(xí)算法、數(shù)據(jù)讀取和分布式訓(xùn)練的抽象。作為PythonAPI的補(bǔ)充，CNTK 2具有新的Python示例和教程，以及對(duì) Google Protocol Buffer序列化的支持。教程以Jupyter筆記本實(shí)現(xiàn)。

CNTK 2組件可以處理來自Python，C ++或BrainScript的多維密集或稀疏數(shù)據(jù)。認(rèn)知工具包包括各種各樣的神經(jīng)網(wǎng)絡(luò)類型：FFN（前饋），CNN（卷積），RNN/ LSTM（遞歸/長(zhǎng)期短期記憶），批次標(biāo)準(zhǔn)化和序列注意序列。它支持強(qiáng)化學(xué)習(xí)，生成對(duì)抗網(wǎng)絡(luò)，監(jiān)督和非監(jiān)督學(xué)習(xí)，自動(dòng)超參數(shù)調(diào)整，以及從Python添加新的，用戶定義的核心組件在GPU上運(yùn)行的能力。它能夠在多個(gè)GPU和機(jī)器上做到精確的并行性，而且（微軟聲稱）它甚至可以適應(yīng)***的模型到GPU內(nèi)存。

CNTK 2 API支持從Python，C ++和BrainScript定義網(wǎng)絡(luò)，學(xué)習(xí)者，讀者，培訓(xùn)和評(píng)估。他們還支持使用C＃進(jìn)行評(píng)估。 Python API與NumPy互操作，并包括一個(gè)高級(jí)層級(jí)庫，可以精確定義包括復(fù)現(xiàn)在內(nèi)的高級(jí)神經(jīng)網(wǎng)絡(luò)。該工具包支持以符號(hào)形式表示循環(huán)模型作為神經(jīng)網(wǎng)絡(luò)中的循環(huán)，而不需要靜態(tài)展開循環(huán)步驟。

您可以在Azure網(wǎng)絡(luò)和GPU上訓(xùn)練CNTK 2模型。配備GPU的N系列Azure虛擬機(jī)系列，在我審核Beta 1時(shí)受到限制，現(xiàn)在通?？梢詮腁zure控制臺(tái)獲得并完全管理。

幾個(gè)CNTK 2 / Microsoft Cognitive Toolkit教程以Jupyter筆記本提供。該圖顯示了Logistic回歸訓(xùn)練的繪制的可視化。

MXNet

MXNet是一個(gè)可移植的、可伸縮的深度學(xué)習(xí)庫，是亞馬遜的DNN框架的選擇，結(jié)合了神經(jīng)網(wǎng)絡(luò)幾何的象征性聲明與張量操作的命令性編程。 MXNet可跨多個(gè)主機(jī)擴(kuò)展到多個(gè)GPU，接近線性擴(kuò)展效率為85％，具有出色的開發(fā)速度、可編程性和可移植性。它支持Python，R，Scala，Julia和C ++，支持程度各不相同，它允許你混合符號(hào)和命令式編程風(fēng)格。

在我***次評(píng)論MXNet時(shí)，文檔感覺還沒有完成，除Python之外，我發(fā)現(xiàn)很少有其它語言的例子。自從我評(píng)論以后，這兩種情況都有所改善。

MXNet平臺(tái)是建立在一個(gè)動(dòng)態(tài)依賴調(diào)度器上的，它可以自動(dòng)并行化符號(hào)和命令式操作，但是你必須告訴MXNet要使用哪些GPU和CPU核心。在調(diào)度器頂部的圖優(yōu)化層使符號(hào)執(zhí)行快速和內(nèi)存高效。

MXNet目前支持用Python，R，Scala，Julia和C ++構(gòu)建和訓(xùn)練模型；訓(xùn)練的MXNet模型也可以用于Matlab和JavaScript中的預(yù)測(cè)。無論您選擇哪種語言來構(gòu)建模型，MXNet都會(huì)調(diào)用優(yōu)化的C ++后端引擎。

MXNet作者認(rèn)為他們的API是Torch、Theano、Chainer和Caffe提供的一個(gè)超集，盡管對(duì)GPU集群有更多的可移植性和支持。在許多方面MXNet類似于TensorFlow，但增加了嵌入命令張量操作的能力。

除了實(shí)際強(qiáng)制的MNIST數(shù)字分類之外，MXNet教程的計(jì)算機(jī)視覺包含使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像分類和分割，使用更快的R-CNN的對(duì)象檢測(cè)，神經(jīng)藝術(shù)和使用深度CNN的大規(guī)模圖像分類和ImageNet數(shù)據(jù)集。還有自然語言處理、語音識(shí)別、對(duì)抗網(wǎng)絡(luò)以及監(jiān)督和非監(jiān)督機(jī)器學(xué)習(xí)的其他教程。

亞馬遜測(cè)試了在P2.16xlarge實(shí)例上的MXNet中實(shí)現(xiàn)的Inception v3算法，發(fā)現(xiàn)其伸縮效率為85％。

Scikit-learn

Scikit-learn Python框架具有廣泛的可靠的機(jī)器學(xué)習(xí)算法，但沒有深度學(xué)習(xí)算法。如果你是一個(gè)Python粉絲，Scikit-learn可能是一般機(jī)器學(xué)習(xí)庫中***選擇。

Scikit-learn是一個(gè)強(qiáng)大的，成熟的機(jī)器學(xué)習(xí)Python庫，包含各種各樣成熟的算法和集成圖。它相對(duì)容易安裝、學(xué)習(xí)和使用，帶有很好的例子和教程。

在另一方面，Scikit-learn不包括深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)，缺少圖模型和序列預(yù)測(cè)，并且除Python之外，不能真正使用其它語言。它不支持PyPy，Python即時(shí)編譯器或GPU。也就是說，除了它的少量進(jìn)入神經(jīng)網(wǎng)絡(luò)，它不會(huì)真的有速度問題。它使用Cython（Python到C編譯器）來處理需要快速的函數(shù)，例如內(nèi)循環(huán)。

Scikit-learn對(duì)分類、回歸、聚類、降維、模型選擇和預(yù)處理算法具有很好的選擇。它有所有這些的良好的文檔和示例，但沒有任何種類的指導(dǎo)工作流以完成這些任務(wù)。

Scikit-learn贏得了易于開發(fā)的***分，主要是因?yàn)樗惴ǘ枷駨V告和文檔一樣工作，API是一致的，設(shè)計(jì)良好，數(shù)據(jù)結(jié)構(gòu)之間幾乎沒有“阻抗不匹配”。函數(shù)庫其中的功能已徹底充實(shí)，錯(cuò)誤徹底消除，用來開發(fā)十分愉快。

本示例使用Scikit-learn的小手寫數(shù)字?jǐn)?shù)據(jù)集來演示使用Label Spreading模型的半監(jiān)督學(xué)習(xí)。在1,797總樣本中只有30個(gè)被標(biāo)記。

另一方面，函數(shù)庫沒有涵蓋深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)，這隱藏了當(dāng)前困難但重要的問題，例如準(zhǔn)確的圖像分類和可靠的實(shí)時(shí)語言解析和翻譯。顯然，如果你對(duì)深度學(xué)習(xí)感興趣，你應(yīng)該另覓他處。

然而，存在許多問題，從建立鏈接不同觀察值的預(yù)測(cè)函數(shù)到分類觀察值到學(xué)習(xí)未標(biāo)記數(shù)據(jù)集的結(jié)構(gòu)，這使得它們適應(yīng)于普通的老的機(jī)器學(xué)習(xí)，而不需要數(shù)十層的神經(jīng)元，對(duì)于這些領(lǐng)域 Scikit-learn 是非常好的選擇。

Spark MLlib

Spark MLlib是Spark的開源機(jī)器學(xué)習(xí)庫，提供了通用的機(jī)器學(xué)習(xí)算法，如分類、回歸、聚類和協(xié)同過濾（但不包括DNN）以及特征提取、轉(zhuǎn)換、維數(shù)降低工具，以及構(gòu)建、評(píng)估和調(diào)整機(jī)器學(xué)習(xí)管道選擇和工具。Spark MLlib還包括用于保存和加載算法、模型和管線、用于數(shù)據(jù)處理以及進(jìn)行線性代數(shù)和統(tǒng)計(jì)的實(shí)用程序。

Spark MLlib是用Scala編寫的，并使用線性代數(shù)包Breeze。 Breeze依靠netlib-java來優(yōu)化數(shù)值處理，雖然在開源分布中意味著優(yōu)化使用CPU。 Databricks提供與GPU配合使用的定制Spark集群，這有可能為您帶來另一個(gè)10倍的速度改進(jìn)，用于訓(xùn)練具有大數(shù)據(jù)的復(fù)雜機(jī)器學(xué)習(xí)模型。

MLlib實(shí)現(xiàn)了大量的分類和回歸的常用算法和模型，新手可能變得混亂不堪，無可適從，但專家最終可能會(huì)為分析數(shù)據(jù)找到一個(gè)很好的模型的數(shù)據(jù)。對(duì)于這么多的模型Spark2.x增加了超參數(shù)調(diào)優(yōu)的重要特性，也稱為模型選擇。超參數(shù)t允許調(diào)優(yōu)分析人員設(shè)置參數(shù)網(wǎng)格、估計(jì)器和評(píng)估器，并且它允許交叉驗(yàn)證方法（耗時(shí)但準(zhǔn)確）或訓(xùn)練驗(yàn)證分割方法（更快但不太準(zhǔn)確）找到***數(shù)據(jù)模型。

Spark MLlib擁有針對(duì)Scala和Java的完整API，主要是針對(duì)Python的完整API以及針對(duì)R的粗略部分API。您可以通過計(jì)算示例來獲得良好的覆蓋率：54個(gè)Java和60個(gè)Scala機(jī)器學(xué)習(xí)示例，52個(gè)Python機(jī)器學(xué)習(xí)示例，只有五個(gè)R示例。在我的經(jīng)驗(yàn)中，Spark MLlib是最容易使用Jupyter筆記本，但你可以肯定地在控制臺(tái)運(yùn)行它，如果你馴服詳細(xì)的Spark狀態(tài)消息。

Spark MLlib提供了你想要的基本機(jī)器學(xué)習(xí)、特性選擇、管道和持久性的任何東西。它在分類、回歸、聚類和過濾方面做得相當(dāng)不錯(cuò)。鑒于它是Spark的一部分，它具有訪問數(shù)據(jù)庫、流和其他數(shù)據(jù)源的強(qiáng)大訪問權(quán)限。另一方面，SparkMLlib并不真正采用與TensorFlow，MXNet，Caffe和Microsoft Cognitive Toolkit相同的方式建模和訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)。

Spark MLlibPython示例（Naive Bayes）作為Databricks筆記本。注意解釋，代碼和輸出如何散布。

TensorFlow

TensorFlow，Google的可移植機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)庫，執(zhí)行和伸縮性很好，雖然它有點(diǎn)難學(xué)。TensorFlow擁有各種各樣的模型和算法，它們對(duì)深度學(xué)習(xí)非常重視，并且在具有GPU（用于訓(xùn)練）或Google TPU（用于生產(chǎn)規(guī)模預(yù)測(cè)）的硬件上具有出色的性能。它還具有對(duì)Python的良好支持，良好的文檔和良好的軟件，用于顯示和理解描述其計(jì)算的數(shù)據(jù)流圖TensorBoard。

數(shù)據(jù)流圖中的節(jié)點(diǎn)表示數(shù)學(xué)運(yùn)算，而圖的邊表示在它們之間流動(dòng)的多維數(shù)據(jù)數(shù)組（張量）。這種靈活的架構(gòu)允許您將計(jì)算部署到桌面、服務(wù)器或移動(dòng)設(shè)備中的一個(gè)或多個(gè)CPU或GPU，而無需重寫代碼。

使用TensorFlow的主要語言是Python，雖然對(duì)C ++有限的支持。TensorFlow提供的教程包括手寫數(shù)字分類。圖像識(shí)別、字嵌入、遞歸神經(jīng)網(wǎng)絡(luò)，用于機(jī)器翻譯的序列到序列模型、自然語言處理和基于PDE（偏微分方程）的模擬的應(yīng)用。

TensorFlow可以方便地處理各種神經(jīng)網(wǎng)絡(luò)，包括目前正在急劇變化的圖像識(shí)別和語言處理領(lǐng)域的深度CNN和LSTM遞歸模型。用于定義圖層的代碼可能fan，但是您方便但不詳細(xì)，可以使用三個(gè)可選的深度學(xué)習(xí)界面中的任何一個(gè)來修復(fù)它。雖然調(diào)試異步網(wǎng)絡(luò)求解器可以是平凡的，但TensorBoard軟件可以幫助您可視化圖。

TensorBoard顯示TensorFlow計(jì)算的圖形。我們放大了幾個(gè)部分來檢查圖形的細(xì)節(jié)。

總結(jié)

對(duì)于任何給定的預(yù)測(cè)任務(wù)，您應(yīng)該使用哪種機(jī)器學(xué)習(xí)或深度學(xué)習(xí)包取決于機(jī)器學(xué)習(xí)的復(fù)雜性，用于訓(xùn)練的數(shù)據(jù)量和形式，您的計(jì)算資源以及您的編程語言偏好和技能。它也可能取決于您是否喜歡使用代碼或配置文件定義模型。

但是，在開始自己的模型訓(xùn)練考察之前，您可能希望了解來自Google，HPE和MicrosoftAzure云的任何預(yù)先訓(xùn)練的應(yīng)用機(jī)器學(xué)習(xí)服務(wù)是否能夠處理您的數(shù)據(jù)，無論是語音、文本或圖像。如果他們對(duì)你的數(shù)據(jù)不能很好地工作，你可能還想在嘗試基本的機(jī)器學(xué)習(xí)訓(xùn)練（***，如果沒有其他工作）深度學(xué)習(xí)訓(xùn)練之前，看看你能用簡(jiǎn)單的統(tǒng)計(jì)方法獲得多大的好處。這里的原則是保持分析盡可能簡(jiǎn)單，但不是更簡(jiǎn)單。

在我討論的兩個(gè)基本的機(jī)器學(xué)習(xí)包，我建議喜歡Scala和在Hadoop中有他們的數(shù)據(jù)的使用Spark MLlib 。我建議喜歡Python的人Scikit-learn。

我應(yīng)該提到那些喜歡Scala（和Java）的人和在Hadoop中有他們的數(shù)據(jù)的人的另一個(gè)選擇事Deeplearning4j。我沒有評(píng)論他，但是，因?yàn)槠涿Q意味著它是一個(gè)學(xué)習(xí)深度包。

選擇Caffe，Microsoft Cognitive Toolkit，MXNet和TensorFlow的深度學(xué)習(xí)包是一個(gè)更困難的決定。我不再建議使用Caffe，因?yàn)樗陌l(fā)展停滯不前。然而，選擇其他三個(gè)中的一個(gè)仍然是棘手，因?yàn)閷?duì)于具有類似功能，它們都是***的選擇。

Cognitive Toolkit現(xiàn)在有Python和C ++ API以及網(wǎng)絡(luò)配置語言BrainScript。如果您喜歡使用配置文件而不是編程網(wǎng)絡(luò)拓?fù)洌敲碈ognitiveToolkit可能是一個(gè)不錯(cuò)的選擇。另一方面，它似乎不像TensorFlow一樣成熟，它不能在MacOS上運(yùn)行。

MXNet支持Python、R、Scala、Julia和C ++，但其支持***的API是用Python開發(fā)的。 MXNet在多個(gè)主機(jī)上的多個(gè)GPU上展示出良好的伸縮性（85％的線性）。當(dāng)我評(píng)論MXNet的文檔和示例是吝嗇的，但他們已經(jīng)改進(jìn)了。

TensorFlow可能是三個(gè)包中最成熟的，并且它是一個(gè)很好的選擇，只要你喜歡編寫Python，并可以克服學(xué)習(xí)曲線。 TensorFlow具有你可以使用基本的構(gòu)建塊，它給你細(xì)粒度的控制，但也需要你編寫大量的代碼來描述一個(gè)神經(jīng)網(wǎng)絡(luò)。有三個(gè)簡(jiǎn)化的API與TensorFlow一起工作來解決這個(gè)問題：tf.contrib.learn，TF-Slim和Keras。支持TensorFlow的最終考慮是TensorBoard，它對(duì)于可視化和理解您的數(shù)據(jù)流圖非常有用。

文章來源：網(wǎng)路冷眼｜翻譯