近日，Intel 開源了 BigDL，這是一個(gè)基于 Apache Spark 的分布式深度學(xué)習(xí)庫。使用 BigDL ，用戶可以將他們的深度學(xué)習(xí)應(yīng)用程序作為標(biāo)準(zhǔn)的 Spark 程序，它可以直接運(yùn)行在現(xiàn)有的 Spark 或 Hadoop 集群之上。

[[181316]]

特性：

• 豐富的深度學(xué)習(xí)支持。BigDL 模仿 Torch，提供對(duì)深度學(xué)習(xí)的全方位支持，包括數(shù)值計(jì)算(通過Tensor)和高層次神經(jīng)網(wǎng)絡(luò)。此外，用戶可以使用 BigDL 將預(yù)訓(xùn)練的 Caffe 或 Torch 模型加載到 Spark 程序中。
• 極其高的性能。為了達(dá)到高性能，BigDL 在每個(gè) Spark 任務(wù)中使用 Intel MKL和多線程編程。因此，它比單節(jié)點(diǎn) Xeon 上的開箱即用的 Caffe、Torch 或 TensorFlow 快幾個(gè)數(shù)量級(jí)。
• 有效地橫向擴(kuò)展。 BigDL 可以通過利用 Apache Spark 以及高效實(shí)施同步 SGD， 全面減少 Spark 上的通信，有效地向外擴(kuò)展，以“大數(shù)據(jù)規(guī)模”執(zhí)行數(shù)據(jù)分析。

使用場景：

• 你想要在在大數(shù)據(jù)云(Hadoop/Spark)分析(存儲(chǔ)在如 HDFS、HBase、Hive上的)海量數(shù)據(jù)。
• 你想向你的大數(shù)據(jù)(Spark)程序和/或工作流添加深度學(xué)習(xí)功能(訓(xùn)練或者預(yù)測(cè))。
• 你想利用已有的 Hadoop/Spark 集群來運(yùn)行深度學(xué)習(xí)程序，然后可以與其他工作負(fù)載動(dòng)態(tài)共享(例如，ETL、數(shù)據(jù)倉庫、功能引擎、經(jīng)典機(jī)器學(xué)習(xí)、圖像分析等)。