機(jī)器學(xué)習(xí)是件令人興奮的事，但一系列工作是復(fù)雜和困難的。作為一名開發(fā)人員，要學(xué)習(xí)的工具實(shí)在是太多太雜了。幸運(yùn)的是，Python是一種廣泛應(yīng)用于大數(shù)據(jù)和機(jī)器學(xué)習(xí)各類工具上的語言，使用范圍極廣。機(jī)器學(xué)習(xí)通常涉及大量手動(dòng)提升的工作，組裝工作流和管道、設(shè)置數(shù)據(jù)源以及在內(nèi)部和云部署的資源之間來回分流。以下這五大Python庫可幫助加快數(shù)據(jù)管道，例如，使用AWS Lambda可對(duì)計(jì)算量較大的作業(yè)進(jìn)行碎片處理，使用TensorFlow模型可減輕TensorFlow的負(fù)載。

[[184027]]

PyWren

一個(gè)具有強(qiáng)大前提的簡單包，PyWren允許將基于Python運(yùn)行的科學(xué)計(jì)算工作負(fù)載作為AWS Lambda函數(shù)的多個(gè)實(shí)例。The New Stack中項(xiàng)目的配置文件描述了PyWren使用AWS Lambda作為并行處理系統(tǒng)，主要處理不需要消耗大量內(nèi)存或存儲(chǔ)的小項(xiàng)目。

PyWren的一個(gè)缺點(diǎn)是lambda函數(shù)最多不能運(yùn)行超過300秒。如果你的工作只需要幾分鐘，在數(shù)據(jù)集上運(yùn)行幾千次，PyWren可能是一個(gè)很好的選擇，它能夠以在用戶硬件上不可用的規(guī)模平行化云端工作。

Tfdeploy

谷歌的TensorFlow框架在機(jī)器學(xué)習(xí)領(lǐng)域脫穎而出，現(xiàn)在已經(jīng)有一個(gè)完整的1.0版本了。用戶經(jīng)常面臨一個(gè)問題：如何在不使用TensorFlow本身的情況下，利用TensorFlow訓(xùn)練模型呢?

Tfdeploy是這個(gè)問題的部分答案。它將一個(gè)訓(xùn)練有素的TensorFlow模型導(dǎo)出為“一個(gè)簡單的基于NumPy的可調(diào)用模型”，意味著該模型可以在Python中使用Tfdeploy和NumPy數(shù)學(xué)和統(tǒng)計(jì)庫作為唯一依賴。在TensorFlow中可以執(zhí)行的大多數(shù)操作也可以在Tfdeploy中執(zhí)行，可以通過標(biāo)準(zhǔn)Python隱喻方式(例如重載類)來擴(kuò)展庫行為。

壞消息是：Tfdeploy不支持GPU加速，如果使用NumPy可克服這一點(diǎn)就好了。Tfdeploy的創(chuàng)建者建議使用gNumPy項(xiàng)目作為可能的替代品。

Luigi

批量處理通常只是數(shù)據(jù)堆處理的一部分，而且還必須將所有任務(wù)串在一起成為類似工作流程的東西。Luigi由Spotify創(chuàng)建，定位于“解決運(yùn)行批處理過程相關(guān)的所有管道問題”。

使用Luigi，開發(fā)人員可以采取幾個(gè)不同的、與數(shù)據(jù)處理不相關(guān)的任務(wù)——Hive查詢，Java中的Hadoop任務(wù)，Scala中的Spark任務(wù)，從數(shù)據(jù)庫中轉(zhuǎn)儲(chǔ)表——并創(chuàng)建一個(gè)端到端運(yùn)行它們的工作流—結(jié)束。任務(wù)及其依賴關(guān)系的完整描述作為Python模塊創(chuàng)建，而不作為XML配置文件或其他數(shù)據(jù)格式創(chuàng)建，因此可以集成到其他以Python為中心的項(xiàng)目中。

Kubelib

如果你使用Kubernetes作為機(jī)器學(xué)習(xí)任務(wù)的編排系統(tǒng)，***你想要的肯定是使用Kubernetes來解決更多的問題，而不是帶來許多問題。Kubelib為Kubernetes提供了一組Pythonic接口，最初是用Jenkins script作為腳本。但是它可以在沒有Jenkins的情況下使用，它可以完成kubectl CLI或Kubernetes API暴露出的一切事情。

PyTorch

不要忘記這個(gè)最近發(fā)布的、高調(diào)的Python新產(chǎn)品，一個(gè)實(shí)現(xiàn)Torch機(jī)器學(xué)習(xí)框架的工具。PyTorch不僅將Torch移植到了Python，而且增加了許多其他便利，如GPU加速和一個(gè)允許使用共享內(nèi)存(用于跨多個(gè)內(nèi)核分區(qū)作業(yè))進(jìn)行多處理的庫。最重要的是，它可以為NumPy中的一些未加速功能提供GPU加速替換。