[[253678]]

【51CTO.com快譯】機(jī)器學(xué)習(xí)(ML)是一種用于識(shí)別模式和預(yù)測(cè)未來概率的數(shù)據(jù)分析方法，它是人工智能(AI)研究的一部分。通過將答案預(yù)確定的數(shù)據(jù)輸入到數(shù)學(xué)模型中，計(jì)算機(jī)可以訓(xùn)練自己、預(yù)測(cè)將來未知的輸入集。

雖然ML迄今已成功解決了特定的任務(wù)，但分析參數(shù)更復(fù)雜的數(shù)據(jù)需要能夠大規(guī)模部署簡(jiǎn)化操作的模型。這種機(jī)器學(xué)習(xí)將使計(jì)算機(jī)能夠從更多數(shù)量的信息中找到解決方案并使之自動(dòng)化。由于這些原因，估計(jì)到2020年AI和ML會(huì)成為推動(dòng)云計(jì)算采用的主要催化劑。ML需要大規(guī)模高效學(xué)習(xí)，并與云原生技術(shù)(尤其是容器化)集成，以便處理云端的一大批可用信息。

為此，谷歌最近宣布開發(fā)Kubeflow，這種可組合、可移植、可擴(kuò)展的ML堆?；贙ubernetes構(gòu)建而成。它為ML模型連接到容器上提供了一個(gè)開源平臺(tái)，將數(shù)據(jù)與計(jì)算放在一塊執(zhí)行，而不是在疊加層內(nèi)執(zhí)行。

Kubeflow有助于解決實(shí)現(xiàn)ML堆棧的固有難題。構(gòu)建生產(chǎn)級(jí)ML解決方案需要導(dǎo)入、轉(zhuǎn)換和可視化數(shù)據(jù)，然后大規(guī)模構(gòu)建、驗(yàn)證、訓(xùn)練和部署模型。這些堆棧經(jīng)常用不同的工具構(gòu)建而成，使得算法管理起來很復(fù)雜、結(jié)果不一致。Kubeflow 1.0提供的軟件包將各種ML工具(尤其是TensorFlow和JupyterHub)合并成一個(gè)堆棧，在擁有Kubernetes的多云環(huán)境中可以輕松傳輸。

TensorFlow

Kubeflow依靠開源編程系統(tǒng)TensorFlow來構(gòu)建機(jī)器學(xué)習(xí)模型。它的軟件庫(kù)使用張量幾何結(jié)構(gòu)，以有狀態(tài)的數(shù)據(jù)流圖這種形式來表示數(shù)據(jù)之間的線性關(guān)系。它將硬件平臺(tái)抽取出來，讓模型可以在CPU(中央處理單元)、GPU(圖形處理單元)或TPU(張量處理單元)上運(yùn)行。這些共同為低精度算術(shù)計(jì)算的高吞吐量構(gòu)筑了基礎(chǔ)。這種靈活的架構(gòu)讓它得以匯集來自各個(gè)對(duì)象的信息，從桌面系統(tǒng)、集群、服務(wù)器、移動(dòng)設(shè)備到邊緣設(shè)備，不一而足。

雖然TensorFlow用起來困難且復(fù)雜，但非常適合創(chuàng)建高級(jí)復(fù)雜的ML模型，這種模型需要可移植、可擴(kuò)展的數(shù)據(jù)管理。

JupyterHub

Kubeflow直接從Jupyter筆記本(notebook)執(zhí)行TensorFlow計(jì)算圖。Jupyter筆記本對(duì)容器友好，可以在Kubernetes或任何類型的開源基礎(chǔ)設(shè)施上運(yùn)行。它們?yōu)橛脩籼峁┝丝奢p松實(shí)現(xiàn)ML模型的環(huán)境和資源，沒有安裝和維護(hù)帶來的開銷。它們的文檔樣式格式將代碼和標(biāo)記(markdown)嵌入到同樣的文件中，從而提供計(jì)算的可見性。JupyterHub讓工程師可以立即執(zhí)行TensorFlow圖或存儲(chǔ)供以后使用，從而更有效地控制TensorFlow模型的配置。 Kubeflow依賴JupyterHub用于協(xié)作和交互式訓(xùn)練。

Kubeflow的堆棧包含另外幾個(gè)解決方案，可以補(bǔ)充TensorFlow模型的執(zhí)行。Argo用于工作流調(diào)度，SeldonCore用于復(fù)雜推理和非TensorFlow Python模型，Ambassador用作反向代理。該堆棧與Kubernetes集成，讓工程師可以高效地大規(guī)模開發(fā)、訓(xùn)練和部署ML模型。

Kubernetes

Kubernetes是一種可靠的開源容器編排工具。它將應(yīng)用程序設(shè)計(jì)標(biāo)準(zhǔn)化為模塊化、可移植、可擴(kuò)展的微服務(wù)，以便將復(fù)雜的工作負(fù)載部署到不同環(huán)境中。它采用豐富的API，可以自動(dòng)執(zhí)行眾多操作功能。Kubeflow的平臺(tái)利用Kubernetes簡(jiǎn)化TensorFlow模型的操作，并使其執(zhí)行具有云原生特性。

• 可移植性和可擴(kuò)展性：Kubernetes讓TensorFlow模型可以作為微服務(wù)加以模塊化管理，使其具有高度可移植性和可擴(kuò)展性。它們可以在不同的環(huán)境、平臺(tái)和云提供商之間輕松移動(dòng)。傳統(tǒng)上，ML堆棧是不可移動(dòng)的，將模型及其相關(guān)依賴項(xiàng)從筆記本電腦遷移到云集群的過程需要重新設(shè)計(jì)架構(gòu)方面的大量工作。Kubeflow讓這些算法訪問數(shù)據(jù)的速度可以與執(zhí)行速度一樣快。
• 自動(dòng)化和易操作性：Kubernetes提供用于管理微服務(wù)的豐富的聲明式API庫(kù)，幫助應(yīng)用程序采用端到端自動(dòng)化。Kubernetes負(fù)責(zé)處理資源管理、作業(yè)分配以及歷來很費(fèi)時(shí)的其他操作問題。Kubeflow讓工程師得以專注于編寫ML算法而不是管理操作。

云端有大量信息，但無法全部供機(jī)器學(xué)習(xí)使用。Kubeflow 1.0承諾ML能夠跟上云端數(shù)據(jù)不斷增長(zhǎng)的步伐。它將ML集成到容器編排層中，為模型提供了更強(qiáng)的可操作性、可擴(kuò)展性和可移植性。它提供了一套完整的、容器化的堆棧，可以快速簡(jiǎn)單地部署。Kubeflow 1.0讓計(jì)算機(jī)可以使用一套可靠而全面的堆棧，拿多得多的數(shù)據(jù)集來訓(xùn)練自己。了解Kubernetes是使用Kubeflow無縫部署ML模型的***步。

原文標(biāo)題：The Containerization of Machine Learning: TensorFlow, Kubernetes and Kubeflow，作者：Syed Ahmed

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】