容器中人工智能機(jī)器學(xué)習(xí)的工作負(fù)載：六件要知道的事情

作者：Kevin Casey 2021-08-02 10:15:58

企業(yè)是否準(zhǔn)備在容器中運(yùn)行人工智能和機(jī)器學(xué)習(xí)工作負(fù)載?專家表示，在采用之前需要提解決一些基本問題。

人工智能/機(jī)器學(xué)習(xí)和容器是當(dāng)今的兩個主要IT趨勢，如今已成為許多企業(yè)的主要話題。隨著企業(yè)尋找更好的方法來管理他們的人工智能和機(jī)器學(xué)習(xí)工作負(fù)載，它們越來越多地結(jié)合在一起，這是通過越來越多的商業(yè)和開源技術(shù)來實(shí)現(xiàn)的。

ISG公司的企業(yè)技術(shù)分析師Blair Hanley Frank表示：“對于IT領(lǐng)導(dǎo)者來說，最好的消息是在容器中大規(guī)模運(yùn)行機(jī)器學(xué)習(xí)的工具和流程在過去幾年中得到了顯著改善?，F(xiàn)在有很多可用的開源工具、商業(yè)產(chǎn)品和教程來幫助數(shù)據(jù)科學(xué)家和IT團(tuán)隊(duì)啟動和運(yùn)行這些系統(tǒng)。”

在容器中運(yùn)行人工智能/機(jī)器學(xué)習(xí)工作負(fù)載：6個關(guān)鍵事實(shí)

在IT領(lǐng)導(dǎo)者及其團(tuán)隊(duì)開始深入研究容器化人工智能/機(jī)器學(xué)習(xí)工作負(fù)載的基本技術(shù)方面之前，需要考慮一些原則。以下是六個要考慮的要點(diǎn)：

1.人工智能/機(jī)器學(xué)習(xí)工作負(fù)載代表工作流

Red Hat公司首席技術(shù)官Gordon Haff表示，與許多其他工作負(fù)載類型一樣，人工智能/機(jī)器學(xué)習(xí)工作負(fù)載也可以被描述為工作流。從工作流的角度思考有助于闡明有關(guān)在容器中運(yùn)行人工智能/機(jī)器學(xué)習(xí)的一些基本概念。

使用人工智能/機(jī)器學(xué)習(xí)，工作流程需要從數(shù)據(jù)的收集和準(zhǔn)備開始。Haff說，“在數(shù)據(jù)被收集、清理和處理之后，接下來是訓(xùn)練模型的時候了，根據(jù)訓(xùn)練數(shù)據(jù)調(diào)整參數(shù)。在模型得到訓(xùn)練后，工作流程的下一步是部署到生產(chǎn)。最后，數(shù)據(jù)科學(xué)家需要監(jiān)控模型在生產(chǎn)中的性能、跟蹤預(yù)測和性能指標(biāo)。”

Haff描述了這個工作流程，但并未低估在人員、流程和環(huán)境方面可能涉及的工作量。容器化可以通過帶來更高的一致性和可重復(fù)性來簡化這項(xiàng)工作。

Haff說，“傳統(tǒng)上，這個工作流程可能涉及到使用不同環(huán)境的不同人員兩到三次的切換。然而，基于容器平臺的工作流支持自助服務(wù)，越來越多地允許數(shù)據(jù)科學(xué)家負(fù)責(zé)開發(fā)模型和集成到應(yīng)用程序中。”

2.類似于其他容器化工作負(fù)載的好處

Autify公司人工智能和機(jī)器學(xué)習(xí)業(yè)務(wù)負(fù)責(zé)人Nauman Mustafa認(rèn)為，容器化在人工智能/機(jī)器學(xué)習(xí)工作流背景下具有以下三個優(yōu)勢：

模塊化：它使工作流的重要組成部分(例如模型訓(xùn)練和部署)實(shí)現(xiàn)模塊化。這類似于容器化如何在更廣泛的軟件開發(fā)世界中啟用更多模塊化架構(gòu)，即微服務(wù)。
速度：容器化加快了開發(fā)/部署和發(fā)布周期。
人員管理：容器化還可以更容易通過減少跨團(tuán)隊(duì)依賴性來管理團(tuán)隊(duì)。與其他IT領(lǐng)域一樣，隨著工作從一個功能組轉(zhuǎn)移到另一個功能組，容器化可以幫助減少“交接并忘記”的可能性。

雖然機(jī)器學(xué)習(xí)模型可能與其他應(yīng)用程序或服務(wù)有著不同的技術(shù)要求和考慮因素，但容器化的潛在好處非常相似。

Red Hat公司的數(shù)據(jù)科學(xué)家Audrey Reznik以提高人工智能/機(jī)器學(xué)習(xí)工作負(fù)載或解決方案的可遷移性和可擴(kuò)展性(例如混合云)為例。Reznik說，“容器使用的系統(tǒng)資源比裸機(jī)或虛擬機(jī)系統(tǒng)更少，這有助于加快部署速度。我喜歡使用‘你的編碼速度有多快’這句話，因?yàn)橐坏┩瓿删幋a，就可以使用容器部署解決方案。”

3.團(tuán)隊(duì)需要保持一致

只是因?yàn)槭构ぷ髁鞒谈幽K化并不意味著一切，團(tuán)隊(duì)成員再需要協(xié)同工作。

ISG公司的Frank說，“確保在容器化環(huán)境中參與構(gòu)建和操作機(jī)器學(xué)習(xí)工作負(fù)載的團(tuán)隊(duì)成員協(xié)同合作。例如，運(yùn)維工程師可能熟悉運(yùn)行Kubernetes，但可能不了解數(shù)據(jù)科學(xué)工作負(fù)載的具體需求。與此同時，數(shù)據(jù)科學(xué)家熟悉構(gòu)建和部署機(jī)器學(xué)習(xí)模型的過程，但在將它們轉(zhuǎn)移到容器或繼續(xù)運(yùn)行時可能需要他人的幫助。”

容器化應(yīng)該提高一致性和協(xié)作性，但不要將這種好處視為理所當(dāng)然的。

Red Hat公司全球軟件工程總監(jiān)Sherard Griffin說： “在結(jié)果的可重復(fù)性至關(guān)重要的世界中，企業(yè)可以使用容器來普及人工智能/機(jī)器學(xué)習(xí)技術(shù)的訪問，并允許數(shù)據(jù)科學(xué)家輕松共享和復(fù)制實(shí)驗(yàn)，同時符合最新的IT和信息安全標(biāo)準(zhǔn)。”

4.關(guān)注點(diǎn)并沒有真正改變

正如容器化的許多好處對于人工智能/機(jī)器學(xué)習(xí)與其他工作負(fù)載類型大致相同一樣，運(yùn)營重點(diǎn)的重要領(lǐng)域也是如此。以下是需要注意的三個操作要求示例，就像其他容器化應(yīng)用程序一樣：

資源分配：Mustafa指出，隨著時間的推移，適當(dāng)?shù)馁Y源分配對于優(yōu)化成本和性能仍然至關(guān)重要。如果資源分配過多，那么隨著時間的推移，將會浪費(fèi)更多的費(fèi)用;而資源分配太少，將會遇到性能問題。
可觀察性：僅僅因?yàn)榭床坏絾栴}并不意味著不存在問題。Frank說，“確保擁有必要的可觀察性軟件，以了解多容器應(yīng)用程序的行為方式。”
安全性：Positive Technologies公司機(jī)器學(xué)習(xí)工程師Alexandra Murzina說，“從安全性的角度來看，啟動人工智能/機(jī)器學(xué)習(xí)解決方案與在容器中啟動其他解決方案沒有什么不同。”這意味著諸如應(yīng)用最小特權(quán)原則(對人員和容器本身)、僅使用受信任的、經(jīng)過驗(yàn)證的容器映像、運(yùn)行時漏洞掃描和其他安全層等策略應(yīng)始終放在關(guān)注事項(xiàng)的首位。

5.容器不會解決所有潛在問題

正如自動化不會改善具有缺陷的流程一樣(只會幫助有缺陷的流程更快、更頻繁地運(yùn)行)，容器化不會解決企業(yè)的人工智能/機(jī)器學(xué)習(xí)工作負(fù)載的根本問題。

例如，如果在機(jī)器學(xué)習(xí)模型中加入偏見，在容器中運(yùn)行它們將無助于解決這個潛在的嚴(yán)重問題。

而容器化有著顯著的優(yōu)勢。這些優(yōu)勢不應(yīng)該讓任何人誤以為容器化可以解決所有問題。這也不僅僅是錯誤數(shù)據(jù)或偏見的問題。容器可以加快工作流程的各個方面，但它們實(shí)際上并沒有完成所有的工作。

凱捷公司工程技術(shù)總監(jiān)Raghu Kishore Vempati說。“容器對于運(yùn)行人工智能/機(jī)器學(xué)習(xí)工作負(fù)載非常有益。但是只是采用人工智能/機(jī)器學(xué)習(xí)工作的負(fù)載實(shí)現(xiàn)容器化并不能提高模型的效率。它只是提供了一種提高與訓(xùn)練模型和推斷模型相關(guān)的生產(chǎn)力的方法。”