機(jī)器學(xué)習(xí)云平臺(tái)應(yīng)具備哪些功能?
要?jiǎng)?chuàng)建有效的深度學(xué)習(xí)模型,需要提供大量的數(shù)據(jù),對(duì)模型進(jìn)行有效的訓(xùn)練。然后安裝模型,對(duì)模型進(jìn)行監(jiān)視以防止出現(xiàn)漂移,并根據(jù)需要對(duì)其進(jìn)行重新訓(xùn)練,以此反復(fù)。
模型的訓(xùn)練需要使用非常多的計(jì)算資源,如果您已經(jīng)投資了大規(guī)模的計(jì)算資源,您可以在本地完成所有這些工作。但是,你會(huì)發(fā)現(xiàn)這些計(jì)算資源在許多時(shí)間處于非活動(dòng)狀態(tài)。如果在云平臺(tái)中進(jìn)行上述活動(dòng),則可能更具成本效益。
大多數(shù)云提供商投入大量精力來(lái)構(gòu)建其機(jī)器學(xué)習(xí)平臺(tái),以支持整個(gè)機(jī)器學(xué)習(xí)生命周期。每個(gè)端到端機(jī)器學(xué)習(xí)平臺(tái)應(yīng)提供哪些功能呢?
訓(xùn)練數(shù)據(jù)模型
當(dāng)你準(zhǔn)備好了大量的訓(xùn)練數(shù)據(jù)之后,您當(dāng)然不希望遷移這些數(shù)據(jù)。因?yàn)檫@個(gè)過(guò)程通常需要花費(fèi)非常長(zhǎng)時(shí)間,這意味著您在這段時(shí)間內(nèi)什么事也不能做。對(duì)于大型數(shù)據(jù)集,理想的情況是創(chuàng)建一個(gè)已經(jīng)存在數(shù)據(jù)的模型,從而避免大量數(shù)據(jù)遷移。
支持ETL或ELT
ETL(導(dǎo)出,轉(zhuǎn)換和加載)和ELT(導(dǎo)出,加載和轉(zhuǎn)換)是數(shù)據(jù)庫(kù)領(lǐng)域中的兩種常見數(shù)據(jù)配置技術(shù)。機(jī)器學(xué)習(xí)和深度學(xué)習(xí)非常需要這些工具,尤其是變換部分。
支持在線模型訓(xùn)練
建立良好的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型需要大規(guī)模數(shù)據(jù),將這些數(shù)據(jù)全部下載到本地進(jìn)行模型訓(xùn)練,是非常費(fèi)時(shí)過(guò)程。而且數(shù)據(jù)規(guī)模達(dá)到一定規(guī)模之后,您會(huì)發(fā)現(xiàn)很難找到本地資源來(lái)存儲(chǔ)這些數(shù)據(jù),所以支持在線模型訓(xùn)練成本云平臺(tái)必須要具有的功能。
支持scale-up and scale-out訓(xùn)練
利用云平臺(tái),幫助生成多個(gè)大型虛擬機(jī)或容器環(huán)境,加速在本地筆記本進(jìn)行的訓(xùn)練活動(dòng),這將大大較少我們的訓(xùn)練時(shí)間。
提供優(yōu)化的AI服務(wù)
云平臺(tái)為許多應(yīng)用程序提供了健壯且經(jīng)過(guò)優(yōu)化的AI服務(wù)或解決方案,而不僅僅是圖像檢測(cè)。這些包括語(yǔ)言翻譯,語(yǔ)音到文本,文本到語(yǔ)音,預(yù)測(cè)和推薦。這些服務(wù)已經(jīng)在比企業(yè)通常可用的更多數(shù)據(jù)集中進(jìn)行了培訓(xùn)和檢查。這些也安裝在具有足夠計(jì)算資源的服務(wù)端點(diǎn)上,包括加速器,以確認(rèn)在全球負(fù)載下的良好響應(yīng)時(shí)間。