揭秘AI基礎(chǔ)設(shè)施堆棧，更快部署AI項(xiàng)目
譯文【51CTO.com快譯】隨著許多公司加大對AI的投入，開發(fā)人員和工程師面臨越來越大的壓力，要求他們在整個企業(yè)更快地在大規(guī)模環(huán)境下部署AI項(xiàng)目。
在這個快速發(fā)展的環(huán)境中，僅僅評估不斷擴(kuò)大的AI工具和服務(wù)生態(tài)系統(tǒng)是個重大挑戰(zhàn)，這些工具和服務(wù)常常是為不同的用戶和目的設(shè)計(jì)的。
為了應(yīng)對這一挑戰(zhàn)，我們制作了AI基礎(chǔ)設(shè)施堆棧(AI Infrastructure Stack)，這個生態(tài)圖直觀顯示了AI技術(shù)堆棧的各層和每一層內(nèi)的供應(yīng)商，更清楚地闡明了AI生態(tài)系統(tǒng)。
在英特爾資本公司，這有助于我們確定我們認(rèn)為將對AI未來產(chǎn)生最大積極影響的投資，但它也有助于開發(fā)人員和工程師確定他們需要的資源，以最卓有成效的方式交付AI項(xiàng)目。
圖1. AI基礎(chǔ)設(shè)施堆棧
該技術(shù)基礎(chǔ)設(shè)施堆棧專注于滿足開發(fā)AI方面基本需求的橫向解決方案，不管它部署在哪種類型的公司或行業(yè)。我們不包括針對特定行業(yè)的縱向解決方案。
該堆棧由7層組成，每層又分為兩部分，這包括針對全然不同的工作負(fù)載、數(shù)據(jù)量、計(jì)算和內(nèi)存需求以及SLA構(gòu)建的解決方案：
- 探索/訓(xùn)練解決方案，通過算法處理數(shù)據(jù)并創(chuàng)建模型。
- 生產(chǎn)/推理解決方案，需要建議時，使用經(jīng)過訓(xùn)練的模型予以響應(yīng)——比如識別電子商務(wù)網(wǎng)站上“你可能也喜歡”的產(chǎn)品建議，或者決定何時對自動駕駛汽車踩剎車。
連接一切的是企業(yè)的分布式引擎——跨計(jì)算資源分配工作負(fù)載的計(jì)算平臺。
棧的層數(shù)為：
- 硬件。合適的硬件是在數(shù)據(jù)中心中運(yùn)行的訓(xùn)練解決方案的基礎(chǔ)，也是在數(shù)據(jù)中心和邊緣設(shè)備中運(yùn)行的推理解決方案的基礎(chǔ)。
- 軟件加速器。這些是用于優(yōu)化機(jī)器學(xué)習(xí)(ML)庫的編譯器和低級內(nèi)核。
- 庫。這些是用于訓(xùn)練ML模型的庫。
- 數(shù)據(jù)科學(xué)框架。這一層包括將庫與其他工具集成起來的工具。
- 編排。這些工具打包、部署和管理ML訓(xùn)練和模型推理的執(zhí)行。沒有這一層，DevOps就不可能實(shí)現(xiàn)。
- 自動化。這些工具簡化并部分自動化為模型訓(xùn)練及其他ML任務(wù)準(zhǔn)備數(shù)據(jù)的工作。
- 自主。這一層的工具將使構(gòu)建、部署或維護(hù)ML模型的諸方面實(shí)現(xiàn)自動化。這就是AI訓(xùn)練AI的地方。
每一層的工具和服務(wù)加速了AI的開發(fā)和部署;然而與所有新興技術(shù)一樣，在決定使用哪種工具和服務(wù)時需要權(quán)衡和取舍。比如說，AutoML可以加快ML模型的開發(fā)，但是訓(xùn)練可能不如自定義模型來得準(zhǔn)確。
用戶要根據(jù)項(xiàng)目的需求來決定在每個層中使用哪些工具和服務(wù)。
圖2. AI基礎(chǔ)設(shè)施堆棧的更高層的詳細(xì)視圖。
AI價值鏈的頂端是編排、自動化和自主這幾層——自主層通過使AI更容易被任何人(而不僅僅是數(shù)據(jù)科學(xué)家)訪問和使用，對實(shí)現(xiàn)AI的大眾化變得更至關(guān)重要。
雖然這幾層是整個堆棧的最新層，其中AI工具和服務(wù)支持AI的持續(xù)集成和持續(xù)部署(CI/CD)，不過要注意：創(chuàng)新出現(xiàn)在整個堆棧中——打破新的邊界，提高可用性，并將AI引入到新的社區(qū)。
最后，我們用工具、服務(wù)和公司(許多是開源)方面的例子來填充模型。它們不包括市場上的所有選擇，它們對考慮AI解決方案的那些人來說就是樣本，每一層都有一系列可靠的選擇。
圖3. AI基礎(chǔ)設(shè)施堆棧中工具、服務(wù)和公司的代表性例子。
AI不再處于起步階段。對于力求利用AI來改進(jìn)產(chǎn)品和服務(wù)，或者提高效率和改進(jìn)決策的公司來說，現(xiàn)在有一個豐富的生態(tài)系統(tǒng)，其中的諸多工具和服務(wù)可用于構(gòu)建、部署和監(jiān)控ML和AI模型。
密切關(guān)注這個領(lǐng)域的所有動向以及各組成部分如何結(jié)合在一起，這關(guān)系到你的AI項(xiàng)目的成敗。
原文標(biāo)題：Demystifying the AI Infrastructure Stack，作者：Assaf Araki
【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】
