云設(shè)施？打的就是云設(shè)施！

戴爾已經(jīng)宣布與Facebook母公司Meta開展合作，幫助客戶輕松在本地基礎(chǔ)設(shè)施之上部署Llama 2大語(yǔ)言模型（LLM），借此擺脫對(duì)云設(shè)施的嚴(yán)重依賴。

戴爾表示，希望使用自有IT基礎(chǔ)設(shè)施部署并運(yùn)行Meta AI模型的企業(yè)客戶已經(jīng)形成了一定規(guī)模的市場(chǎng)，而戴爾正努力成為這部分業(yè)務(wù)的首選供應(yīng)商。

此項(xiàng)目以戴爾的生成式AI組合驗(yàn)證設(shè)計(jì)為核心，這套設(shè)計(jì)方案今年剛剛公布了與GPU大廠英偉達(dá)聯(lián)合開發(fā)的預(yù)測(cè)試硬件版本。除此之外，戴爾還負(fù)責(zé)提供部署和配置指導(dǎo)，幫助客戶在短時(shí)間內(nèi)順利完成設(shè)施的啟動(dòng)和運(yùn)行。

例如，戴爾已經(jīng)將Llama 2模型整合至其系統(tǒng)級(jí)調(diào)整工具當(dāng)中，借此指導(dǎo)客戶正確完成配置、實(shí)現(xiàn)其希望通過AI模型達(dá)成的目標(biāo)。

戴爾公司首席AI官Jeff Boudreau在一份聲明中表示，包括Llama 2在內(nèi)的各類生成式AI模型，有望“改變行業(yè)的運(yùn)營(yíng)與創(chuàng)新方式”。

他強(qiáng)調(diào)稱，“通過與Meta的技術(shù)合作，戴爾將提供詳盡的實(shí)施指南以及適合各類部署規(guī)模的最佳軟硬件基礎(chǔ)設(shè)施，確保所有客戶都能更輕松地使用開源生成AI模型?！?/p>

Llama 2是一套經(jīng)過預(yù)訓(xùn)練的微調(diào)語(yǔ)言模型，于今年7月首次公開亮相，具體提供三種體量選項(xiàng)：70億參數(shù)版本，130億參數(shù)版本，以及700億參數(shù)版本，不同版本分別對(duì)應(yīng)不同的硬件需求。

該模型可免費(fèi)下載以供研究用途，同時(shí)也支持部分商業(yè)應(yīng)用。Meta公司已經(jīng)與微軟和亞馬遜合作，推動(dòng)自家模型登陸Azure和AWS云平臺(tái)。

當(dāng)時(shí)就有媒體指出，由于Llama 2模型并未獲得開放源代碼促進(jìn)會(huì)（OSI）批準(zhǔn)的許可證，因此稱其為“開源”其實(shí)存在一定爭(zhēng)議。

戴爾的生成式AI驗(yàn)證設(shè)計(jì)（Validated Designs for Generative AI）計(jì)劃推出于今年8月，主張將其服務(wù)器套件與英偉達(dá)GPU、存儲(chǔ)及軟件（包括英偉達(dá)的AI Enterprise套件）相結(jié)合。戴爾公司已經(jīng)確認(rèn)將提供硬件基礎(chǔ)和配套的專業(yè)服務(wù)，以幫助客戶啟動(dòng)并運(yùn)行生成式AI負(fù)載——當(dāng)然，也要收取相應(yīng)費(fèi)用。

整套驗(yàn)證設(shè)計(jì)方案主要強(qiáng)調(diào)推理類負(fù)載，適用于涉及自然語(yǔ)言生成的應(yīng)用場(chǎng)景，例如聊天機(jī)器人和虛擬助手、營(yíng)銷與內(nèi)容創(chuàng)建等。戴爾公司還表示，后續(xù)將進(jìn)一步擴(kuò)展其產(chǎn)品組合以支持對(duì)模型的定制和微調(diào)。

根據(jù)戴爾公司的介紹，70億參數(shù)版本的Llama 2只需單個(gè)GPU即可運(yùn)行，130億參數(shù)版本則需要雙GPU承載，而700億參數(shù)版本需要8個(gè)GPU。戴爾在博文中概述了如何在PowerEdge R760xa系統(tǒng)上部署70億與130億參數(shù)兩個(gè)模型版本（https://infohub.delltechnologies.com/p/deploying-llama-2-on-the-dell-poweredge-xe9680-server/）；而700億參數(shù)版本因?yàn)樾枰?個(gè)GPU，所以只能在PowerEdge XE9680級(jí)別的服務(wù)器上運(yùn)行。