這位多家公司的領(lǐng)導(dǎo)者在X上宣布，xAI——通過X向付費(fèi)用戶提供名為Grok的大型語言模型（LLM）和同名聊天機(jī)器人——已經(jīng)開始在世界上“最強(qiáng)大的AI訓(xùn)練集群”上進(jìn)行訓(xùn)練，這個(gè)被稱為孟菲斯超級(jí)集群的系統(tǒng)位于田納西州孟菲斯市。 

據(jù)當(dāng)?shù)匦侣劽襟wWREG報(bào)道，這個(gè)超級(jí)集群位于該市的西南部，是該市歷史上由新進(jìn)企業(yè)進(jìn)行的最大的資本投資，然而，xAI尚未與當(dāng)?shù)毓檬聵I(yè)公司田納西河谷管理局簽訂合同，而該合同是提供超過100兆瓦電力項(xiàng)目所必需的。 

滿載Nvidia H100 

盡管如此，馬斯克進(jìn)一步詳細(xì)說明，這個(gè)集群由10萬個(gè)液冷的H100圖形處理單元（GPU）組成，這些芯片自去年起由Nvidia提供，受到包括馬斯克的競(jìng)爭(zhēng)對(duì)手（也是前朋友）OpenAI在內(nèi)的AI模型提供商的高度需求。 

馬斯克還指出，該集群運(yùn)行在單一的RDMA（遠(yuǎn)程直接內(nèi)存訪問）結(jié)構(gòu)上，這是一種通過不增加中央處理器（CPU）負(fù)擔(dān)來在計(jì)算節(jié)點(diǎn)之間提供更高效、低延遲數(shù)據(jù)傳輸?shù)姆椒ā?nbsp;

xAI 計(jì)劃在2024年12月前提供“各項(xiàng)指標(biāo)上最強(qiáng)大的AI” 

顯然，xAI 計(jì)劃在超級(jí)集群上訓(xùn)練其自身的LLM，但更重要的是，馬斯克在回復(fù)中表示，該公司目標(biāo)是在“今年12月前”訓(xùn)練出“世界上最強(qiáng)大的AI”。 

他還表示，孟菲斯超級(jí)集群將為此提供“顯著優(yōu)勢(shì)”。 

對(duì)于他的許多雄心壯志和成功來說，馬斯克因公開提出并錯(cuò)過多個(gè)項(xiàng)目的截止日期而臭名昭著，如全自動(dòng)駕駛汽車、機(jī)器人出租車和將人類送上火星，所以我不會(huì)對(duì)2024年12月的新Grok LLM抱太大期待，但如果能在這個(gè)時(shí)間框架內(nèi)實(shí)現(xiàn)，那將是對(duì)xAI努力的一個(gè)巨大推動(dòng)。 

尤其是OpenAI、Anthropic、Google、Microsoft和Meta都在追求更強(qiáng)大、更實(shí)惠的LLM和SLM的情況下，如果xAI希望在爭(zhēng)奪客戶、用戶和注意力的AI競(jìng)賽中保持競(jìng)爭(zhēng)力，就需要一個(gè)新的、有用的模型。 

實(shí)際上，據(jù)The Information報(bào)道，OpenAI的支持者M(jìn)icrosoft正與OpenAI首席執(zhí)行官Sam Altman合作開發(fā)一個(gè)代號(hào)為Stargate、價(jià)值1000億美元的AI訓(xùn)練超級(jí)計(jì)算機(jī)。根據(jù)其發(fā)展情況，xAI的孟菲斯超級(jí)集群可能不會(huì)長(zhǎng)時(shí)間保持世界上最強(qiáng)大的地位。