馬斯克豪擲40億購10萬張H100訓(xùn)Grok 3!自曝Grok 2下月上線,巨額博弈劍指OpenAI
一邊造火箭,一邊造新能源車,一邊在推特評論區(qū)到處冒泡的馬斯克繼Grok 1.5發(fā)布后繼續(xù)為自己的AI初創(chuàng)公司造勢。
在回帖中,馬斯克宣布xAI的大語言模型Grok 2將于8月推出。
并且馬斯克為大家劃重點(diǎn):在數(shù)據(jù)訓(xùn)練方面將有大跨步。
Grok是馬斯克正式進(jìn)入生成式AI這條賽道推出的AI聊天機(jī)器人,來自一個與OpenAI、谷歌、Meta等巨頭同時(shí)扳手腕的初創(chuàng)公司xAI,不僅開源還造超算中心,可謂野心勃勃。
自今年3月以來,xAI陸續(xù)推出了Grok 1.5大語言模型和首個多模態(tài)模型Grok1.5 Vision。
xAI曾表示,Grok 1.5V在多學(xué)科推理、文檔理解、科學(xué)圖表、表格處理等多領(lǐng)域「都能媲美現(xiàn)有的前沿多模態(tài)模型」。
今年5月,馬斯克表示,xAI是一家新公司,因此Grok仍有大量準(zhǔn)備工作要做,才能與谷歌Deepmind和OpenAI相抗衡。
后來者要居上,xAI一直在暗暗發(fā)力,直指模型性能,期望能給大公司上壓力。
Grok 2:數(shù)據(jù)訓(xùn)練飛躍或有效解決「人體蜈蚣效應(yīng)」
馬斯克宣布Grok 2將在8月推出這條回帖的原帖也頗有意味。
原帖中,Cohere首席執(zhí)行官Aidan Gomez表示,由于許多人工智能模型都是根據(jù)OpenAI的輸出結(jié)果進(jìn)行訓(xùn)練的,因此會產(chǎn)生「人體蜈蚣效應(yīng)」,即模型會產(chǎn)生相同的輸出結(jié)果。
對于這一現(xiàn)象,使用大語言模型的用戶應(yīng)該深有體會。
有一位推特網(wǎng)友發(fā)現(xiàn),他雖然付了GPT-4和Claude兩份的錢,卻得到了同一份相同的錯誤答案。
這個千載難逢的抹黑GPT的機(jī)會,馬斯克自然不會錯過。
他與OpenAI之間的戰(zhàn)火早已彌漫了4個月,前段時(shí)間甚至向法院發(fā)起訴訟,指控OpenAI違反合同。
于是,借此天賜良機(jī),馬斯克狠狠地拉踩OpenAI,為即將推出的Grok造勢。
他發(fā)帖表示,從互聯(lián)網(wǎng)語料中清除掉LLM合成的錯誤數(shù)據(jù),形成高質(zhì)量數(shù)據(jù)集需要大量的工作,而8月份推出的Grok 2將是這方面的巨大進(jìn)步。
消息一出,前腳才被OpenAI封鎖API,后腳又被鴿GPT-4o語音功能的傷心用戶們紛紛表示,要轉(zhuǎn)投這個出身豪門的Grok的懷抱。
等不及了!我老早就用Grok比GPT用的多了!
等不及看到下一代Grok了!Grok 2公布之日,就是OpenAI退訂之時(shí)。
奧特曼表示:
Grok 3:豪擲40億美元買10萬個H100訓(xùn)練模型
馬斯克公布完Grok 2發(fā)行時(shí)間,繼續(xù)回復(fù)表示Grok 3將在年底推出。
并且在經(jīng)過10萬個英偉達(dá)H100 GPU的訓(xùn)練后,將成為「特別的東西」。
的確特別,首要就是特別壕。
一筆訂單十位數(shù)。那個無人在意的角落里,老黃又靠「賣鏟子」賺翻了。
科技公司都在競相打造更加智能的人工智能產(chǎn)品,H100自然成為這場AI軍備競賽的香餑餑。
H100 GPU作為AI的關(guān)鍵組件、硅谷的熱門商品,據(jù)估計(jì)每塊成本在3萬到4萬美元之間,馬斯克的十位數(shù)訂單可能有團(tuán)購價(jià)。
這意味著,Grok 3正在價(jià)值30億至40億美元的人工智能芯片上接受訓(xùn)練。但目前還不清楚這些芯片是否是xAI直接購買的,從云服務(wù)提供商那里租用GPU計(jì)算也是可能的。
The Information在5月份報(bào)道稱,馬斯克的xAI初創(chuàng)公司正在與甲骨文公司洽談,準(zhǔn)備斥資100億美元租用云服務(wù)器。
可以確定的是,馬斯克的xAI近年來的確直接購買了大量的H100。
例如,據(jù)報(bào)道,特斯拉首席執(zhí)行官將原定用于特斯拉的一批價(jià)值5億美元的英偉達(dá)H100轉(zhuǎn)用于xAI。
可以想到,基于10萬個GPU訓(xùn)練的Grok 3將比Grok 2更上一層樓。
馬斯克在今年4月接受挪威主權(quán)基金負(fù)責(zé)人Nicolai Tangen采訪時(shí)說,Grok 2需要大約2萬張H100來進(jìn)行訓(xùn)練。
到目前為止,xAI已經(jīng)發(fā)布了Grok 1和Grok 1.5,最新的Grok 1.5只提供給早期測試者和X(前身為Twitter)上的用戶。
評論區(qū)也尤其關(guān)注了Grok 2和Grok 3的用戶使用范圍,可以看出,大家對10萬張H100訓(xùn)練出來的模型頗有期待。
10萬個GPU聽起來確實(shí)很多,但是,像Meta這樣的其他科技巨頭正在購買更多的GPU。
Mark Zuckerber今年1月表示,到2024年底,Meta將購買約35萬個英偉達(dá)H100 GPU。
并且,Meta將擁有包括其他GPU在內(nèi)的約60萬個芯片。也就是說,Meta將花費(fèi)約180億美元打造AI芯片。
H100芯片的囤積數(shù)量,也成為AI人才衡量公司實(shí)力的重要標(biāo)準(zhǔn)。
人工智能初創(chuàng)公司Perplexity的創(chuàng)始人兼首席執(zhí)行官Aravind Srinivas談到,他曾試圖挖一名Meta的人工智能研究人員,但遭到拒絕,部分原因是Zuckerber保有了大量H100芯片。
Srinivas表示,我想從Meta聘請一位非常資深的研究員,你知道他們怎么說嗎?
這位研究員無情拒絕,「等你有1萬個H100 GPU的時(shí)候再來找我吧?!?/span>
由此可見,AI的核心是掌握算力,要想掌握數(shù)據(jù),就得掌握運(yùn)行數(shù)據(jù)芯片。
數(shù)據(jù)中心親自監(jiān)工
買買買之后,「工作狂」馬斯克自然不會停下腳步。
分析師Adam Jonas在6月26日公開表示,如今AI數(shù)據(jù)中心在美國各地落地,導(dǎo)致美國周邊電網(wǎng)用量激增。
而特斯拉迅速擴(kuò)張的儲能業(yè)務(wù)將幫助xAI在AI大戰(zhàn)中占領(lǐng)一席之地。
這不,supermicro CEO和創(chuàng)始人Chales Liang發(fā)推公布和馬斯克在數(shù)據(jù)中心的合照。
非常感謝馬斯克引領(lǐng)液冷技術(shù)進(jìn)入大型AI數(shù)據(jù)中心!新技術(shù)有可能幫助地球保護(hù)200億棵樹免于砍伐!
網(wǎng)友調(diào)侃道,馬斯克要不就別睡了,要不數(shù)據(jù)中心打個地鋪瞇一會兒。
根據(jù)美國對數(shù)據(jù)中心的節(jié)能要求,全國范圍內(nèi)新建數(shù)據(jù)中心要求PUE<1.2,而傳統(tǒng)的風(fēng)冷制冷方式已經(jīng)無法滿足數(shù)據(jù)中心的散熱需求,更加高效的液冷方案應(yīng)運(yùn)而生。
如何降低能耗也一直是各家公司關(guān)注的核心問題,而液冷技術(shù)具有冷卻效率高、節(jié)能環(huán)保、穩(wěn)定性強(qiáng)的優(yōu)點(diǎn)。
因此,在人工智能領(lǐng)域,隨著AI智算的需求爆發(fā),液冷方案已經(jīng)成為AI數(shù)據(jù)中心的首選。