OpenAI野心:用1000萬張顯卡訓(xùn)練AI 10倍于NV年產(chǎn)能
在生成式AI領(lǐng)域,推出了ChatGPT的OpenAI是處于領(lǐng)先地位的,他們的GPT-4已經(jīng)是萬億參數(shù)級別,還在訓(xùn)練更先進(jìn)的GPT-5,屆時(shí)又會(huì)在技術(shù)水平上甩開國內(nèi)的追趕者。
OpenAI能夠領(lǐng)先,先進(jìn)AI顯卡用到的GPU是功不可沒的,背靠微軟這棵大樹,他們在算力資源上不會(huì)受到限制,GPT-4的訓(xùn)練就使用了2萬張NVIDIA的AI顯卡訓(xùn)練。
但是萬張顯卡級別的算力還不是終點(diǎn),今年也投身AI創(chuàng)業(yè)的前搜狗CEO王小川日前在采訪中透露了OpenAI的動(dòng)向,提到后者正在做更先進(jìn)的訓(xùn)練方法,設(shè)計(jì)能夠?qū)?000萬張GPU連在一起的計(jì)算模型。
1000萬張GPU是什么概念?目前NVIDIA每年的產(chǎn)量也就是100萬塊GPU(應(yīng)該主要是指AI方面的GPU),OpenAI的規(guī)模相當(dāng)于10倍于NVIDIA年產(chǎn)能的水平。
王小川稱OpenAI的1000萬張GPU算力的目標(biāo)是登月級別的計(jì)劃,顯然認(rèn)為它很偉大。
不說這些GPU顯卡能不能生產(chǎn)出來,購買花費(fèi)多少,光是1000萬張顯卡互聯(lián)的難度都是不可想象的,OpenAI要是做到了就真的無敵于天下了。
不過這也非常讓人懷疑OpenAI是否表達(dá)錯(cuò)了,還是王小川聽來的投行報(bào)告寫錯(cuò)了,從幾萬張GPU到1000萬張GPU的互聯(lián)難度可不是一個(gè)級別的。