馬斯克此前曾宣布，開(kāi)源Grok的舉措將于本周實(shí)施?，F(xiàn)在，任何其他企業(yè)家、程序員、公司或個(gè)人都可以體驗(yàn)和測(cè)試Grok——模型的人工神經(jīng)元或軟件模塊之間的連接強(qiáng)度，這些模塊使模型能夠做出決策、接受輸入并以文本形式提供輸出——以及其他相關(guān)文檔，并將模型的副本用于任何他們想要的東西，包括商業(yè)應(yīng)用。

該公司在一篇博客文章中宣布：“我們正在發(fā)布我們的大型語(yǔ)言模型Grok-1的基本模型和網(wǎng)絡(luò)架構(gòu)，Grok-1是xAI從頭開(kāi)始訓(xùn)練的3140億參數(shù)混合專家模型。”

感興趣的人可以在Github的頁(yè)面上或通過(guò)鏈接下載Grok的代碼。

Grok的開(kāi)源意味著什么

參數(shù)是指支配模型的權(quán)重和偏差——通常參數(shù)越多，模型就越先進(jìn)、越復(fù)雜、越好用。Grok擁有3140億個(gè)參數(shù)，遠(yuǎn)遠(yuǎn)領(lǐng)先于開(kāi)源競(jìng)爭(zhēng)對(duì)手，如Meta的Llama 2(700億個(gè)參數(shù))和Mistral 8x7B(120億個(gè)參數(shù))。

Grok是在Apache許可2.0下開(kāi)源的，該許可允許商業(yè)使用、修改和分發(fā)，盡管它不能被注冊(cè)為商標(biāo)，用戶也不會(huì)獲得任何責(zé)任或保證，此外，他們必須復(fù)制原始許可證和版權(quán)聲明，并說(shuō)明他們所做的更改。

Grok的體系結(jié)構(gòu)于2023年10月使用JAX和Rust上的定制訓(xùn)練堆棧開(kāi)發(fā)，結(jié)合了神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的創(chuàng)新方法，對(duì)于給定的令牌，該模型使用25%的權(quán)重，這一策略提高了其效率和效果。

Grok最初是在2023年11月發(fā)布的，當(dāng)時(shí)它是一款專有或封閉源代碼的機(jī)型，到目前為止，它只能在馬斯克獨(dú)立但相關(guān)的社交網(wǎng)絡(luò)X(前身為Twitter)上使用，特別是通過(guò)X Premium+付費(fèi)訂閱服務(wù)，費(fèi)用為每月16美元或每年168美元。

然而，Grok的發(fā)布并不包括其訓(xùn)練數(shù)據(jù)的完整語(yǔ)料庫(kù)，這對(duì)于使用模型并不重要，因?yàn)樗呀?jīng)經(jīng)過(guò)了訓(xùn)練，但它不允許用戶看到它從X上學(xué)到了什么——大概是X上的用戶文本帖子(xAI博客文章含糊地說(shuō)它是“基于大量文本數(shù)據(jù)訓(xùn)練的基礎(chǔ)模型，沒(méi)有針對(duì)任何特定任務(wù)進(jìn)行微調(diào)”)。

它也不包括任何與X上可用的實(shí)時(shí)信息的掛鉤，馬斯克最初將其吹捧為Grok相對(duì)于其他LLM的主要屬性，為此，用戶仍需要在X上訂閱付費(fèi)版本。

不僅僅是一項(xiàng)技術(shù)舉措 還是一項(xiàng)商業(yè)和公關(guān)戰(zhàn)略

為了與OpenAI的ChatGPT競(jìng)爭(zhēng)，馬斯克于2018年脫離OpenAI并創(chuàng)建了自己的大模型Grok。馬斯克將Grok定位為ChatGPT和其他領(lǐng)先的大語(yǔ)言模型的更幽默、更未經(jīng)審查的版本，鑒于人們對(duì)人工智能審查的抱怨，以及谷歌Gemini令人尷尬的混亂圖像和可疑的意識(shí)形態(tài)立場(chǎng)(Gemini在至少一個(gè)例子中暗示，馬斯克的推文對(duì)社會(huì)的影響可能與納粹領(lǐng)導(dǎo)人Adolf Hitler一樣糟糕)，這一立場(chǎng)在更廣泛的用戶中重新變得有吸引力。當(dāng)然，Gemini受到了馬斯克和其他有影響力的科技領(lǐng)袖的強(qiáng)烈批評(píng)，其中包括16z的聯(lián)合創(chuàng)始人和網(wǎng)絡(luò)先驅(qū)馬克·安德森。

Grok的開(kāi)源顯然也是馬斯克在訴訟和對(duì)OpenAI的普遍批評(píng)中有益的意識(shí)形態(tài)立場(chǎng)，他最近起訴了OpenAI，指責(zé)他的前公司放棄了《創(chuàng)始協(xié)議》，轉(zhuǎn)而以非營(yíng)利性組織的形式運(yùn)營(yíng)。OpenAI在輿論法庭上發(fā)布了為自己辯護(hù)的電子郵件，至少表明馬斯克知道并可能支持其轉(zhuǎn)向?qū)Ｓ械臓I(yíng)利性技術(shù)。

X上的人工智能社區(qū)已經(jīng)對(duì)這一發(fā)布充滿了好奇和興奮，值得注意的是，技術(shù)界指出了該模型在前饋層中使用GeGLU，以及它的歸一化方法，就連OpenAI的員工也發(fā)帖表達(dá)了他們對(duì)該模型的興趣。

因此，Grok的發(fā)布可能會(huì)給所有其他大語(yǔ)言模型提供商，特別是其他競(jìng)爭(zhēng)對(duì)手開(kāi)源提供商帶來(lái)壓力，讓他們向用戶證明他們是多么的優(yōu)越。