埃隆·馬斯克（Elon Musk）的初創(chuàng)公司xAI開源了其第一個大型語言模型（LLM）Grok。

現(xiàn)在使任何其他企業(yè)家、程序員、公司或個人能夠接受Grok的權(quán)重——模型的人工“神經(jīng)元”或軟件模塊之間的連接強(qiáng)度，允許模型做出決策并接受輸入并以文本形式提供輸出——以及其他相關(guān)文檔，并將模型的副本用于他們想要的任何內(nèi)容，包括用于商業(yè)應(yīng)用。

“我們正在發(fā)布我們的大型語言模型Grok-1的基本模型和網(wǎng)絡(luò)架構(gòu)，”該公司在一篇博客文章中宣布?！癎rok-1 是一個 3140 億參數(shù)的專家混合模型，由 xAI 從頭開始訓(xùn)練?！?/p>

有興趣的人可以在 Grok 的 Github 頁面上或通過 torrent 鏈接下載代碼。Hugging Face 還在這里添加了一個快速下載實例。

Grok 的開源意味著什么

參數(shù)是指控制模型的權(quán)重和偏差——參數(shù)越多，通常模型越先進(jìn)、越復(fù)雜、性能越好。Grok 擁有 3140 億個參數(shù)，遠(yuǎn)遠(yuǎn)領(lǐng)先于 Meta 的 Llama 2（700 億個參數(shù)）和 Mistral 8x7B（120 億個參數(shù)）等開源競爭對手。

Grok 是在 Apache 許可證 2.0 下開源的，該許可證允許商業(yè)使用、修改和分發(fā)，盡管它不能被注冊為商標(biāo)，并且用戶不會因此而獲得任何責(zé)任或保證。此外，他們必須復(fù)制原始許可證和版權(quán)聲明，并說明他們所做的更改。

Grok 的架構(gòu)于 2023 年 10 月使用 JAX 和 Rust 上的自定義訓(xùn)練堆棧開發(fā)，融合了神經(jīng)網(wǎng)絡(luò)設(shè)計的創(chuàng)新方法。該模型將 25% 的權(quán)重用于給定的token，這是一種提高其效率和有效性的策略。

Grok 最初于 2023 年 11 月作為專有或“閉源”模型發(fā)布，到目前為止，它只能在馬斯克獨(dú)立但相關(guān)的社交網(wǎng)絡(luò) X（前身為 Twitter）上訪問，特別是通過 X Premium+ 付費(fèi)訂閱服務(wù)，每月收費(fèi) 16 美元或每年 168 美元。

但是，Grok 的發(fā)布并未包含其訓(xùn)練數(shù)據(jù)的完整語料庫。這對使用模型來說并不重要，因為它已經(jīng)被訓(xùn)練過了，但它不允許用戶看到它從中學(xué)到了什么——大概是用戶在 X 上的文本帖子（xAI 博客文章不透明地將其描述為“在大量文本數(shù)據(jù)上訓(xùn)練的基本模型，未針對任何特定任務(wù)進(jìn)行微調(diào)。

它也不包括與X上可用的實時信息的任何連接，馬斯克最初將其吹捧為Grok相對于其他LLM的主要屬性。為此，用戶仍然需要訂閱 X 上的付費(fèi)版本。

不僅僅是一項技術(shù)舉措，更是一項商業(yè)和公關(guān)策略

旨在與馬斯克于 2018 年共同創(chuàng)立并與之分道揚(yáng)鑣的 OpenAI 制造的 ChatGPT 相媲美，現(xiàn)在與之競爭，Grok 以意為“理解”的俚語命名，并被描述為“以銀河系漫游指南為藍(lán)本的人工智能”，這是英國作家道格拉斯·亞當(dāng)斯 （Douglas Adams） 于 1970 年代開創(chuàng)性的廣播劇和諷刺科幻系列叢書（2005 年被改編成一部主要電影）。

馬斯克將 Grok 定位為 ChatGPT 和其他領(lǐng)先的 LLM 的更幽默和未經(jīng)審查的版本，鑒于對 AI 審查制度的抱怨和谷歌 Gemini 令人尷尬的種族混亂圖像生成和可疑的意識形態(tài)立場，這一立場在用戶中具有新的吸引力（Gemini 至少在一個例子中暗示，馬斯克的推文可能與納粹領(lǐng)導(dǎo)人阿道夫·希特勒一樣對社會有害).當(dāng)然，Gemini受到了馬斯克和其他有影響力的科技領(lǐng)袖的強(qiáng)烈批評，包括a16z聯(lián)合創(chuàng)始人和網(wǎng)絡(luò)先驅(qū)馬克·安德森（Marc Andreessen）。

Grok 的開源顯然也是馬斯克在訴訟和對 OpenAI 的一般批評中有用的意識形態(tài)立場，他最近起訴了 OpenAI，指責(zé)他的前公司放棄了其“創(chuàng)始協(xié)議”，以非營利組織的形式運(yùn)營。OpenAI至少在輿論法庭上發(fā)布了為其辯護(hù)的電子郵件，表明馬斯克意識到并可能支持其轉(zhuǎn)向?qū)Ｓ械臓I利性技術(shù)。

X 上的 AI 社區(qū)已經(jīng)對這個版本做出了好奇和興奮的反應(yīng)。值得注意的是，技術(shù)界指出了該模型在前饋層中使用GeGLU及其歸一化方法，以致 OpenAI 的員工也發(fā)布了他們對該模型的興趣。

因此，Grok 的發(fā)布可能會給所有其他 LLM 提供商帶來壓力，尤其是其他競爭對手的開源提供商，要求他們向用戶證明他們的優(yōu)勢。

本文轉(zhuǎn)載自 ??AI技術(shù)和商業(yè)思維?? ，作者： 學(xué)習(xí)中的Leo

原文鏈接：??https://mp.weixin.qq.com/s/T4iQLt4mbS5CPpDHa38OAw??????