本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。

?近日，「黑客組織」EleutherAI 在打破 OpenAI 對(duì) GPT-3 的壟斷上又邁出了關(guān)鍵的一步：

發(fā)布全新 200 億參數(shù)模型，名曰「GPT-NeoX-20B」。

眾所周知，自 2020 年微軟與 OpenAI 在 GPT-3 源代碼獨(dú)家訪問權(quán)上達(dá)成協(xié)議以來，OpenAI 就不再向社會(huì)大眾開放 GPT-3 的模型代碼（盡管 GPT-1 和 GPT-2 仍是開源項(xiàng)目）。

出于對(duì)科技巨頭霸權(quán)的「反叛」，一個(gè)由各路研究人員、工程師與開發(fā)人員志愿組成的計(jì)算機(jī)科學(xué)家協(xié)會(huì)成立，立志要打破微軟與 OpenAI 對(duì)大規(guī)模 NLP 模型的壟斷，且取得了不錯(cuò)的成果。

這個(gè)協(xié)會(huì)，就是：EleutherAI。

它以古羅馬自由女神 Eleutheria 的名字命名，透露出對(duì)巨頭的不屑與反抗。

與 1750 億參數(shù)的 GPT-3 相比，GPT-NeoX-20B 的參數(shù)顯然是小巫見大巫。但 EleutherAI 對(duì)該成果十分自豪，為什么？

1 EleutherAI 的由來

首先介紹一下 EleutherAI 的發(fā)展歷史。

人工智能威脅論是一個(gè)老生常談的問題。霍金曾在《獨(dú)立報(bào)》上這樣形容人工智能的威脅：「盡管人工智能的短期影響取決于控制它的人，但長期影響卻取決于它究竟能否被控制。」

EleutherAI 的成立始于 2020 年 7 月，主要發(fā)起人是一群號(hào)稱自學(xué)成才的黑客，主要領(lǐng)導(dǎo)人包括 Connor Leahy、Leo Gao 和 Sid Black。

當(dāng)時(shí)，微軟與 OpenAI 達(dá)成對(duì) GPT-3 的控制訪問協(xié)議。聽聞風(fēng)聲，一群反叛極客就在 Discord（一個(gè)社交媒體平臺(tái) ）上說：「讓我們給 OpenAI 一個(gè)教訓(xùn)吧！」

于是，他們就基于 Discord 成立了 EleutherAI，希望建立一個(gè)能夠與 GPT-3 相媲美的機(jī)器學(xué)習(xí)模型。

創(chuàng)始人 Connor Leahy 在接受 IEEE Spectrum 的采訪時(shí)說道：

「起初這真的只是一個(gè)有趣的業(yè)余愛好，但在疫情封城期間我們沒有更好的事情可做，它的吸引力很快就變得大起來。」

「我們認(rèn)為自己是幾十年前經(jīng)典黑客文化的后裔，只是在新的領(lǐng)域，出于好奇和對(duì)挑戰(zhàn)的熱愛而對(duì)技術(shù)進(jìn)行試驗(yàn)?！?/p>

Discord 服務(wù)器現(xiàn)在有大約 10,000 名成員，但只有大約 100 或 200 人經(jīng)?；钴S，由一個(gè) 10 到 20 人組成的團(tuán)隊(duì)在開發(fā)新模型。

自成立以來，EleutherAI 的研究團(tuán)隊(duì)首先開源了基于 GPT-3 的、包含 60 億參數(shù)的 NLP 模型 GPT-J，2021 年 3 月又發(fā)布類 GPT 的27 億參數(shù)模型  GPT-Neo，可以說成長迅速。

今年2月9日，他們又與 CoreWeave 合作發(fā)布了 GPT-Neo 的升級(jí)版——GPT-NeoX-20B，官方代碼地址如下，現(xiàn)可從 The Eye on the Eye 公開下載。

• 代碼地址：https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/

它也是目前最大的可公開訪問的預(yù)訓(xùn)練通用自回歸語言模型。

在發(fā)布聲明中，Leahy 特別標(biāo)注了「標(biāo)準(zhǔn)語言建模任務(wù)的準(zhǔn)確性」和「由 HendrycksTest 評(píng)估衡量的按主題組劃分的事實(shí)知識(shí)的零樣本準(zhǔn)確性」：

2 GPT-NeoX-20B 的優(yōu)勢：免費(fèi)開放

簡單來說，GPT-NeoX-20B 是一個(gè)包含 200 億參數(shù)、預(yù)訓(xùn)練、通用、自回歸大規(guī)模語言模型。

如果你不知道是什么，想想 OpenAI 的 GPT-3，它是近兩年前震驚世界的大型語言模型，語言能力神通廣大，包括編寫計(jì)算機(jī)代碼、創(chuàng)作詩歌、生成風(fēng)格難以區(qū)分的帶有權(quán)威語氣的假新聞，甚至給它一個(gè)標(biāo)題、一句話，它就可以生成一篇文章，因?yàn)樗梢愿鶕?jù)很少的輸入信息自行「創(chuàng)作」，而且創(chuàng)作出來的東西還可以文意皆通。（題外話：就像漫威低配版的賈維斯）

必須承認(rèn)的是，OpenAI 的模型比 EleutherAI 更大，有 1750 億個(gè)參數(shù)（模型內(nèi)部編碼信息的節(jié)點(diǎn)或數(shù)字）。參數(shù)越多，模型吸收的信息就越多、越細(xì)化，因此模型就越「聰明」。

但 EleutherAI 是世界上同類模型中最大、性能最好的模型，可免費(fèi)公開獲得。

「我們希望更多的安全研究人員能夠使用這項(xiàng)技術(shù)?！筁eahy 說。

此外，EleutherAI 與 OpenAI 在訓(xùn)練大規(guī)模模型所需的計(jì)算能力上有所不同。

OpenAI 在數(shù)量不詳?shù)?Nvidia V100 Tensor Core GPU 上訓(xùn)練了 GPT-3。此后，OpenAI 的合作伙伴微軟開發(fā)了一個(gè)用于大型模型訓(xùn)練的單一系統(tǒng)，該系統(tǒng)具有超過 285000 個(gè) CPU 內(nèi)核、10000 個(gè) GPU，以及每個(gè) GPU 服務(wù)器每秒 400 Gb 的網(wǎng)絡(luò)連接。

這并沒有阻止 EleutherAI 在反 GPT-3 壟斷上的努力。他們最初使用谷歌提供的硬件作為其 TPU 研究云計(jì)劃的一部分，構(gòu)建了一個(gè)具有 60 億個(gè)參數(shù)的大型語言模型 GPT-J。對(duì)于 GPT-NeoX-20B，該小組得到了 CoreWeave 的幫助，CoreWeave 是一家專門針對(duì)基于 GPU 的工作負(fù)載的云服務(wù)提供商。

雖然 OpenAI 號(hào)稱是人工智能非盈利組織，但目前來看，其本質(zhì)還是由科技公司主導(dǎo)開發(fā)的私有模型。

EleutherAI 的數(shù)學(xué)家和人工智能研究員 Stella Biderman 對(duì) IEEE Spectrum 表示：

「這些私有模型限制了我們這種獨(dú)立的科研人員權(quán)限，如果我們不了解它的工作原理，科學(xué)家、倫理學(xué)家、整個(gè)社會(huì)就無法就這項(xiàng)技術(shù)應(yīng)該如何融入我們的生活進(jìn)行必要的對(duì)話?！?/p>

EleutherAI 的工作促進(jìn)了對(duì)大型語言模型的可解釋性、安全性和倫理的研究，受到外界肯定。

機(jī)器學(xué)習(xí)安全領(lǐng)域的主要人物 Nicholas Carlini 在最近的一篇論文中表示：「如果沒有 EleutherAI 完全公開發(fā)布 The Pile 數(shù)據(jù)集及其 GPT-Neo 系列模型，我們的研究是不可能實(shí)現(xiàn)的?！筆ile 數(shù)據(jù)集是一個(gè) 825 GB 的英文文本語料庫，用于訓(xùn)練大規(guī)模語言模型。

3 開放模型訪問權(quán)限是 AI 發(fā)展的必要條件

馬斯克不只一次發(fā)表人工智能比人類強(qiáng)這一觀點(diǎn)。他認(rèn)為人是碳基生物自帶上限。而人類進(jìn)化的速度很明顯比不上人工智能，所以人工智能遲早超過人類，這是AI最大的潛在威脅。OpenAI 也是他基于這個(gè)考量和其他科技大亨共同創(chuàng)立的。

Leahy 認(rèn)為 AI 的最大風(fēng)險(xiǎn)不是有人利用它作惡，而是構(gòu)建一個(gè)非常強(qiáng)大的 AI 系統(tǒng)，無人知道如何控制。

他說：「我們必須將人工智能視為不像我們思考的奇怪外星人?！顾a(bǔ)充說，「人工智能擅長優(yōu)化目標(biāo)，但如果給定一個(gè)愚蠢的目標(biāo)，結(jié)果可能是不可預(yù)測的。他擔(dān)心研究人員會(huì)在創(chuàng)造越來越強(qiáng)大的人工智能的競賽中過度自信，在這個(gè)過程中偷工減料?！?/p>

其實(shí)任何志同道合的計(jì)算機(jī)科學(xué)家都可以構(gòu)建一個(gè)大型語言模型，但很難獲得合適的硬件來訓(xùn)練大型語言模型，因?yàn)檫@需要非常高的資本投資，而如今只有幾百家公司擁有這種硬件。

「我們需要研究這些系統(tǒng)，以了解我們?nèi)绾慰刂扑鼈?。」EleutherAI的創(chuàng)作初衷正是通過使這種規(guī)模的模型易于訪問，從而讓有興趣的人們進(jìn)一步研究人工智能系統(tǒng)的安全使用。

反觀 OpenAI，「Open」怕不是只對(duì)金錢 Open 吧？?