OpenAI 人事方面的變動(dòng)還在繼續(xù)。

今日，據(jù)外媒 The Information 報(bào)道，OpenAI 元老級人物 Alec Radford 即將離職，離職后進(jìn)行獨(dú)立研究。

據(jù)了解 Radford 信息的人士透露，Radford 表示他計(jì)劃與 OpenAI 以及其他 AI 開發(fā)者展開合作。

OpenAI 研究主管 Mark Chen 在一份聲明中表示：「我們對 Alec 及其貢獻(xiàn)有著深深的敬意和感激，并期待在他探索獨(dú)立研究的同時(shí)，繼續(xù)與他合作開展項(xiàng)目?！?/p>

也許你沒聽說過 Radford 這個(gè)人，但他參與的研究卻是重量級的，在他 2016 年加入 OpenAI 后，帶來了一系列革命性突破，比如大家熟知的初代 GPT，還主導(dǎo)了 GPT-2 的研發(fā)等等。

在前幾天火熱進(jìn)行的 NeurIPS 2024 大會(huì)上，OpenAI 前首席科學(xué)家 Ilya Sutskever 在他的演講中特別提到了 Alec Radford、 Dario Amodei 等人參與的 GPT-2、GPT-3 開創(chuàng)性工作，它們推動(dòng)了預(yù)訓(xùn)練時(shí)代以及所有進(jìn)步的到來。

有人猜測，Radford 的離職預(yù)示著 GPT-4.5 就要來了。因?yàn)橹?OpenAI 高級語音模式發(fā)布后的第二天，首席技術(shù)官 Mira Murati 官宣離職。這么推算下來，作為 GPT 系列的重磅參與者，GPT-4.5 很可能就是明天發(fā)布（畢竟是 OpenAI 連發(fā) 12 天的最后一天）。

對此，有人贊同的表示：「也許他想在離開之前完成手頭的項(xiàng)目。這并非完全不可能。」

在這條評論下，有人回答道「他雖然做了深入研究，但沒有參與任何發(fā)布（沒有走到臺前，一直在幕后），不像 Murati 或其他已經(jīng)離開的人。如果他不得不等待某件事，那么在 GPT-5 發(fā)布后離開會(huì)更合適。但老實(shí)說，他的離職在某種程度上可能有益于開源研究，因?yàn)殡x開 OpenAI 后會(huì)被允許再次發(fā)表文章。不過我不知道 OpenAI 的情況，對他們來說，前景看起來很暗淡。」

還有人表示人們低估了 Alec 對 OpenAI 以及整個(gè) AI 研究的影響。他不僅是 GPT 和 Dall-E 的主要作者，而且很可能引領(lǐng)了公司所有重要的研究方向。甚至表示他的影響力不亞于 Ilya。這對 OpenAI 來說是一個(gè)巨大的損失，但該網(wǎng)友同時(shí)也希望 Alec 可以做一些開放的研究并發(fā)表一些東西，這樣整個(gè)世界都可以受益。

此前，不列顛哥倫比亞大學(xué)教授 Jeff Clune 在 X 上發(fā)起了一個(gè)討論，「誰是世界上最重要但又最被低估的 AI 科學(xué)家？在我看來，只有一個(gè)明確的正確答案。大多數(shù)重大進(jìn)展背后都有一個(gè)人，但卻很少被提及或慶祝?！?/p>

Jeff Clune 毫不猶豫的推薦了 Alec Radford，「Radford 顯然是影響力最大但知名度最低的人。他推動(dòng)了許多令人驚嘆的發(fā)展，他應(yīng)該作為現(xiàn)代生成式人工智能之父載入史冊。Radford 也是一個(gè)非常好的人，不追求榮譽(yù)，這也是他很少受到關(guān)注的部分原因。我們更有理由談?wù)撍麑θ斯ぶ悄艿木薮笥绊?！?/p>

「Radford 的研究絕對是領(lǐng)先的。他的貢獻(xiàn)絕對是驚人的，至少三次改變了這個(gè)領(lǐng)域！我們欠他很多?！?/p>

他全程參與了 GPT 系列模型的研發(fā)

Alec Radford 是 GPT-1 的一作、GPT-2 的共同一作，其中 GPT-1 的被引數(shù)已經(jīng)達(dá)到了 11947，GPT-2 的被引數(shù)為 14828。

2018 年，GPT-1 開啟了預(yù)訓(xùn)練大模型時(shí)代，提出「半監(jiān)督（semi-supervised）」（后來普遍稱為自監(jiān)督）的方法，先在沒有標(biāo)號的數(shù)據(jù)上面訓(xùn)練一個(gè)預(yù)訓(xùn)練模型，再在少量標(biāo)號數(shù)據(jù)上面訓(xùn)練一個(gè)分辨的微調(diào)模型。

2019 年，OpenAI 在 GPT-1 的基礎(chǔ)上發(fā)布了 GPT-2，利用無監(jiān)督預(yù)訓(xùn)練模型做有監(jiān)督任務(wù)。相較于初代模型進(jìn)行諸多改進(jìn)，GPT-2 參數(shù)達(dá)到 15 億，可以執(zhí)行多樣性任務(wù)，開始學(xué)習(xí)在不需要明確監(jiān)督的情況下執(zhí)行數(shù)量驚人的任務(wù)。在 GPT-2 階段， OpenAI 去掉了 GPT-1 階段的有監(jiān)督微調(diào)（fine-tuning），成為無監(jiān)督模型。

GPT-1 論文：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

GPT-2 論文：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

不僅如此，Alec Radford 還參與了 GPT-3 論文的撰寫、以及 GPT-4 的預(yù)訓(xùn)練數(shù)據(jù)和架構(gòu)研究工作。

2020 年，到了 GPT-3 階段，參數(shù)相較于 GPT-2 增加兩個(gè)數(shù)量級以上，達(dá)到了 1750 億參數(shù)，在許多 NLP 數(shù)據(jù)集上都有很強(qiáng)的性能（包括翻譯、問題解答和完形填空任務(wù)），以及一些需要?jiǎng)討B(tài)推理或領(lǐng)域適應(yīng)的任務(wù)（如解譯單詞、在句子中使用一個(gè)新單詞或執(zhí)行算術(shù)）。

2023 年，GPT-4 開始邁向多模態(tài)模型，成為 AI 新里程碑，可以解決更復(fù)雜的問題、編寫更大型的代碼，并通過圖片產(chǎn)生文字。GPT-4 的回答準(zhǔn)確性不僅大幅提高，還具備更高水平的識圖能力，且能夠生成歌詞、創(chuàng)意文本，實(shí)現(xiàn)風(fēng)格變化。

GPT-3 論文：https://arxiv.org/pdf/2005.14165

GPT-4 技術(shù)報(bào)告：https://arxiv.org/pdf/2303.08774

根據(jù) Google Scholar 顯示，Alec Radford 的論文被引總數(shù)超過了 19 萬，其中 1 萬以上的達(dá)到 7 篇，足可見其參與工作的含金量和影響力。