Ilya出走加劇OpenAI離職潮！RLHF作者Jan Leike同日辭職，超級(jí)對(duì)齊項(xiàng)目分崩離析
Ilya Sutskever宣布退出OpenAI，震動(dòng)整個(gè)AI圈。
數(shù)小時(shí)后，RLHF發(fā)明者之一Jan Leike也追隨他的腳步一起離開(kāi)，再次給OpenAI的前途蒙上了一層陰影。
兩人共同領(lǐng)導(dǎo)的超級(jí)對(duì)齊團(tuán)隊(duì)成立還不到一年，已經(jīng)分崩離析。
△他甚至不留下一句客套話
Jan Leike在GPT-4項(xiàng)目上與Ryan Lowe共同領(lǐng)導(dǎo)了對(duì)齊工作，而后者也已于3月底離開(kāi)OpenAI。
所以說(shuō)不止超級(jí)對(duì)齊團(tuán)隊(duì)，而是整個(gè)OpenAI安全研究方向的人才，都在持續(xù)動(dòng)蕩中。
超級(jí)對(duì)齊成員之一William Saunders，以及參與過(guò)GPT-4對(duì)抗性測(cè)試的Daniel Kokotajlo，此前兩人均已離開(kāi)OpenAI。
其中Kokotajlo在Less Wrong論壇留下了自己的理由：
對(duì)OpenAI能否在AGI時(shí)代負(fù)責(zé)任的行動(dòng)失去了信心。
按他的說(shuō)法，當(dāng)前的AI監(jiān)管努力集中在“評(píng)估風(fēng)險(xiǎn)和采取緩解措施”的組合上，這種組合很容易被大型公司鉆空子利用，最終導(dǎo)致“選擇性暫?！?/strong>，也就是最需要被監(jiān)管的前沿大型AI實(shí)驗(yàn)室反而沒(méi)被監(jiān)管到。
“幻滅了”，這是他用來(lái)形容辭職原因的說(shuō)法，可能也代表了所有這些AI安全研究人員的心情。
對(duì)于這一系列事件，有網(wǎng)友表示：Ilya和Leike離開(kāi)后，OpenAI可能不再是原來(lái)的OpenAI了。
還有人更悲觀一些，失去兩人以后，把對(duì)OpenAI能做好AGI的預(yù)期調(diào)整為零。
以及AI安全問(wèn)題如此重要，讓人們無(wú)法以看熱鬧的心態(tài)來(lái)看待這些“抓馬”。
超級(jí)對(duì)齊團(tuán)隊(duì)或不復(fù)存在
為什么Jan Leike的離開(kāi)引起這么大影響？
他早年在DeepMind工作，與OpenAI團(tuán)隊(duì)共同開(kāi)發(fā)了人類反饋強(qiáng)化學(xué)習(xí)RLHF，后來(lái)成為ChatGPT的核心技術(shù)之一。
加入OpenAI后，從代碼大模型Codex、ChatGPT的前身InstrucGPT，到ChatGPT、GPT-4他都是重要貢獻(xiàn)者。
在去年11月的OpenAI董事會(huì)叛變風(fēng)波中，Jan Leike也發(fā)揮了關(guān)鍵作用，可能是促成Ilya最終回心轉(zhuǎn)意結(jié)束亂局的因素之一。
2023年底，《時(shí)代》雜志將他列為人工智能領(lǐng)域100名最具影響力的人物之一。
2023年7月，Jan與Ilya發(fā)起了OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)，拿出20%總算力，直接越級(jí)瞄準(zhǔn)如何控制還不存在的超級(jí)智能。
對(duì)于不同時(shí)間尺度的AI風(fēng)險(xiǎn)，OpenAI有三個(gè)團(tuán)隊(duì)來(lái)分別應(yīng)對(duì)，其中超級(jí)對(duì)齊負(fù)責(zé)遙遠(yuǎn)的未來(lái)。
超級(jí)對(duì)齊團(tuán)隊(duì)的第一個(gè)成果《Weak-to-Strong Generalization》，試圖證明通過(guò)弱模型監(jiān)管強(qiáng)模型是一條行之有效的路徑
此外他們還開(kāi)源了用于分析大模型可解釋性的工具OpenAI Transformer Debugger。
這個(gè)工具結(jié)合了自動(dòng)可解釋性技術(shù)和稀疏自動(dòng)編碼器，支持神經(jīng)元和注意力頭干預(yù)，讓研究者無(wú)需便攜代碼即可獲得數(shù)據(jù)。
除了研究之外，超級(jí)對(duì)齊團(tuán)隊(duì)此前還有一系列資助AI安全研究的計(jì)劃，第一期總計(jì)向?qū)W校、非營(yíng)利組織和個(gè)人發(fā)放了1000萬(wàn)美元資金。
可能也就此成為絕唱。
One More Thing
在大量人才持續(xù)出走的同時(shí)，OpenAI也引進(jìn)了一些新鮮血液。
最新消息，他們挖來(lái)了谷歌搜索廣告業(yè)務(wù)的21年老將。
在商業(yè)化的路上不斷加速，或許是AI安全團(tuán)隊(duì)選擇分道揚(yáng)鑣的原因之一。
參考鏈接：
[1]https://x.com/janleike/status/1790603862132596961
