OpenAI超級對齊團隊負責人Jan Leike，在前不久憤而宣布辭職后，剛剛公布了自己的新去向——入職Anthropic。

Anthropic，儼然已經成為OpenAI離職人員的「避難所」，OpenAI價值觀對立面的大本營。

Jan Leike開心表示：自己非常高興能加入新團隊，繼續(xù)執(zhí)行超級對齊任務。

在Anthropic的新團隊，自己會致力于可擴展的監(jiān)督、弱到強的泛化和自動對齊研究。

圖片

我很高興加入AnthropicAI，繼續(xù)超級對齊的使命！我的新團隊將致力于可擴展監(jiān)督（scalable oversight）、弱到強的泛化（weak-to-strong generalization）和自動對齊研究（automated alignment research）。如果你有興趣加入，請私信我。

當初，Anthropic就是由OpenAI的「叛逃」員工創(chuàng)立的。

在2021年，Dario Amodei因為在安全觀念上與OpenAI嚴重不合，而且極度不滿OpenAI日益增長的對于商業(yè)化的關注，出走后創(chuàng)建了老東家的對家。

并且，Amodei還一并帶走了OpenAI的政策負責人Jack Clark。

畢竟，Anthropic一直將自己定位為比OpenAI更注重安全的公司——

不僅會把更多資源傾斜給了模型安全，而且對齊做得也要好得多。

發(fā)布至今，Claude 3已經獲得了業(yè)內人士和用戶的齊聲稱贊，在使用量上成為了ChatGPT的最大競品之一，指令遵循的能力也比GPT-4要強。

在最新的LMSYS排行總榜上，Claude 3 Opus排在第六名，與GPT-4-Turbo的得分非常接近，而且獲得的投票數非常高，僅次于開源的Llama 3。

圖片

Anthropic成立全新團隊，迎接Jan Leike

并且，Leike還發(fā)出英雄令，呼吁大家一起加入自己的對齊團隊——

如果你對大模型的安全想做一番貢獻，如果你也對OpenAI的理念感到無法認同，就趕快到這里來吧！

現在，Leike的團隊已經在緊鑼密鼓地組建中。

在Anthropic，專門有一幫從事可擴展監(jiān)督研究的研究者，他們正在研發(fā)的技術，目的就是以可預測和理想的方式控制大規(guī)模AI。

據悉，這些研究者將向Leike匯報工作，而Leike將直接向Anthropic的首席科學官Jared Kaplan報告。

聽起來，OpenAI最近解散的超級對齊團隊，這是被齊齊整整地搬到OpenAI了？

此前，Leike的超級對齊團隊本來立下了雄心勃勃的目標——在四年內解決控制超級AI的核心技術挑戰(zhàn)。

然而前不久的一場宮斗才讓我們知道，超級對齊團隊在OpenAI著實受了不小的委屈。

據團隊內的一名成員透露，他們得到了公司承諾可以獲得20%的算力，但要求訪問這些計算資源時卻經常被拒絕。

這種說法也可以從Jan Leike的推文中得到印證。

宣布辭職當天，他發(fā)布了多條推文，暗示了超級對齊團隊的工作在OpenAI內部并沒有得到應有的重視，因此和公司領導層發(fā)生了無法調和的沖突。

圖片

當初加入是因為我認為OpenAI將是世界上進行這項研究的最佳場所。

然而，相當長一段時間以來，關于公司核心優(yōu)先事項，我一直與OpenAI領導層的觀點存在分歧，最終達到了臨界點。

圖片

我認為我們應該花更多的精力為下一代模型做好準備，涉及保障、監(jiān)控、準備、安全、對抗魯棒性、（超級）對其、保密性、社會影響和其他相關議題。

這些問題很難解決，而且我擔心我們還沒有走上正確的軌道。

圖片

在過去的幾個月里，我的團隊一直在逆風航行。有時我們在算力方面遇到困難，完成這項重要的研究變得越來越困難。

一位匿名OpenAI員工將這個過程形容為「對公司和奧特曼本人的信任一點一點崩潰，就像多米諾骨牌一張一張倒下」。

總之，事情的結局就是，Ilya和Leike先后宣布離開OpenAI，這場「分手」怎么看都不像很愉快。

Ilya的下一步是什么？

辭職不久的Jan Leike已經定下了去處，但GPT-4o發(fā)布后最先出走的Ilya Sutskever目前還沒有消息。

作為OpenAI的聯(lián)合創(chuàng)始人、AI圈的頂流科學家，Ilya的辭職引發(fā)了紐約時報、CNN、時代雜志等多家媒體的跟蹤報道。

在當初宣布辭職消息的推文中，Ilya透露自己找到了下一步心儀的項目，他形容為「對我個人非常有意義」，并將在適當的時候分享。

圖片

外媒The Information，最近也撰文一篇，對Ilya的去處展開了一番大猜測。

圖片

記者猜道，Ilya或許會加入OpenAI的直接競爭對手公司，比如Anthropic，或者馬斯克的xAI。

當然，他也有可能會像Dario Amodei一樣創(chuàng)辦自己的公司，直接跟前雇主競爭。

無論是哪種選擇，他跟Sam Altman的關系，恐怕都會加劇緊張。

如果Ilya選擇創(chuàng)辦自己的公司，在吸引投資方面應該不會有任何困難。

當然，這其中也有一些細節(jié)需要厘清。

比如曾向OpenAI投入巨資、讓OpenAI過快發(fā)展AGI、導致Ilya擔憂的那些硅谷AI投資者，Ilya是否愿意向他們籌集資金呢？

風投中一向有避免投資競爭對手的規(guī)矩，這些風投家是否愿意打破規(guī)則呢？

其中，紅杉資本、a16z、Thrive Capital、Khosla Ventures和Founders Fund等許多公司都是OpenAI的投資者。

而Thrive和Khosla，與OpenAI和Altman關系尤其密切。因此，他們不太可能會向Ilya提供資金支持。

而紅杉資本和a16z的態(tài)度就不確定了。雖然他們希望與Altman保持良好關系，但同時也表現出了和OpenAI競品合作的意愿。

比如上周末，馬斯克xAI官宣了一輪60億美元的融資，紅杉和a16z就都有份參投。

雖然許多創(chuàng)始人很不喜歡自己的投資者與競爭對手分享敏感信息，但非常多的投資者認為，雞蛋不能放在一個籃子里。

在如今的生成式AI浪潮下，最終勝出的玩家如今尚不明朗，在多個LLM上下注，絕不不失為一種明智的選擇。

而如今萬眾矚目的Ilya，無疑就是通向AGI競賽中的一匹黑馬。

他的最大賣點，就是他的模型可以防止AI可能引發(fā)的災難。

對于某些投資者來說，這是個無法拒絕的誘惑。

參考資料：

https://www.theinformation.com/articles/whats-next-for-openais-ilya-sutskever

https://x.com/janleike/status/1795497960509448617?