Sora為何出自O(shè)penAI?一線員工作息時(shí)間線揭秘:我們瘋狂地卷
為什么是 OpenAI 率先打造出了 Sora?
現(xiàn)在全世界不論研究員、工程師還是投資人都在問這個(gè)問題。
最近幾天,人們對(duì)于視頻大模型 Sora 的討論熱度持續(xù)升高,信息早已破了圈,相關(guān)的投資熱點(diǎn)都已經(jīng)出現(xiàn)了兩輪。
Sora 生成的「Flower tiger」視頻。試問這種生成能力會(huì)催生多少新腦洞?
在一篇文章中,加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)博士、知乎作者 @SIY.Z 分析了 OpenAI 成功的一些原因,包括:
- 目標(biāo)和商業(yè)模式明確:目標(biāo)就是 all in AGI,一切研究圍繞著探索通往 AGI 的路徑;商業(yè)模式就是 SaaS,直接給 API。
- 方法論明確:包括 The bitter lesson(源自 Rich Sutton 的經(jīng)典文章《苦澀的教訓(xùn)》,核心觀點(diǎn)是:人工智能如果想要長期獲得提升,利用計(jì)算能力才是王道)、Scaling Law、Emerging properties 等。
@SIY.Z 總結(jié)說,「OpenAI 采取的商業(yè)模式以及其對(duì)于 AGI 的信奉、系統(tǒng)性的方法論以及積極的嘗試,都在推動(dòng)他們朝著實(shí)現(xiàn)通用人工智能的目標(biāo)前進(jìn),實(shí)現(xiàn)了一種可以跑通所有 AGI 技術(shù)棧的模式,而這一點(diǎn),是 OpenAI 能在眾多研究機(jī)構(gòu)和公司中脫穎而出的重要因素?!乖斍檎?qǐng)參見知乎原貼。
知乎原貼地址:https://www.zhihu.com/question/644486081/answer/3398751210?utm_psn=1743584603837992961
除此之外,我們知道,人才的聚集也是 OpenAI 成功的一個(gè)重要因素。這些人才在 OpenAI 是怎么工作的?天才們是不是不需要花多大力氣就能做出 ChatGPT、Sora 這種領(lǐng)先的技術(shù)成果?答案似乎是否定的。
今天凌晨,OpenAI 研究人員 Jason Wei 自曝的每日工作時(shí)間線在社交網(wǎng)絡(luò)上被瘋傳。
Jason Wei 本科畢業(yè)后加入谷歌,還以一作身份寫出了「思維鏈」的開山之作,現(xiàn)在在 OpenAI 參與打造 ChatGPT。
我們按時(shí)間順序來看一下這個(gè)作息表。
早上看起來很正常:
- 9 點(diǎn)起床。
- 9 點(diǎn)半乘 Waymo 無人駕駛車去公司,然后吃點(diǎn)牛油果吐司當(dāng)早飯。
- 9 點(diǎn) 45:背誦 OpenAI 章程(核心是確保通用人工智能造福全人類),向最優(yōu)化的神禱告,學(xué)習(xí)《苦澀的教訓(xùn)》。
- 10 點(diǎn)用 Google Meet 開會(huì),討論怎么在更多數(shù)據(jù)上訓(xùn)練更大的模型。
- 11 點(diǎn)寫代碼,用來在更多數(shù)據(jù)上訓(xùn)練更大的模型。
- 12 點(diǎn)去食堂吃午飯(素食,無麩質(zhì))。
下午開始增加工作強(qiáng)度:
- 1 點(diǎn)繼續(xù)訓(xùn)練模型。
- 2 點(diǎn)調(diào)試基礎(chǔ)設(shè)施問題。
- 3 點(diǎn)監(jiān)控模型訓(xùn)練,順便玩一下 Sora。
- 4 點(diǎn)對(duì)前面提到的訓(xùn)練的模型進(jìn)行提示工程。
- 4 點(diǎn)半休息一下,坐在牛油果椅子上,想知道 Gemini Ultra 到底有多好。
- 5 點(diǎn)進(jìn)行頭腦風(fēng)暴,思考改進(jìn)模型的潛在算法。
- 5 點(diǎn) 05 得出結(jié)論:改變算法風(fēng)險(xiǎn)太大,只擴(kuò)展計(jì)算和數(shù)據(jù)更安全。
- 6 點(diǎn)吃晚飯。
- 7 點(diǎn)通勤回家。
然后和很多人一樣,夜幕降臨,生產(chǎn)力最高的時(shí)間段來了:
- 8 點(diǎn)喝杯酒,繼續(xù)寫代碼,此時(shí)達(dá)到鮑爾默峰值(傳說中微軟在 80 年代末發(fā)現(xiàn)的定律,即程序員在血液酒精濃度在 0.129%~0.138% 時(shí)會(huì)產(chǎn)生超人的編程能力)。
- 9 點(diǎn):分析實(shí)驗(yàn)運(yùn)行。
- 10 點(diǎn):開始實(shí)驗(yàn),讓其整晚運(yùn)行,第二天早上拿結(jié)果。
- 凌晨 1 點(diǎn):真正開始運(yùn)行實(shí)驗(yàn)。
- 1 點(diǎn) 15 就寢。默念「Compression is all you need」。
信息量很足,除了學(xué) CEO 奧特曼吃素、揶揄 Teams 不好用之外,看來 OpenAI 的工程師們也極為關(guān)心自己競(jìng)爭對(duì)手的動(dòng)向。
Meta FAIR 研究院研究員、高級(jí)經(jīng)理田淵棟看完以后表示:都說國外沒有 996,其實(shí)真正可怕的是自我驅(qū)動(dòng)的卷。
上周末,DiT 論文作者之一的謝賽寧在辟謠自己不是 Sora 作者的同時(shí),也透露了一點(diǎn)項(xiàng)目領(lǐng)頭人 William (Bill) Peebles 等人在打造 Sora 時(shí)工作強(qiáng)度的信息:
「每天基本不睡覺高強(qiáng)度工作了一年。」
上周三,已經(jīng)二進(jìn)宮 OpenAI 的知名 AI 學(xué)者 Andrej Karpathy 再次宣布離職,這次只待了一年。雖然他表示「沒發(fā)生什么特別的事情」,不過在第二天又秀了一下日程表:
讓人感覺到溢出屏幕的輕松。
只有產(chǎn)品上線之前的一線工程師才這樣嗎?并不是。引爆了生成式 AI 的 ChatGPT 項(xiàng)目雖然人數(shù)眾多,但從上到下都卷得令人生畏。在去年 OpenAI 風(fēng)頭壓得谷歌等公司喘不過來氣的時(shí)候,這家公司的信任與安全主管 Dave Willner 卻在領(lǐng)英上自宣辭職,原因就是「太卷了」。
Willner 在 7 月 20 日發(fā)布的一個(gè)帖子上表示,將辭去 OpenAI 高管職務(wù),優(yōu)先考慮工作與生活的平衡,辭職是一個(gè)「相當(dāng)容易做出的選擇」。
他表示,雖然領(lǐng)導(dǎo) OpenAI 安全項(xiàng)目的工作是「當(dāng)今最酷、最有趣的工作之一」,但自從 2022 年 2 月加入該公司以來,他的工作范圍和規(guī)模大幅增長。自從 ChatGPT 推出以來,將家庭需求置于工作之上已變得越來越困難。
Willner 的聲明得到了同行們的一致支持,包括那些在 Meta、谷歌和 AirBnb 擔(dān)任管理職務(wù)的人,評(píng)論者們認(rèn)為 Willner 辭職的選擇明智且鼓舞人心,并表示他勇敢地公開了自己不斷變化的優(yōu)先事項(xiàng)。
隨后的故事我們已經(jīng)知道了:谷歌 Gemini 繼續(xù)追趕,上個(gè)星期,Sora 再次擴(kuò)大了 OpenAI 的領(lǐng)先優(yōu)勢(shì)。
看起來,天下沒有免費(fèi)的午餐。
選對(duì)方向,堅(jiān)持信念,向著 AGI 的目標(biāo)前進(jìn),OpenAI 這些年的起起伏伏向我們生動(dòng)展示了一家前沿研究機(jī)構(gòu)該有的樣子。
參考內(nèi)容:
https://twitter.com/_jasonwei/status/1760032264120041684。
https://twitter.com/minchoi/status/1759932670782410880。
https://www.businessinsider.com/open-ai-sam-altman-daily-routine-schedule-for-productivity-2024-1。
https://www.businessinsider.com/openai-chatgpt-exec-resigns-work-life-balance-time-with-kids-2023-7。