OpenAI奧特曼最新對話:將很快進(jìn)入智能體階段;OpenAI最初三個目標(biāo)一個已失效;智慧和能源可解鎖AGI 原創(chuàng)
編輯 | 言征
出品 | 51CTO技術(shù)棧(微信號:blog51cto)
2025,OpenAI會有哪些動作?Sam Altman定下了哪些目標(biāo)?如何看待自“宮斗”后相創(chuàng)始員工離職潮,以及大模型創(chuàng)業(yè)公司的壁壘和未來在哪里?
近日,YC總裁Garry Tan與OpenAI CEO Sam Altman展開了一場創(chuàng)業(yè)對話,Sam回憶了自己當(dāng)年險些被YC創(chuàng)始人拒之門外的那場趣談,強調(diào)了當(dāng)前AI技術(shù)的發(fā)展還遠(yuǎn)未達(dá)到頂峰,當(dāng)然也提及了當(dāng)下OpenAI正處于轉(zhuǎn)型過度期的陣痛,不過在 Sam 看來,OpenAI 已經(jīng)找到了清晰明確的迭代路徑。
在討論AGI的發(fā)展路徑時,Sam描述了從“聊天機(jī)器人”到“智能體”再到“創(chuàng)新者”的發(fā)展階段。他預(yù)測未來技術(shù)將賦予AI更強的創(chuàng)新能力,使其能長期探索復(fù)雜的現(xiàn)象并產(chǎn)生科學(xué)突破,從而推動科技進(jìn)步。
Sam建議創(chuàng)業(yè)者積極擁抱AI這一新技術(shù),在初創(chuàng)公司的早期階段借助 AI 實現(xiàn)快速突破,以速度、專注力和適應(yīng)力擊敗被規(guī)劃周期束縛的大型企業(yè),從而實現(xiàn)差異化和領(lǐng)先優(yōu)勢。
Sam甚至設(shè)想未來將出現(xiàn)員工少于100人、甚至僅由一個人和1萬個GPU組成的公司,這將為初創(chuàng)公司提供無與倫比的機(jī)會。
“大多數(shù)人仍然不了解在一個賭注上抱有相當(dāng)極端的信念的價值所在。”
以下為兩人完整的對話內(nèi)容:
Sam Altman:我們從一開始就說過,我們要追求 AGI,而在當(dāng)時這個領(lǐng)域,你都不能提這個,因為那看起來簡直是瘋狂的。我。
Garry Tan:記得當(dāng)時你們因為這個而受到一陣猛烈的批評。
Sam Altman:我們確實想要推動這件事,而當(dāng)時我們的資源遠(yuǎn)不及 DeepMind 和其他人。所以我們說,好吧,他們會嘗試很多事情,而我們必須選擇一個方向,集中精力。這樣我們就能在這里取勝。
現(xiàn)在大多數(shù)人仍然不了解在一個賭注上抱有相當(dāng)極端的信念的價值所在。這也是我現(xiàn)在對創(chuàng)業(yè)公司如此興奮的原因,因為全世界仍然對這些東西保持著驚人的冷漠。
現(xiàn)在是創(chuàng)業(yè)最好的時代嗎?
Garry Tan:今天我們有一個真正的特別節(jié)目。Sam Altman,謝謝你的到來。謝謝。這其實是你發(fā)起的“如何構(gòu)建未來”系列的重啟版。歡迎你回到你啟動的系列節(jié)目。
Sam Altman:好多年前了。我在想,差不多就是那時候。我很高興。
Garry Tan:是的,重新啟動了。沒錯。我們來聊聊你最新的關(guān)于“智能時代”的文章。你覺得這是創(chuàng)建科技公司最好的時代嗎?
Sam Altman:至少可以說是到目前為止最好的時代。希望未來會有更好的時代。我認(rèn)為隨著每一次重大的技術(shù)革命,你能夠做的事情比以前更多。
我期待公司將會更加令人驚嘆,影響更大。所以我覺得這是迄今為止最好的時代。當(dāng)事情進(jìn)展緩慢、不那么動態(tài)時,大公司擁有優(yōu)勢。
而當(dāng)類似于這種情況、移動互聯(lián)網(wǎng)或互聯(lián)網(wǎng)、半導(dǎo)體革命,甚至可能追溯到工業(yè)革命的時候,就是新興企業(yè)的優(yōu)勢了。
所以,是的,這種情況已經(jīng)有一段時間沒出現(xiàn)過了,因此這是非常令人興奮的。
ASI 還需要幾千天:能源和智慧是兩把解鎖鑰匙
Garry Tan:在文章中,你實際上提到了一件很重大的事情,就是 ASI 超級智能實際上還要幾千天。
Sam Altman:也許吧。我猜這是我們的希望。不管怎樣,那確實很夸張。
Garry Tan:說說這個吧。我是說,這很大,真的很大。
Sam Altman:我能看到一條路徑,沿著我們當(dāng)前的工作不斷積累,過去三年的進(jìn)展速度如果能持續(xù)三年、六年或九年甚至更長,比如說九年就大約是 3500 天左右,如果我們能保持這種改進(jìn)速度甚至加快速度,那么系統(tǒng)將非常有能力處理許多事情。
我認(rèn)為即便是像 o1 這樣的系統(tǒng),已經(jīng)能夠在某些特定領(lǐng)域的封閉任務(wù)中表現(xiàn)出相當(dāng)高的認(rèn)知智商。o1 已經(jīng)非常聰明了。我不認(rèn)為我們在進(jìn)步的極限附近。
Garry Tan:那是一個架構(gòu)的轉(zhuǎn)變,解鎖了很多。我聽到的是這些事情會不斷積累。
Sam Altman:我們可能會遇到某種意料之外的瓶頸,或者遺漏了什么。但對我們來說,前方似乎還有很多積累的潛力。
Garry Tan:我覺得這篇文章可能是我看到的最科技樂觀主義的文章之一。我們可以期待的有很多,比如解決氣候問題、建立太空殖民地、探索整個物理學(xué)、實現(xiàn)近乎無限的智慧和充足的能源。
Sam Altman:我確實認(rèn)為所有這些事情,甚至可能還有很多我們無法想象的事,都也許離我們不遠(yuǎn)了。而我覺得令人振奮的是,我們現(xiàn)在甚至可以半認(rèn)真地討論這些事情。
YC 最讓我喜歡的一點是它鼓勵一種略顯不現(xiàn)實的技術(shù)樂觀主義,相信你可以搞定它。
在一個經(jīng)常告訴人們某事行不通的世界里,PG 早期那種鼓勵創(chuàng)始人大膽思考的精神,確實是一種特別的存在。
Garry Tan:充足的能源似乎是一個相當(dāng)大的解鎖點。你知道,可能有 A 路徑和 B 路徑。如果我們真的實現(xiàn)了充足的能源,不僅知識工作,而且實際的體力工作都能被解鎖。機(jī)器人和語言、智慧的組合會帶來一個真正的豐盈時代。
Sam Altman:我認(rèn)為這是通往一切其他目標(biāo)的兩個關(guān)鍵輸入,當(dāng)然還有很多其他重要的因素。但是,如果我們能夠?qū)崿F(xiàn)真正充足的智慧和能源,我們在這個世界上將能實現(xiàn)的事情會非常驚人,不僅能夠更快地提出更好的想法,還能在物理世界中把它們變成現(xiàn)實。更不用說能夠運行大量 AI 了,而這也需要能源。
我認(rèn)為這是一個巨大的解鎖。至于是否會對此感到驚訝,還是這只是技術(shù)進(jìn)步率增加的自然結(jié)果,我不確定,但這確實是個激動人心的時代,也是個適合創(chuàng)業(yè)的好時機(jī)。
Garry Tan:我們回到這個豐盈時代。你知道,也許你的機(jī)器人可以制造任何東西,幾乎所有的體力勞動都能帶來實質(zhì)性的進(jìn)步,不只是為了最富有的人,而是為所有人。如果我們無法釋放無限能源怎么辦?如果有什么物理定律阻止了我們實現(xiàn)這一點呢?
Sam Altman:太陽能加存儲的發(fā)展軌跡足夠好,即便我們沒有大的核能突破,我們也能勉強過得去。但是毫無疑問,降低能源成本,提高能源豐富程度對生活質(zhì)量有著非常直接的影響。
最終我們會解決物理學(xué)上的每一個問題,所以我們會搞定它,只是時間問題。這是我們應(yīng)得的。未來的某天我們可能會討論的不是核聚變,而是戴森球。
這也會很棒。是的,這個時間點讓我們覺得充足的能源在我們曾孫輩的眼中可能遠(yuǎn)遠(yuǎn)不夠。宇宙那么大,還有很多。
“我是大二生,我要來”
Garry Tan:我想轉(zhuǎn)換一下話題,回到你剛剛提到的 Paul Graham,他把我們大家聚集在一起,實際上是他創(chuàng)建了 Y Combinator。他喜歡講一個關(guān)于你是如何進(jìn)入 YC 的故事,那是在你 Stanford 的大一。
他說,這是 2005 年的第一批 YC,他說你還是個大一新生,YC 下次還會有,你應(yīng)該等一下。
而你說,我是大二,我要來。你在我們社區(qū)被廣泛認(rèn)為是最具影響力的人之一,你覺得這種影響力來自哪里?
Sam Altman:那個故事?如果它能淡出,我會很高興。
Garry Tan:哦,那可是被永久記錄下來了。
Sam Altman:在我的記憶里,那天我需要重新安排一次面試,或者什么的,然后 PG 試圖讓我明年再來,而我說了一些更好聽的話,類似于“我是大二生,我要來”。
不過,你知道這些故事往往會被傳得有點夸張。搞笑的是,我說這不是謙虛,我并不覺得自己是個有威望的人。
事實上,我覺得我在很多方面真的不是。但我確實有點不太理解,為什么事情一定要按照現(xiàn)有的方式進(jìn)行。所以我只是想按照一些基本原則去做一些看起來合適的事情。我總覺得這有點奇怪。
而我記得 YC 的一個讓我很欣賞的地方,就是它匯集了一群奇特的人,他們都是那種“我要去做我的事情”的人。我覺得,符合自我認(rèn)知的部分在于我確實認(rèn)為很多時候你可以做一些事情或嘗試一些事情,而我認(rèn)為越多越好。
Garry Tan:確實如此。我想我們倆在 YC 都發(fā)現(xiàn)了一群相信你可以去做點什么的人。
Sam Altman:很長一段時間,我試圖弄清楚為什么 YC 如此特別,我認(rèn)為可能是因為你會有一個很厲害的人告訴你“你可以做到,我相信你”,作為年輕的創(chuàng)始人,那確實特別且激勵人心。
當(dāng)然,這確實是很棒的。但直到很久之后我才明白真正特別的是一群同樣在嘗試的人?,F(xiàn)在我會給年輕人的一個最大建議就是盡早找到那個同伴群體,這對我來說極其重要,而我當(dāng)時并沒有意識到這件事。
我那時以為自己可以單打獨斗,但事實上,與鼓舞人心的同伴在一起真的很寶貴。
Garry Tan:有趣的是,我們倆都曾在 Stanford 待過。我其實畢業(yè)了,雖然我不該這么做的,但我確實做到了。你走上了退學(xué)后回報更大的道路。
不過,你知道,Stanford 是一個據(jù)說有這些特質(zhì)的社區(qū),但我仍然對滿屋子的創(chuàng)始人所帶來的力量感到無比驚訝。
Sam Altman:我也是這樣想的。我很喜歡 Stanford,是的,但我并不覺得自己被一群讓我想要變得更好、更有野心的人包圍。
即便有時我會有這種感覺,那時大家的競爭就是誰能獲得哪個投行的實習(xí),而我很遺憾地說我也陷入了那個陷阱。這就是同伴群體的強大之處。經(jīng)過 YC 的洗禮后,我毫不猶豫地決定不再回去上學(xué)。
Garry Tan:我特別喜歡 Carl Jung 的一句話:“世界會來問你是誰,如果你不知道,它會告訴你。”似乎盡早明確你想成為誰和想與誰為伍非常重要。
Sam Altman:這絕對是我的一個體會,至少對我自己而言,沒有人能免疫于同伴壓力,所以你唯一能做的就是選擇優(yōu)秀的同伴。
Garry Tan:顯然,你后來創(chuàng)立了 Looped,賣掉后去到 Green Dot,最后我們在 YC 合作。談?wù)?YC 研究的早期階段吧,你為 YC 帶來了這個實驗性項目。
我還記得你回到合伙人會議室,談到你坐在 Larry 和 Sergey 那些人的房間里,那時 AI 已經(jīng)成為了大家嘴邊的話題,雖然感覺很近,但那已經(jīng)是 10 年前了。
Sam Altman:我一直覺得退休后最酷的工作就是能管理一個研究實驗室。當(dāng)時這不僅僅限于 AI。當(dāng)我們開始討論 YC 研究時,它最終確實資助了許多不同的項目。
我希望我能講一個故事,說我早就知道 AI 會成功,但實際上我們也嘗試了很多不成功的項目。當(dāng)時我讀了一些關(guān)于 Xerox PARC 和 Bell Labs 的書。
我覺得在那個時候,硅谷的許多人都有一個共識,即我們需要重新?lián)碛辛己玫难芯繉嶒炇?/strong>。我認(rèn)為這會非??帷?/p> 這和 YC 的模式有些相似,你會把資金分配給聰明的人,有時會成功,有時不會,而我只是想去嘗試。 確實,當(dāng)時 AI 正在經(jīng)歷一個小高潮,這大約是 2014 年末到 2016 年初,那時關(guān)于超級智能的討論、關(guān)于《Superintelligence》這本書的熱議,都在發(fā)生。 Garry Tan:你們兩個都有這種想法,對吧。 Sam Altman:DeepMind 確實取得了一些令人印象深刻的成果,但方向略有不同。你知道,我一直對 AI 很感興趣,所以我想,哦,嘗試做點什么會很酷,但這很難說。 Garry Tan:ImageNet 當(dāng)時已經(jīng)出來了嗎? Sam Altman:已經(jīng)出來了,是的,有一段時間了。 Garry Tan:對,所以你可以判斷一個圖像是不是熱狗。 Sam Altman:有時候。 Garry Tan:這確實在進(jìn)步。那么,你是如何識別你想要參與 YC 研究和 OpenAI 的早期人員的?比如,Greg Brockman 是很早就加入的。 Sam Altman:回想起來,這就像一段電影蒙太奇,就像電影開頭你開車四處尋找合適的人的那種場景。 Garry Tan:他們會說:“我加入?!?/p> Sam Altman:對。比如 Ilia,我聽說他非常聰明,然后我看了他的一些視頻。他不僅聰明,而是那種真正的天才和有遠(yuǎn)見的人,而且他有一種很強的存在感。 我在 YouTube 上看到他的一個視頻,就覺得我必須要見見這個人。我給他發(fā)了郵件,但他沒回我,所以我就去參加了他演講的會議,我們見了面。 然后我們開始經(jīng)常聊天。Greg,我稍微認(rèn)識一些,是 Stripe 的早期成員。 Garry Tan:那次談話是怎樣的?是“我真的喜歡你關(guān)于 AI 的想法,我想建立一個實驗室”嗎? Sam Altman:是的。而且從一開始,我們說我們要追求 AGI,當(dāng)時在這個領(lǐng)域你甚至不能提這個,因為那看起來簡直是瘋狂的,甚至有些不負(fù)責(zé)任。但這確實引起了他的注意。 Garry Tan:馬上吸引了他的注意。 Sam Altman:它吸引了所有優(yōu)秀年輕人的注意,而那些資歷較老但平庸的人則對我們持批評態(tài)度。我覺得這反而是個好兆頭。我們像是一群無所畏懼的人。 當(dāng)時我算是最年長的了,大約 30 歲。大家都覺得這些年輕人是些無知的孩子,說著些荒謬的話。而對于那些認(rèn)為“我是大二生,我要來”的人來說,這種話正是吸引他們的動力。 于是我們到處走動,逐一見面,或是組成小組。在九個月左右的時間里,這個團(tuán)隊逐漸成形。 Garry Tan:然后一切開始了。 Sam Altman:開始運轉(zhuǎn)了。我對 OpenAI 最喜歡的記憶之一是,Ilya 因為與 Google 的一些關(guān)系,我們在 2015 年 12 月宣布了,但要等到 2016 年 1 月才能啟動。 于是,大概是 2016 年 1 月 3 日,大家從假期中回來了,我們?nèi)チ?Greg 的公寓,可能有十個人左右。 我們圍坐一圈,感覺就像我們完成了一個巨大任務(wù),大家都在問:“接下來該做什么?” Garry Tan:真是個絕妙的時刻。 Sam Altman:這讓我想起初創(chuàng)公司創(chuàng)始人們努力完成 A 輪融資后,覺得自己已經(jīng)成功了,結(jié)果卻發(fā)現(xiàn)還要搞清楚接下來要做什么。 Garry Tan:不是慶祝香檳的時刻,而是發(fā)令槍剛響,現(xiàn)在要開始跑了。 Sam Altman:而你根本不知道這場比賽有多難。我們花了很長時間才搞清楚我們要做什么。但讓我特別佩服的是 Ilya 以及所有早期成員,雖然過程中曲折不斷,但最初的宏大構(gòu)想基本上非常正確。 我們在 Greg 公寓的白板或翻頁圖上寫下了目標(biāo),后來我們做了一些其他事情,有些有效,有些無效,最終我們有了如今的系統(tǒng)。回過頭看,我們從那里一路走到現(xiàn)在,經(jīng)歷了許多波折,真是難以置信。 Garry Tan:那時的白板上就有深度學(xué)習(xí)嗎? Sam Altman:是的,確切地說是一個大規(guī)模的無監(jiān)督模型,然后解決 RL(強化學(xué)習(xí))。在一次早期的團(tuán)隊會議上,我們有三個目標(biāo):解決無監(jiān)督學(xué)習(xí)、解決 RL 并且團(tuán)隊人數(shù)不超過 120 人——我們在第三個目標(biāo)上失敗了。前兩個的預(yù)測方向非常正確。 Garry Tan:所以深度學(xué)習(xí)。第二個大目標(biāo)似乎是擴(kuò)展規(guī)模,這種可擴(kuò)展性的理念在當(dāng)時甚至被認(rèn)為是異端邪說,很多人還覺得被冒犯。我記得你們因此受到了一陣猛烈的批評。 Sam Altman:我們剛開始時的核心信念是深度學(xué)習(xí)有效,且隨著規(guī)模的增加會變得更好。我認(rèn)為這在當(dāng)時都是異端信念。我們當(dāng)時并不知道規(guī)模的提升會多么有規(guī)律地帶來改進(jìn),幾年后才有了數(shù)據(jù)證明。 Garry Tan:最初是直覺,然后才有了數(shù)據(jù)。 Sam Altman:但人們已經(jīng)知道,如果你讓這些神經(jīng)網(wǎng)絡(luò)更大,它們會變得更好。這一點我們在開始之前就很確定了。 而當(dāng)時的情況是,有人總會說,“哦,這不是真正的學(xué)習(xí),不是真正的推理,不能真正做到這一點?!边@更像是一種小把戲,而這些都是該領(lǐng)域的權(quán)威領(lǐng)袖們說的。 不僅僅是說“你錯了”,而且說“你錯了,這種信念是有害的”。我們只是看著這些結(jié)果,它們不斷變好。 然后我們得到了擴(kuò)展的結(jié)果,這甚至打破了我的直覺。在某個時刻,你不得不直視擴(kuò)展損失圖,然后繼續(xù)做下去,這就是我們認(rèn)為應(yīng)該做的事情。 那時逐漸感覺到深度學(xué)習(xí)有某種重要的涌現(xiàn)現(xiàn)象。即使我們當(dāng)時不完全理解實踐中的每一個細(xì)節(jié),但顯然這里有一些非常根本的東西。 PG 的說法是,我們發(fā)現(xiàn)了元素周期表上的一個新方格。所以我們真的想在這個方向上推進(jìn),而我們資源遠(yuǎn)不如 DeepMind 等其他團(tuán)隊。 所以我們說,他們會嘗試很多事情,而我們就專注一個方向,集中精力,這樣我們才能在這里取勝,這完全符合創(chuàng)業(yè)公司的思路。 所以我們說,雖然我們不知道未來,但我們知道這件事情有效,因此就專注于此。而其他團(tuán)隊可能在嘗試變得過于聰明,而我們只是在面前的方向上繼續(xù)推進(jìn)。 規(guī)模的特性一直吸引我,無論是初創(chuàng)公司還是深度學(xué)習(xí)模型。我認(rèn)為這是一個被低估的特性。如果某件事看起來隨著規(guī)模的增長會更好,我認(rèn)為你就應(yīng)該應(yīng)該擴(kuò)大規(guī)模。 Garry Tan:我覺得人們希望事情是“少即是多”,但實際上“多即是多”。 Sam Altman:我們堅信這一點,我們想要推動它。我覺得 OpenAI 的一個可能不太為人知的特點是,即使我們默默無聞時,我們也有一支才華橫溢的研究團(tuán)隊。如果你擁有世界上最聰明的人,你可以在某個方向上大力推進(jìn)。 Garry Tan:你們這些人都是被激勵的,或者說你們創(chuàng)造了全球為數(shù)不多的能做這些事的地方之一。我聽到的一個故事是,即便今天,獲取計算資源仍然是一件瘋狂的事。 而在一些行業(yè)“老前輩”的批評中,有些認(rèn)為你們會浪費大量資源,從而導(dǎo)致 AI 的“寒冬”,對吧?他們覺得人們不會再提供資源了,這真的很有趣。 Sam Altman:人們從來沒確定我們是否會浪費資源,或者我們是不是在做某種模糊的不道德的事,因為投入的資源太多了,應(yīng)該將資源分散到更多的賭注上,而不是全部投入在一個方向。 大多數(shù)人仍然不理解在一個賭注上抱有極端信念的價值。因此我們說,好吧,我們有這個證據(jù),我們相信這個方向。 在那時,常規(guī)的做法是分散投資,而我們卻選擇了專注。我認(rèn)為在很多成功的 YC 初創(chuàng)公司中,你會一次次看到這種模式。 Garry Tan:是的,這聽起來很對。當(dāng)世界對你表示反對,而你覺得這些反對沒有道理時,你就應(yīng)該堅持做下去。 Sam Altman:在創(chuàng)業(yè)的世界中,很多次見證了這種情況讓我深感感激。之前,我真的相信世界上總有一群“成年人”掌控著局面,他們知道所有事情的答案。 而如果有人反對你,他們大概知道自己在說什么。而現(xiàn)在我明白了,沒有人能掌控一切,也沒有人會魔法般地告訴你該怎么做。你必須快速迭代,找到自己的路。 理解這一點對我來說是個巨大的人生解鎖。堅持信念固然重要,但如果你不適應(yīng)變化,不試圖尋找真理,那并不會有效。 我們努力做的就是相信結(jié)果告訴我們的東西,踏實地走好每一步,盡管有很多時候我們抱有信念卻犯了錯誤。 但一旦意識到錯誤,我們就會徹底接受它。信念很棒,但一旦有數(shù)據(jù)指向?qū)﹀e的時候,你就得遵循數(shù)據(jù)。 Garry Tan:所以這是一個迭代的過程,而不是他們錯了,我對了,你得展示你的工作過程。 Sam Altman:但在很長一段時間內(nèi),你必須在沒有數(shù)據(jù)的情況下行動,這時就只能靠信念前行了。 Garry Tan:聽起來這也涉及到聚焦的問題,比如你必須做出選擇,而這個選擇最好不要出錯。優(yōu)先級排序本身就是一個讓你更可能成功的練習(xí)。 Sam Altman:我真希望能告訴你我們一開始就知道一切會怎樣。我們從一開始就有這個語言模型的想法,我們直接朝這個方向走。 但顯然 OpenAI 的故事是,我們做了很多幫助我們積累科學(xué)理解的事情,但這些并不都是直通的捷徑。如果我們當(dāng)時知道現(xiàn)在的知識,我們可以大大加速這個過程。但現(xiàn)實并不是這樣,你無法每次都猜對。 我們一開始有很多假設(shè),關(guān)于技術(shù)的方向,也關(guān)于我們會成為什么樣的公司,AGI 會如何發(fā)展等等。在這些方面,我們多次被事實打臉。 但是我們的一個優(yōu)勢是即使被擊倒,我們也能站起來繼續(xù)前行。這不僅適用于科學(xué)的選擇,也適用于我們對世界如何運作以及產(chǎn)品形態(tài)的思考。 老實說,我并不知道語言模型會成為關(guān)鍵,也許 Alec Radford 知道。當(dāng)時我們在做機(jī)器人、視頻游戲中的智能體等等。直到幾年后,GPT-3 誕生,這在當(dāng)時并不明顯。 Garry Tan:聽起來在 GPT-1 之前,你們就有了一個關(guān)于正負(fù)情緒的關(guān)鍵洞見。 Sam Altman:GPT-1 之前,對。我記得那篇論文叫“無監(jiān)督情感分析”,而我認(rèn)為 Alec 獨自完成了這項工作。 Alec 是個非凡的天才,他做了這項驚人的工作,他注意到有一個神經(jīng)元在生成亞馬遜評論時會切換情感的正負(fù)。 可能其他研究人員會更加夸大其價值,但 Alec 是 Alec,所以人們花了些時間才完全認(rèn)識到這是多么重要的發(fā)現(xiàn)。之后他完成了 GPT-1,其他人將其擴(kuò)展為 GPT-2。 但這個洞見起源于一種驚人的現(xiàn)象:無監(jiān)督學(xué)習(xí)當(dāng)時基本不起作用。然而他注意到一個神經(jīng)元在情感正負(fù)之間切換,這一發(fā)現(xiàn)最終引出了 GPT 系列。 Garry Tan:Jake Heller,來自 CaseText 的 YC 校友,我覺得他是第一個同時獲得 3.5 和 4 訪問權(quán)限的人之一。 他提到獲得 GPT-4 是一個重大時刻,因為 GPT-3.5 會產(chǎn)生一些幻覺,無法在法律環(huán)境中使用。 而 GPT-4 達(dá)到了一種水平,如果他將提示分解得足夠細(xì),可以得到他想要的結(jié)果。他圍繞它構(gòu)建了龐大的測試用例,并將公司以 6.5 億美元的價格出售。 我認(rèn)為他是第一個在大規(guī)模商業(yè)化 GPT-4 方面取得成功的人之一。 Sam Altman:我還記得和他的那次談話。確實,GPT-4 的發(fā)布是少數(shù)幾個讓我覺得我們手中掌握著真正強大工具的時刻之一。 當(dāng)我們最初嘗試向創(chuàng)始人們推廣 GPT-3 時,他們會覺得它很酷,確實在做一些驚人的事,是一個非常棒的演示,但除了可能在文案撰寫方面,沒有太多公司能基于 GPT-3 建立偉大的業(yè)務(wù)。 然后 GPT-3.5 出現(xiàn),尤其是初創(chuàng)公司開始產(chǎn)生興趣,這已經(jīng)不再像推著一塊石頭上山。人們實際上開始想買我們提供的東西。 接著到了 GPT-4,那時我們遇到的就是“你能給我們多少 GPU?”的時刻,發(fā)布不久后就獲得了廣泛的需求。所以我們感覺,嗯,我們手中確實有個好東西。 Garry Tan:所以從用戶那邊你就知道了,模型發(fā)布后你們一上手就覺得,這確實更好了。 Sam Altman:我們當(dāng)時也被深深震撼了。我們?yōu)樗O(shè)計了一系列測試,表現(xiàn)非常出色,它能完成一些令人印象深刻的事情。 而且當(dāng)我們自己試用它時,看到返回的樣本,我想,哇,它現(xiàn)在能做到這些。它能押韻,能講一些稍微有趣的笑話,還能完成各種其他任務(wù),感覺真的很棒。 不過你永遠(yuǎn)不會真正知道你手中的產(chǎn)品是不是爆款,直到它落到客戶手中。我們當(dāng)時非常興奮,覺得這真的很不錯,但只有在真正的測試發(fā)生后才知道。 Garry Tan:真正的測試就是用戶。 Sam Altman:所以在那個時刻之前還是會有些焦慮。 Garry Tan:我想稍微轉(zhuǎn)換一下話題。在你創(chuàng)建了史上最瘋狂的 AI 實驗室之一之前,你在 19 歲時就在 YC 創(chuàng)辦了名為 Looped 的公司,基本上就是一個“查找我的朋友地理位置”的應(yīng)用,比蘋果推出類似功能早了大概 15 年吧。 Sam Altman:確實早了太多。 Garry Tan:是什么吸引你想到這個點子的? Sam Altman:我對手機(jī)感興趣,我想做一些能用到手機(jī)的事情。那時手機(jī)剛剛起步,大概比 iPhone 早兩三年。但很明顯,隨身攜帶計算機(jī)是一件非常重要的事。 Garry Tan:確實很難想象,當(dāng)時的手機(jī)真的就是個電話。 Sam Altman:是的,那時真的是電話。 Garry Tan:我現(xiàn)在甚至盡量避免把它當(dāng)作真正的電話使用。 Sam Altman:我還記得我第一次拿到可以上網(wǎng)的手機(jī),那是個糟糕的文字瀏覽器,速度極慢,你可以非常痛苦地檢查郵件。 我大概是在高中時拿到的,那個時候手機(jī)只能打電話和發(fā)短信。我當(dāng)時就被迷住了,我想這不是電話,這是一臺可以攜帶的計算機(jī)。我們暫時得忍受數(shù)字鍵盤的歷史遺留問題,但未來會很棒。 Garry Tan:如今有數(shù)十億人可能沒有計算機(jī),而對于我們那一代人來說,這就是我們的第一臺計算機(jī)。 Sam Altman:確實,不是完全相同的計算機(jī)體驗,但我第一臺電腦是 LTTC2。 Garry Tan:對,所以我們小時候的電腦就是這個樣子。如今我們帶著這面“黑鏡”四處走動,科技確實進(jìn)步很遠(yuǎn)。你一直對科技的發(fā)展有著敏銳的洞察,對吧? Sam Altman:我是個技術(shù)狂,現(xiàn)在也是。我總是在周五晚上思考這些事情。 Garry Tan:當(dāng)時更困難的一點是我們沒有 AppStore,iPhone 還不存在。而你卻在那個發(fā)布過程中扮演了一個重要角色。 Sam Altman:雖然角色很小,但確實是的。那對我來說是一次很好的經(jīng)歷,讓我理解了平臺轉(zhuǎn)型的過程有多混亂,以及你做的一些小事情會如何影響未來的走向。 當(dāng)時我站在對面,觀察其他人創(chuàng)造這個平臺轉(zhuǎn)型,但能經(jīng)歷并看到這些如何發(fā)生,變化有多快,以及如何適應(yīng),確實是一次非常寶貴的體驗。 Garry Tan:通過這個過程,你最終出售了公司,那可能是你第一次管理團(tuán)隊,做企業(yè)銷售。所有這些都是從那次經(jīng)歷中學(xué)到的寶貴教訓(xùn)。 Sam Altman:我得說這家公司顯然不算成功,這對我來說是個痛苦的經(jīng)歷,但學(xué)習(xí)和積累經(jīng)驗的速度卻是難以置信的。 PG 說過一句話,或者他引用的某人說的話,一直讓我印象深刻:“你的二十多歲總是種學(xué)徒期,但你并不知道學(xué)徒的方向是什么,直到你后來真正開始工作?!?/p> 我確實學(xué)到了很多,十分感激。這是一次艱難的經(jīng)歷,我們從未真正找到產(chǎn)品市場契合點,也沒能達(dá)到逃逸速度(實現(xiàn)自我持續(xù)增長),這總是很難做到的。我還沒聽說有任何其他經(jīng)歷比創(chuàng)業(yè)更能帶來廣泛的學(xué)習(xí)。 Garry Tan:所以從這個意義上來說確實不錯。當(dāng)你 19、20 歲時,正處在手機(jī)從普通功能機(jī)向智能手機(jī)轉(zhuǎn)變的浪潮之上。多年之后,你的下一個階段甚至推動了其中一個主要平臺的誕生。 Sam Altman:是啊,時光飛逝。 Garry Tan:但這真的就是現(xiàn)在的情況,18、20 歲的年輕人選擇獲得學(xué)位的同時也害怕錯過浪潮,因為現(xiàn)在所有偉大的事情都在發(fā)生。 很驕傲的是,許多真正創(chuàng)立十億美元公司的人,對正在發(fā)生的事情并不太清楚。這就像是戰(zhàn)斗般的生存狀態(tài)。 Sam Altman:是的,這就是我現(xiàn)在對初創(chuàng)公司如此興奮的原因,因為世界對這一切仍然保持著令人難以置信的漠視,而 YC 的創(chuàng)始人們則認(rèn)為,不,我要去做這件偉大的事情,而且要快速完成。 Garry Tan:這讓我想起了當(dāng)年 Facebook 差點錯過了移動互聯(lián)網(wǎng)。當(dāng)時他們在制作網(wǎng)頁軟件,并且非常擅長。他們不得不收購 Instagram、Snapchat 和 WhatsApp。因此很有意思的是,平臺轉(zhuǎn)變總是由年輕人推動,他們沒有先入之見。 Sam Altman:是的,我認(rèn)為這很棒。 Garry Tan:還有個有趣的方面是,像你、Elon 和 Bezos 等人都開始了自己的創(chuàng)始旅程,無論是 Looped 還是 Zip2,都可能是純粹的軟件初創(chuàng)。 然后在后期,他們獲得了升級的機(jī)會?,F(xiàn)在如果有人說“我想從最瘋狂的硬科技項目開始”,你會建議他們盡量去實現(xiàn)這一點嗎?還是建議先解決財務(wù)問題,比如能更深入地投資自己的下一個項目? Sam Altman:這是個很有趣的問題。確實有幫助的是,我當(dāng)時可以自己為 OpenAI 寫早期支票,我認(rèn)為在最開始可能很難找到其他人來做這件事。 后來 Elon 做了更多,我很感激。其他人也陸續(xù)加入,還有一些我投資的項目也讓我很開心能提供支持。 我不認(rèn)為當(dāng)時能輕易找到其他人來做這些。所以財務(wù)獨立確實是很棒的優(yōu)勢。而且就像我們之前提到的,我從早期的創(chuàng)業(yè)中學(xué)到了極其寶貴的教訓(xùn)。 但同時我也覺得,在 Looped 上花費時間某種程度上是一種“浪費”。我當(dāng)然不后悔,這也是生活的一部分,我學(xué)到了很多。 Garry Tan:你會有什么不同的選擇?如果你能通過時光膠囊給 19 歲在 Stanford 的自己傳遞信息,你會告訴自己什么? Sam Altman:這很難說,因為 AI 一直是我最想做的事情。我去學(xué)校就是為了學(xué)習(xí) AI,當(dāng)時我在 AI 實驗室工作。 唯一的忠告就是不要研究神經(jīng)網(wǎng)絡(luò),因為他們嘗試過了,覺得行不通。這是很久以前的事了。我想我本可以選擇一個更好的項目,而不是 Looped,具體是什么我不確定,不過一切都自有安排,也很好。 Sam Altman:歷史上有很多人開發(fā)出新技術(shù)以改善人們的生活,我經(jīng)常思考這個問題,比如那些制造我第一臺電腦的人。 我不認(rèn)識他們,他們中許多人可能已經(jīng)退休了,但我對他們充滿感激。他們在技術(shù)的極限處辛勤工作,我在 8 歲生日時收到了一臺電腦,這徹底改變了我的人生,也改變了許多其他人的生活。 他們努力工作,從沒收到我的感謝,但我發(fā)自內(nèi)心地感謝他們。這是件非常棒的事,能在這條漫長的進(jìn)步之路上加上一塊屬于我們的磚塊。 Garry Tan:是啊,對 OpenAI 來說,今年確實是很棒的一年,盡管也少不了一些波折。是的,我們在這方面確實很擅長。你從去年秋天的“風(fēng)波”中學(xué)到了什么?對于一些離職人員你有什么看法?我知道團(tuán)隊會隨著時間而變化,但你現(xiàn)在還好嗎? Sam Altman:確實是一個很艱難的好年。我們有點像是在兩年內(nèi)完成了中型甚至大型科技公司通常需要十年才會經(jīng)歷的成長軌跡。 ChatGPT 還不到兩歲,而這種快速發(fā)展帶來了很多痛苦的過程。任何公司在規(guī)模擴(kuò)大時都會經(jīng)歷不同的管理團(tuán)隊,而那些擅長從 0 到 1 階段的人不一定適合從 1 到 10,或者從 10 到 100 的階段。 我們也在不斷調(diào)整公司方向,過程中犯了很多錯誤,也有一些事情做得很對,但這些都伴隨著許多變化。我認(rèn)為公司的目標(biāo)是向著 AGI 的方向不斷前進(jìn),在每個階段盡可能做出最好的決策。 不過這確實帶來了大量的變動。我希望我們正在朝一個更平靜的時期前進(jìn),但未來肯定還會有動態(tài)變化的時刻。 Garry Tan:那么 OpenAI 現(xiàn)在是如何運作的呢?你們現(xiàn)在的產(chǎn)品質(zhì)量和推向市場的速度已經(jīng)超越了許多成熟的科技公司,確實是世界一流水平。 Sam Altman:這是我第一次覺得我們真正知道該做什么了。從這里到構(gòu)建 AGI 依然需要大量的工作,有一些已知的未知問題,但我覺得我們大致知道要怎么做。雖然需要時間和努力,但這確實令人興奮。 我還認(rèn)為在產(chǎn)品方面有一些細(xì)節(jié)要探索,但大體上我們知道該努力的方向以及優(yōu)化的目標(biāo)。有了這種清晰度,你確實可以走得更快。 我們決定集中精力于少數(shù)幾件事情,并盡力做到最好。我們的研究路徑、基礎(chǔ)設(shè)施路徑都比較明確,產(chǎn)品路徑也逐漸清晰。能圍繞這些方向進(jìn)行協(xié)調(diào),這對提升速度有很大幫助。 之前我們很長時間都沒有這種清晰度,真的是一個純粹的研究實驗室。即便有了方向,也很難堅定地付諸行動,因為總有很多其他好的事情想去嘗試。讓所有人都對準(zhǔn)同一個目標(biāo)確實是決定速度的關(guān)鍵因素之一。 Garry Tan:聽起來我們剛剛完成了從第 1 階段到第 2 階段的轉(zhuǎn)變,這非常有力。我們最近也在 YC 舉辦了 0到1 Hackathon。 那次活動真的很精彩,其中一個獲得第三名的團(tuán)隊是 Camphor 這家 CAD/CAM 初創(chuàng)公司。 他們在黑客松期間構(gòu)建了一個工具,可以將一個不會飛的機(jī)翼迭代優(yōu)化到具有競爭力的升力水平。這有點像是第四階段——創(chuàng)新者階段。 Sam Altman:你說的很有意思。我一直在告訴別人,我覺得從第 2 階段到第 3 階段的跳躍會發(fā)生得很快,而從第 3 階段到第 4 階段的跳躍會更難,需要一些中等或更大的新想法。而那次演示和其他一些例子讓我相信,通過以創(chuàng)造性的方式使用現(xiàn)有模型,確實可以獲得大量創(chuàng)新。 Garry Tan:是的,Camphor 基本上已經(jīng)構(gòu)建了 CAD/CAM 的底層軟件,而你們的語言模型成了與該軟件交互的接口。 這種工具的使用,再加上代碼生成的能力,是一種有些令人敬畏的想法吧?不僅可以讓大語言模型編寫代碼,還可以為自己創(chuàng)建工具,組合這些工具,就像鏈?zhǔn)剿伎家粯印?/p> Sam Altman:是的,我認(rèn)為事情的發(fā)展速度將比人們現(xiàn)在預(yù)料的更快。 Garry Tan:這是個激動人心的時代,活在這個時代真好。 Sam Altman:你之前提到探索所有物理學(xué)的問題。我曾想成為物理學(xué)家,但沒那么聰明,沒法成為一個出色的物理學(xué)家,只能通過其他方式做貢獻(xiàn)。但我真的相信有人會利用這些技術(shù)解決所有的物理問題,能活著看到這點讓我非常興奮。 Garry Tan:你能簡要談?wù)劦?3、4 和 5 階段嗎? Sam Altman:我們意識到 AGI 已經(jīng)成了一個被過度使用的詞,很多人對它的理解各不相同。我們試著說出我們認(rèn)為的大致發(fā)展順序: 第 1 階段是聊天機(jī)器人; 第 2 階段是“推理者”,我們認(rèn)為今年早些時候的 o1 發(fā)布標(biāo)志著這一階段的到來; 第 3 階段是“智能體”,它們能夠執(zhí)行更長期的任務(wù),與環(huán)境進(jìn)行多次交互,當(dāng)需要幫助時主動尋求幫助,與他人協(xié)作等等。我認(rèn)為我們會比預(yù)期更快到達(dá)這個階段。 第 4 階段是“創(chuàng)新者”,即科學(xué)家,可以長時間探索未被完全理解的現(xiàn)象,努力弄清楚問題的本質(zhì)。 第 5 階段則是將這種能力擴(kuò)展到一個完整的公司或組織的規(guī)模,這將會是非常強大的。 Garry Tan:確實,這個過程有點像分形。達(dá)到第 2 階段的努力與第 5 階段有某種相似性,需要多個智能體一起自我糾正并協(xié)作工作。 從微觀上看,這確實像一個組織。你覺得我們會有那種年收入數(shù)十億美元,但員工少于 100 人的公司嗎?或許 50 人,甚至 20 人,或者只有 1 人? Sam Altman:確實有這種可能。我不知道該如何看待這一點,除了這是一個非常適合成為初創(chuàng)公司創(chuàng)始人的時代。我確實感覺這是在發(fā)生的事,就像是一個人加上 1 萬個 GPU。 Garry Tan:有可能發(fā)生,真是強大。Sam,你對那些正在創(chuàng)業(yè)或即將開始創(chuàng)業(yè)的人有什么建議嗎? Sam Altman:順應(yīng)這股技術(shù)趨勢吧。賭在這條趨勢上,我們還遠(yuǎn)未達(dá)到飽和點。模型會變得更好,速度非???。 作為一個創(chuàng)業(yè)者,你能用這個工具實現(xiàn)的東西與不用它相比,差距大得驚人。大公司甚至中型公司、已經(jīng)成立幾年的初創(chuàng)公司,它們都被束縛在季度規(guī)劃周期中,Google 甚至是在做十年規(guī)劃。 我都不明白他們怎么還能運作,但你的速度、專注度、堅定信念和適應(yīng)快速變化的能力就是初創(chuàng)公司的最大優(yōu)勢,尤其在現(xiàn)在。 因此我會建議大家用 AI 做些事情,充分利用這股新技術(shù)的紅利,當(dāng)你看到新事物時,立即去構(gòu)建,而不是把它拖到季度規(guī)劃中去。 Sam Altman:另一個要說的是,當(dāng)有新的技術(shù)平臺出現(xiàn)時,很容易讓人覺得,嗯,因為我在做 AI 相關(guān)的東西,所以商業(yè)的法則對我不適用。 我有這項魔法般的技術(shù),所以我不需要建立護(hù)城河,不需要建立競爭優(yōu)勢或更好的產(chǎn)品,因為我在做 AI,而你們沒有,所以這就夠了。 顯然這不是真的。但你可以通過比其他人更快地?fù)肀录夹g(shù)獲得短期的爆炸性增長,記住別因此而掉以輕心,依然要構(gòu)建具有持久價值的東西。我認(rèn)為這是個需要時刻牢記的點。 Garry Tan:是的,現(xiàn)在每個人都可以構(gòu)建一個絕妙的演示。 Sam Altman:是的,每個人都可以構(gòu)建一個絕妙的演示。 Garry Tan:但要建立一個真正的業(yè)務(wù),那才是根本所在。 Sam Altman:沒錯,規(guī)則依舊適用。你可以比以往更快、更好地去做,但你依然要建立一個真正的業(yè)務(wù)。 Garry Tan:你對 2025 年有什么期待?未來會有什么讓你興奮的事情? Sam Altman:AGI,當(dāng)然對它充滿期待。我真的很期待這個。再就是孩子的出生,比我對 AGI 的期待更大,可能這是我一生中最激動的事情了。 Garry Tan:是的,確實會徹底改變你的生活。我也迫不及待了。為我們和孩子們建設(shè)一個更美好的世界,也希望是整個世界的未來。??Open AI的創(chuàng)始團(tuán)隊“一群無知的孩子”融到A輪資,在白板上寫下了三個目標(biāo)
規(guī)模定律被低估了,也適用于創(chuàng)業(yè)思路
第一個成功大規(guī)模商業(yè)化GPT-4的人
19歲創(chuàng)辦Looped,查找朋友的地理位置
OpenAI的2024:宮斗余波、創(chuàng)始員工離職潮后,我們清晰了目標(biāo)
新技術(shù)帶來了優(yōu)勢,但別忘了護(hù)城河
2025的期待:孩子與AGI是世界的未來
