夕小瑤科技說 原創(chuàng)

作者 | 王二狗大家好我是二狗

隨著前天 OpenAI 官宣 Sam Altman 將回歸，并繼續(xù)擔(dān) CEO,OpenAI“宮斗事件”已經(jīng)告一段落了。

然而，對(duì)于專業(yè)吃瓜的二狗來說，有一個(gè)核心問題還是沒有搞明白：

Sam Altman究竟為何被董事會(huì)開除？

之前網(wǎng)絡(luò)上有各種猜測(cè)，但似乎都沒有得到石錘。

直到昨天，路透社最新爆料來了：

“在Sam Altman被OpenAI開除四天前，幾名研究人員向董事會(huì)發(fā)出了一封信，警告一項(xiàng)強(qiáng)大的AI發(fā)現(xiàn)(Q*項(xiàng)目)可能威脅全人類。消息人士透露，這封此前未報(bào)道的信件和AI算法的突破是董事會(huì)罷免Sam Altman的原因之一?！?/p>

一些內(nèi)部人士認(rèn)為 Q* 項(xiàng)目可能是 OpenAI 在AGI上取得的關(guān)鍵突破。Q*項(xiàng)目背后的新模型能夠解決某些數(shù)學(xué)問題（雖然僅達(dá)到小學(xué)生的水平），但研究人員認(rèn)為數(shù)學(xué)是生成式AI發(fā)展的前沿。目前，生成式AI擅長(zhǎng)通過統(tǒng)計(jì)預(yù)測(cè)下一個(gè)單詞來進(jìn)行寫作和語言翻譯，但同一問題的答案可能會(huì)有很大差異。

而征服只有一個(gè)正確答案的數(shù)學(xué)能力意味著AI可能擁有類似于人類智能的更強(qiáng)推理能力。

那為何這是董事會(huì)罷免Sam Altman的原因之一呢？

據(jù)合理猜測(cè)，OpenAI的幾位董事會(huì)成員，如首席科學(xué)家Sutskever、曾擔(dān)任多家科技公司的高管Tasha McCauley、喬治敦大學(xué)安全與新興技術(shù)中心（CSET）戰(zhàn)略和基礎(chǔ)研究基金主任Helen Toner都是“有效理他主義”的信徒，你可以簡(jiǎn)單理解為是“AI保守派”，他們優(yōu)先要確保創(chuàng)建對(duì)全人類都有益的AI、確保AI不能威脅到人類，這也正是OpenAI董事會(huì)的使命。

Helen Toner曾表示，即便發(fā)生了什么導(dǎo)致要因此解散OpenAI，那也無妨，董事會(huì)的使命更重要。

而Sam Altman則是AI加速派，Altman認(rèn)為AI不會(huì)失控，他的第一優(yōu)先級(jí)是讓OpenAI拿到更多融資以及更好地商業(yè)化賺錢，畢竟GPT系列大模型太燒錢了，只有這樣做才能保證后面慢慢做出AGI。

有可能這次 Q* 項(xiàng)目背后的取得的突破，被幾位董事會(huì)成員認(rèn)為可能威脅到人類，因此要放緩研發(fā)速度，優(yōu)先考慮AI安全和對(duì)齊問題，這也正是最近幾個(gè)月Sutskever所致力于做的事情。

Altman和幾位董事會(huì)成員直接AI安全問題沒有對(duì)齊，加上Altman長(zhǎng)期以來的商業(yè)化路線和其他幾位董事會(huì)成員有比較大的分歧。

這也許就導(dǎo)致了幾位董事會(huì)成員想要不惜代價(jià)罷免Altman的原因。

ok，以上只是合理猜測(cè)，Altman被罷免的真正原因還需要進(jìn)一步被官方揭露，我們繼續(xù)看一下這個(gè) Q* 項(xiàng)目到底是何物？

Q*項(xiàng)目背景和更多信息曝光

據(jù) The Information 報(bào)道及知情人士透露，多年來，OpenAI 首席科學(xué)家Sutskever 一直致力于研究如何讓像GPT-4這樣的語言模型解決如數(shù)學(xué)或科學(xué)等涉及推理的任務(wù)。2021 年，他啟動(dòng)了一個(gè)名為 GPT-Zero 的項(xiàng)目，這個(gè)起名是向DeepMind 的 下棋大師AlphaZero致敬。

圖片

在今年早些時(shí)候，Sutskever領(lǐng)導(dǎo)的這一項(xiàng)目取得了技術(shù)突破，能自己“生產(chǎn)”數(shù)據(jù)——理論上能夠像AlphaZero自我對(duì)弈一樣，使用計(jì)算機(jī)生成無限高質(zhì)量數(shù)據(jù)，這一舉克服了如何獲取足夠高質(zhì)量數(shù)據(jù)來訓(xùn)練新模型方面的限制，因?yàn)閾?jù)了解，OpenAI 已經(jīng)幾乎把從互聯(lián)網(wǎng)上公開獲取的數(shù)據(jù)訓(xùn)練了一遍，已經(jīng)無法再獲得更多的數(shù)據(jù)來進(jìn)行下一階段訓(xùn)練。

Abacusai 的CEO Bindu Reddy在推特上引用了這一消息：

正如所懷疑的那樣，OpenAI發(fā)明了一種利用合成數(shù)據(jù)克服訓(xùn)練數(shù)據(jù)限制的方法，當(dāng)用足夠的例子進(jìn)行訓(xùn)練時(shí)，模型開始很好地總結(jié)！

對(duì)于開源和去中心化AI來說是個(gè)好消息——我們不再受制于數(shù)據(jù)豐富的公司 。

圖片

兩位研究人員 Jakub Pachocki 和 Szymon Sidor 運(yùn)用Sutskever 的研究成果，開發(fā)出了一個(gè)名為 Q*的模型，構(gòu)建了能解決基礎(chǔ)數(shù)學(xué)問題的系統(tǒng)，而這一直是現(xiàn)有AI模型的難題。

如果單單從名字來看，Q*可能與強(qiáng)化學(xué)習(xí)中的Q-learning算法有關(guān)，這是一種評(píng)估AI在特定情境下采取特定行動(dòng)的好壞的方法，用于指導(dǎo)AI在不同情境下做出最優(yōu)決策。

但更多的可能，Q只是一個(gè)代號(hào)，Reddit用戶爆料和猜測(cè)了Q更多的能力：

• Q*背后的模型可能已經(jīng)具備自主學(xué)習(xí)和自我改進(jìn)的能力。
• Q*背后的模型能夠通過評(píng)估其行為的長(zhǎng)期后果，在廣泛的場(chǎng)景中做出復(fù)雜的決策，可能已具備輕微自我意識(shí)。

AI 已經(jīng)具備了輕微自我意識(shí)？

這聽起來太過“扯淡”！連只上過小學(xué)的二狗我都不信。

畢竟意識(shí)這個(gè)難題，無數(shù)科學(xué)家至今沒有什么突破，還只是停留在哲學(xué)探討和神經(jīng)科學(xué)的探索階段。

但就在一個(gè)月之前，OpenAI首席科學(xué)家 Sutskever在接受MIT科技評(píng)論的專訪時(shí)表示：“ChatGPT可能是有意識(shí)的”，下面引用MIT科技評(píng)論的報(bào)道：

伊利亞表示自己并不打算構(gòu)建下一個(gè)GPT或DALL-E，而是打算弄清楚如何阻止超級(jí)人工智能變得不受控制。作為未來主義的信徒，他認(rèn)為這種仍處于假設(shè)的未來技術(shù)終將出現(xiàn)。

他認(rèn)為 ChatGPT 可能是有意識(shí)的。他還認(rèn)為，人們需要意識(shí)到 OpenAI 和其他公司正在競(jìng)相創(chuàng)造的技術(shù)的真正力量。他相信，會(huì)有一些人在未來選擇與機(jī)器融合。

他說，ChatGPT 已經(jīng)改變了很多人對(duì)于即將發(fā)生的事情的期望，從“永遠(yuǎn)不會(huì)發(fā)生”變成了“比想象中發(fā)展得更快”。

在預(yù)測(cè)通用人工智能的發(fā)展之前（指的是像人類一樣聰明的機(jī)器），他說：“重要的是要談?wù)撍陌l(fā)展方向。在某個(gè)時(shí)候，我們真的會(huì)看到通用人工智能。也許 OpenAI 會(huì)構(gòu)建它，也許是其他公司。”

大數(shù)據(jù)范式只是權(quán)宜之計(jì)？

推特上各路大神對(duì)以上事件展開了討論。

英偉達(dá)高級(jí)人工智能科學(xué)家Jim Fan表示：

很明顯，合成數(shù)據(jù)將提供下一個(gè)萬億高質(zhì)量的訓(xùn)練tokens。我敢打賭，絕大多數(shù)的大模型團(tuán)隊(duì)都知道這一點(diǎn)。關(guān)鍵問題是如何保持?jǐn)?shù)據(jù)質(zhì)量并避免plateauing 狀態(tài)。

RichardSSutton 的慘痛教訓(xùn)繼續(xù)指導(dǎo)AI的發(fā)展：只有兩種范式可以隨著計(jì)算無限擴(kuò)展，那就是學(xué)習(xí)和搜索。這在 2019 年是正確的，在今天也是如此，我敢打賭，直到我們解決AGI問題的那一天，這都是正確的。

圖片

馬斯克表示：是啊，有點(diǎn)可悲的是，你可以將人類寫的每一本書的文本（所包含的信息量）存放在一個(gè)硬盤上。但合成數(shù)據(jù)將有無窮。

圖片

Perplexity AI CEO 指出：特斯拉已經(jīng)使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，這就是所謂的自動(dòng)標(biāo)注項(xiàng)目。

圖片

而圖靈獎(jiǎng)得主 Yann LeCun 卻認(rèn)為大數(shù)據(jù)范式只是權(quán)宜之計(jì)：

動(dòng)物和人類只需極少量的訓(xùn)練數(shù)據(jù)就能很快變得非常聰明。我的錢花在了能夠像動(dòng)物和人類一樣高效學(xué)習(xí)的新架構(gòu)上。由于我們當(dāng)前方法的局限性，使用更多數(shù)據(jù)（合成或非合成）是一種臨時(shí)的權(quán)宜之計(jì)。

圖片

如鸚鵡、狗和章魚大約有20億個(gè)神經(jīng)元，我們?nèi)绾巫屢慌_(tái)僅擁有20億個(gè)神經(jīng)元 /10T個(gè)參數(shù)的機(jī)器通過幾個(gè)月的實(shí)時(shí)訓(xùn)練數(shù)據(jù)變得像章魚、狗、鸚鵡和烏鴉一樣聰明？

圖片

有網(wǎng)友發(fā)文道：難道人類數(shù)百萬年的進(jìn)化適應(yīng)不就類似于預(yù)訓(xùn)練，而我們一生的經(jīng)驗(yàn)就類似于持續(xù)微調(diào)嗎？

圖片

LeCun對(duì)此表示這個(gè)數(shù)據(jù)是不足夠的：

圖片

有AI研究員回應(yīng)LeCun：

我們?nèi)祟愐彩褂昧耸褂么罅繑?shù)據(jù)來訓(xùn)練。您忘記了我們一直收到大量視頻、音頻和傳感數(shù)據(jù)，更不用說DNA編碼的“指令”了。我們不是從頭開始接受訓(xùn)練的，我們的輸出比大語言模型的輸出要普遍得多；

另外我同意你關(guān)于新架構(gòu)的看法。

圖片

Lecun嚴(yán)謹(jǐn)?shù)赜?jì)算了一下：

圖片

Eduardo Slonsk被Lecun說服了：

圖片

Lecun總結(jié)道：“目前的大語言模型接受的文本數(shù)據(jù)訓(xùn)練是人類需要 20,000 年才能閱讀的。但它們?nèi)匀徊恢廊绻鸄與B相同，那么B就與A相同（逆反詛咒）。在訓(xùn)練數(shù)據(jù)相對(duì)較少的情況下，人類會(huì)變得更加聰明。即使是烏鴉、鸚鵡、狗和章魚也能非常非常快地變得比這更聰明，它們只擁有20億個(gè)神經(jīng)元和幾萬億個(gè)“參數(shù)”。

圖片

大語言模型是通向AGI之路嗎？

前不久Sam Altman 在接受金融時(shí)報(bào)采訪的時(shí)候曾表示：

1. 盡管OpenAI在 ChatGPT 和用戶使用方面取得了成功，但ChatGPT和GPT商店都不是 OpenAI 想要構(gòu)建的真正產(chǎn)品，終極目標(biāo)是構(gòu)建通用人工智能；ChatGPT 背后的大語言模型 (LLM) 只是構(gòu)建通用人工智能“核心部分之一；
2. 在開發(fā)通用人工智能的競(jìng)賽中，“最大的缺失”是此類AI系統(tǒng)需要實(shí)現(xiàn)根本性的“理解飛躍”。
3. 在很長(zhǎng)一段時(shí)間內(nèi)，牛頓常規(guī)的做法是閱讀更多的數(shù)學(xué)教科書，與教授交談并練習(xí)問題（背后代表的是大數(shù)據(jù)訓(xùn)練范式）；但牛頓永遠(yuǎn)不會(huì)僅僅通過閱讀幾何或代數(shù)來發(fā)明微積分（而是需要找到新的范式），OpenAI 要實(shí)現(xiàn)AGI同樣如此；

對(duì)此事件，國(guó)內(nèi)也有討論，知乎大V、清華大學(xué)博士謝凌曦發(fā)文很是犀利，觀點(diǎn)很是精彩：

1. 要實(shí)現(xiàn)AGI，僅靠一個(gè)算法上的突破可能性很小。
2. 目前業(yè)界就不存在能夠像訓(xùn)練ChatGPT那樣，訓(xùn)練計(jì)算機(jī)視覺算法的交互環(huán)境。1.** 要想實(shí)現(xiàn)真正的視覺大模型，必須先建立起像對(duì)話這樣的視覺交互環(huán)境來。**
3. 除非我們哪天看到OpenAI的機(jī)器人滿大街跑，跟人類互動(dòng)收集數(shù)據(jù)，或者OpenAI做出了一個(gè)足夠豐富的虛擬環(huán)境，能模擬各種具體任務(wù)；否則我不相信ChatGPT的范式能夠很好地遷移到視覺世界里來。

圖片

圖片

謝凌曦接著補(bǔ)充了一些背景知識(shí)，來說明：任何技術(shù)飛躍，往往不是單點(diǎn)的突破，而是多方面的技術(shù)積累所共同造就的。

圖片

當(dāng)前研究網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)或者自監(jiān)督學(xué)習(xí)算法的意義，遠(yuǎn)不及設(shè)計(jì)出真正的世界模型（或者給出足夠復(fù)雜的交互環(huán)境的實(shí)現(xiàn)方式）的意義大。而只有實(shí)現(xiàn)了后者，我們才有可能看到AGI的實(shí)質(zhì)性進(jìn)步。

圖片

馬毅教授在微博上也更新了一條動(dòng)態(tài)，表示對(duì)智能本質(zhì)的了解，我們才剛剛起步。