作者 | 徐杰承
審校 | 云昭
“AI確實(shí)可能會(huì)殺死人類(lèi)。”這并不是哪家自媒體為博人眼球而發(fā)表的謠言，而是ChatGPT之父、OpenAI CEO山姆·奧爾特曼在今年3月與MIT研究科學(xué)家Lex Fridman對(duì)話(huà)時(shí)親口所說(shuō)的一句話(huà)。
如今，這位全世界最受矚目的老板決定采取行動(dòng)，以阻止自己的預(yù)言發(fā)生——OpenAI通過(guò)7月5日發(fā)表于官網(wǎng)的博客表示，公司正在組建一個(gè)頂級(jí)AI團(tuán)隊(duì)，計(jì)劃于四年內(nèi)解決超級(jí)AI的核心技術(shù)挑戰(zhàn)并實(shí)現(xiàn)對(duì)超級(jí)AI的完全掌控。
更值得一提的是，為了能更好的完成對(duì)新團(tuán)隊(duì)的構(gòu)建，OpenAI本次甚至開(kāi)啟了團(tuán)隊(duì)核心崗位的對(duì)外招聘通道。目前所公布的三個(gè)職位，年薪范圍在24.5至50萬(wàn)美元不等。
圖片
1、我們創(chuàng)造了過(guò)于強(qiáng)大的黑盒
根據(jù)OpenAI的說(shuō)法，超級(jí)智能將會(huì)是人類(lèi)有史以來(lái)所發(fā)明的最具影響力的技術(shù)，將能夠幫助人類(lèi)解決世界上許多最重要的問(wèn)題。但不可忽視的是，超級(jí)智能的巨大力量也同樣危險(xiǎn)，可能導(dǎo)致人類(lèi)喪失許多核心技能，甚至徹底滅絕人類(lèi)。
雖然就目前而言，即便是最先進(jìn)的大模型GPT4與超級(jí)智能依然相差甚遠(yuǎn)，但OpenAI認(rèn)為超級(jí)智能的到來(lái)只需要十年甚至更短。并且如今人類(lèi)在AI方面的技術(shù)積累，就連GPT4的推理能力都無(wú)法解讀，更不要說(shuō)在未來(lái)控制比人類(lèi)聰明太多的超級(jí)智能。
想要管理超級(jí)智能可能帶來(lái)的風(fēng)險(xiǎn)，就需要建立相應(yīng)的治理組織，來(lái)解決超級(jí)智能AI對(duì)齊的問(wèn)題。然而遺憾的是，我們至今仍然沒(méi)有解決方案能夠操縱或控制潛在的超級(jí)智能，以防止將來(lái)可能發(fā)生的危險(xiǎn)。
現(xiàn)階段最有效的對(duì)齊人工智能的技術(shù)之一，正是GPT4中所使用的基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF），但依靠這種基于人類(lèi)監(jiān)督的AI能力，我們無(wú)法可靠地監(jiān)督比我們聰明太多的人工智能系統(tǒng)。因此目前的對(duì)齊技術(shù)無(wú)法有效覆蓋超級(jí)智能，這使得我們急需尋找新的科技突破。
2、OpenAI的三步計(jì)劃
對(duì)于超級(jí)智能的潛在風(fēng)險(xiǎn)，OpenAI也給出了目前他們認(rèn)為切實(shí)可行的解決方案，那就是建立一個(gè)人類(lèi)水平的“自動(dòng)對(duì)齊研究系統(tǒng)”，這樣人類(lèi)便能夠依靠大量算力擴(kuò)展研究工作，以實(shí)現(xiàn)對(duì)超級(jí)智能的控制和調(diào)整。
而創(chuàng)建這個(gè)自動(dòng)對(duì)齊研究系統(tǒng)，則大致需要分為三步，包括開(kāi)發(fā)可擴(kuò)展的訓(xùn)練方法；驗(yàn)證生成模型結(jié)果，以及對(duì)整個(gè)對(duì)齊管道進(jìn)行壓力測(cè)試。
- 為了在人類(lèi)難以評(píng)估的任務(wù)上提供訓(xùn)練信號(hào)，OpenAI決定利用人工智能系統(tǒng)協(xié)助評(píng)估其他人工智能系統(tǒng)。此外，他們希望能夠了解并控制AI模型是如何將監(jiān)督推廣到人類(lèi)研究員無(wú)法監(jiān)督的任務(wù)上。
- 在驗(yàn)證自動(dòng)對(duì)齊系統(tǒng)的一致性方面，可以搜索有問(wèn)題的模型行為和出現(xiàn)問(wèn)題的模型的內(nèi)部結(jié)構(gòu)。
- 最后，在完成上述的工作后，可以通過(guò)訓(xùn)練未對(duì)齊的模型來(lái)測(cè)試對(duì)齊系統(tǒng)的整個(gè)管道，并確認(rèn)系統(tǒng)最終監(jiān)測(cè)到的其余模型的未對(duì)齊行為，也就是我們熟知的對(duì)抗測(cè)試。
OpenAI表示，隨著人們對(duì)AI模型不可控行為了解的深入，人類(lèi)對(duì)于AI模型的研究重點(diǎn)可能將會(huì)發(fā)生實(shí)質(zhì)性的變化，甚至有可能會(huì)演變出全新的AI研究領(lǐng)域。而在未來(lái)，公司也將隨著研究的深入公開(kāi)更多的研究路線(xiàn)及研究成果。
3、聯(lián)合創(chuàng)始人帶隊(duì)的頂級(jí)天團(tuán)
為了能夠更好的構(gòu)建這個(gè)自動(dòng)對(duì)齊系統(tǒng)，OpenAI決定組建一個(gè)全新的頂級(jí)人工智能專(zhuān)家團(tuán)隊(duì)。團(tuán)隊(duì)將由OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever以及OpenAI對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Jan Leike共同領(lǐng)導(dǎo)。
OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskeve
團(tuán)隊(duì)目前的其余成員，則包括此前在公司內(nèi)部負(fù)責(zé)AI對(duì)齊的研究人員和工程師，以及來(lái)自其他研發(fā)團(tuán)隊(duì)的AI專(zhuān)家。并且在接下來(lái)的四年里，OpenAI決定將公司此后所獲得算力的20%分配給該團(tuán)隊(duì)，用以完成新系統(tǒng)的訓(xùn)練。
這將會(huì)是一項(xiàng)關(guān)乎未來(lái)的賭注，而OpenAI最具價(jià)值的籌碼便是這個(gè)正在組建的超級(jí)團(tuán)隊(duì)。公開(kāi)博客中也提到，正確完成這項(xiàng)任務(wù)對(duì)實(shí)現(xiàn)OpenAI的使命至關(guān)重要，希望新團(tuán)隊(duì)包括其他內(nèi)外部組織都能為之作出貢獻(xiàn)，并最終將可靠的新方法推廣部署到更多領(lǐng)域之中。
4、核心崗位重金招聘
而這篇博客中的另一個(gè)重點(diǎn)，則是OpenAI正在開(kāi)展新團(tuán)隊(duì)核心崗位的對(duì)外招聘。博客中提到：“為了解決這個(gè)時(shí)代最重要的技術(shù)問(wèn)題，我們需要世界上最優(yōu)秀人才的幫助。如果你已經(jīng)在機(jī)器學(xué)習(xí)領(lǐng)域取得了成功，這將是你為世界作出巨大貢獻(xiàn)的機(jī)會(huì)。”
目前所公開(kāi)的三個(gè)核心崗位包括研究工程師（research engineer）、研究科學(xué)家（research scientist）以及研究經(jīng)理（research manager）：
研究工程師：年薪范疇24.5至45萬(wàn)美元。職責(zé)主要為機(jī)器學(xué)習(xí)訓(xùn)練代碼的編寫(xiě)；進(jìn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)及分析，以及與團(tuán)隊(duì)合作規(guī)劃未來(lái)實(shí)驗(yàn)。細(xì)節(jié)方面則包括探索可擴(kuò)展監(jiān)督技術(shù)；研究管理數(shù)據(jù)集和模型獎(jiǎng)勵(lì)信號(hào)；預(yù)測(cè)模型行為以及設(shè)計(jì)對(duì)齊研究方法。
研究科學(xué)家：年薪范疇同樣為24.5至45萬(wàn)美元。崗位職責(zé)主要為開(kāi)發(fā)創(chuàng)新的機(jī)器學(xué)習(xí)技術(shù)，并為公司的研究愿景作出貢獻(xiàn)。工作包括對(duì)齊研究實(shí)驗(yàn)的設(shè)計(jì)、研究方法總結(jié)；管理數(shù)據(jù)集，以及探索模型行為和設(shè)計(jì)新的實(shí)驗(yàn)方法。
研究經(jīng)理：年薪范疇42至50萬(wàn)美元。主要負(fù)責(zé)管理由科學(xué)家和工程師組成的團(tuán)隊(duì)，整合大模型和超級(jí)智能研究成果。該角色需要能夠規(guī)劃和執(zhí)行研究項(xiàng)目，指導(dǎo)團(tuán)隊(duì)成員，以及培養(yǎng)團(tuán)隊(duì)的多元化和包容性文化。
5、終極目標(biāo)：四年內(nèi)解決一切
但話(huà)說(shuō)回來(lái)，盡管目前新團(tuán)隊(duì)的陣容已然非常強(qiáng)大，OpenAI也在不惜重金招賢納士，但想要完成這項(xiàng)任務(wù)的難度也同樣可想而知，就連山姆·奧爾特曼自己也坦言不敢保證最終能取得成功。
然而值得高興的一點(diǎn)是，目前該團(tuán)隊(duì)的許多想法在初步實(shí)驗(yàn)中已經(jīng)取得了一定成果，AI對(duì)齊的衡量標(biāo)準(zhǔn)也在一次次實(shí)驗(yàn)中變得愈加完善，甚至如今一些創(chuàng)新性方法已經(jīng)被運(yùn)用到了解決GPT4幻覺(jué)的實(shí)驗(yàn)之中。
對(duì)于團(tuán)隊(duì)的終極目標(biāo)，OpenAI表示計(jì)劃利用四年時(shí)間完成自動(dòng)對(duì)齊系統(tǒng)的構(gòu)建，并徹底理解和減輕現(xiàn)有AI大模型以及未來(lái)可能出現(xiàn)的超級(jí)智能的所有技術(shù)風(fēng)險(xiǎn)，包括AI濫用、經(jīng)濟(jì)破壞、虛假信息、偏見(jiàn)與歧視，以及人類(lèi)對(duì)AI的過(guò)度依賴(lài)。
除此之外，OpenAI還提到在未來(lái)的研究過(guò)程中，除了在技術(shù)方面的探索外，新團(tuán)隊(duì)也將積極與外部的跨學(xué)科專(zhuān)家及組織進(jìn)行合作，以確保將技術(shù)價(jià)值發(fā)揮到最大，盡可能解決AI除技術(shù)風(fēng)險(xiǎn)之外可能造成的廣泛的人類(lèi)及社會(huì)領(lǐng)域問(wèn)題。
6、這個(gè)時(shí)代最重要的課題
歸根結(jié)底，無(wú)論是目前OpenAI對(duì)超級(jí)智能的擔(dān)憂(yōu)，還是近來(lái)廣被用戶(hù)詬病的大模型幻覺(jué)問(wèn)題，落到實(shí)處所表現(xiàn)出的其實(shí)都是現(xiàn)有技術(shù)在AI監(jiān)管和治理能力上的不足，而這也是當(dāng)前時(shí)代人類(lèi)最亟待解決的一個(gè)課題。
隨著ChatGPT將我們帶入AI2.0時(shí)代，人工智能所能創(chuàng)造的價(jià)值也被抬升到了一個(gè)全新的高度。然而伴隨著技術(shù)及應(yīng)用的不斷下沉，AI所帶來(lái)的造假、幻覺(jué)、濫用等問(wèn)題也在極大程度上暴露出了這項(xiàng)技術(shù)“雙刃劍”的屬性。
無(wú)論是現(xiàn)在還是將來(lái)，人工智能戰(zhàn)略的終極追求除了AGI以外，更重要的一點(diǎn)正是完全的可解釋性。正如一位網(wǎng)友在Twitter上所說(shuō)，如果有一天我們真的創(chuàng)造出了一個(gè)過(guò)于強(qiáng)大的黑盒，那將給人類(lèi)帶來(lái)極大麻煩。
除此之外，解決AI系統(tǒng)的黑盒問(wèn)題，也將成為未來(lái)科技巨頭們競(jìng)爭(zhēng)的核心戰(zhàn)場(chǎng)。畢竟誰(shuí)能夠率先完成這項(xiàng)壯舉，誰(shuí)就有機(jī)會(huì)徹底占據(jù)現(xiàn)有市場(chǎng)，并將自己的AI產(chǎn)品及業(yè)務(wù)擴(kuò)張到更多對(duì)手無(wú)法企及的藍(lán)海領(lǐng)域。
當(dāng)然，無(wú)論出于何種目的考慮，如今的OpenAI已經(jīng)在這條道路上再次邁出了堅(jiān)實(shí)的一步。與此同時(shí)，也讓我們期待未來(lái)能夠有更多具備強(qiáng)勁實(shí)力的企業(yè)加入這場(chǎng)意義重大的遠(yuǎn)征。
最后，如果你對(duì)于OpenAI新團(tuán)隊(duì)的招聘信息與崗位待遇感興趣 ，可以從以下鏈接了解詳情：https://openai.com/careers/search
參考鏈接：
https://openai.com/blog/introducing-superalignment#JanLeike
https://analyticsindiamag.com/openai-aims-to-achieve-superintelligence-before-2030/
