大數(shù)據(jù)文摘出品

“我們非常缺GPU”

在最近的一次訪談中，OpenAI的掌舵人Sam Altman 如此回應(yīng)主持人提出關(guān)于“不滿的便是API的可靠性和速度 ”。

此次訪談來源于人工智能的初創(chuàng)公司Humanloop 的CEO Raza Habib，他在推特上整理了這次訪談的重點(diǎn)。

推特地址：

https://twitter.com/dr_cintas/status/1664281914948337664

在這次訪談中，Altman還公布了最近兩年的GPT計(jì)劃，例如2023年的計(jì)劃是降低GPT-4的成本，以及提高響應(yīng)速度，其他還包括：

1.更長的上下文窗口，可能會(huì)支持100w的token；

2.微調(diào)API，幫助開發(fā)人員更好的開發(fā)；

3.支持會(huì)話狀態(tài)的API，即支持會(huì)話狀態(tài)的API。

2024年的計(jì)劃中提到讓GPT-4支持多模態(tài)，之所以推遲到2024年，就是因?yàn)樘盙PU了。

在訪談中，Altman 還提到他們一直在考慮是否開源GPT-3，毋容置疑開源是非常重要的。同時(shí)，他還表達(dá)了現(xiàn)在的AI模型并沒有那么危險(xiǎn)，雖然對(duì)未來的模型進(jìn)行監(jiān)管非常重要，但是禁止開發(fā)是一個(gè)非常大的錯(cuò)誤觀點(diǎn)。

Raza Habib原本將這次訪談的更多詳細(xì)信息公布到了Humanloop，但文摘菌今早查看，網(wǎng)頁已經(jīng)404了。據(jù)國內(nèi)微博@寶玉xp翻譯，他還提到了關(guān)于大模型未來發(fā)展的縮放法則：

OpenAI的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則繼續(xù)有效，使模型更大將繼續(xù)產(chǎn)生性能?？s放的速度不能維持，因?yàn)镺penAI在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬倍，未來這樣做將不可持續(xù)。這并不意味著OpenAI不會(huì)繼續(xù)嘗試使模型更大，只是意味著它們可能每年只會(huì)增加一倍或兩倍，而不是增加許多個(gè)數(shù)量級(jí)。

縮放繼續(xù)有效的事實(shí)對(duì)AGI開發(fā)的時(shí)間線有重要的影響?？s放假設(shè)是我們可能已經(jīng)有了構(gòu)建AGI所需的大部分部件，剩下的大部分工作將是將現(xiàn)有的方法擴(kuò)展到更大的模型和更大的數(shù)據(jù)集。如果縮放的時(shí)代結(jié)束了，那么我們可能應(yīng)該預(yù)期AGI會(huì)更遠(yuǎn)?？s放法則繼續(xù)有效強(qiáng)烈暗示了更短的時(shí)間線。

顯然，縮放法則是通往AGI的最快路徑。

什么是縮放法則？

縮放法則，英文名稱Scaling Laws，是一種現(xiàn)象描述，大意是指：語言模型的效果與參數(shù)量、數(shù)據(jù)量、計(jì)算量基本呈平滑的冪定律。

換句話說，隨著模型的參數(shù)量（Parameters）、參與訓(xùn)練的數(shù)據(jù)量（Tokens）以及訓(xùn)練過程累積的計(jì)算量（FLOPS）的指數(shù)性增大， 模型在測(cè)試集上的 Loss 就線性降低，也就意味著模型的效果越好。

圖注：當(dāng)沒有被其他兩個(gè)因素限制時(shí)，實(shí)證性能與每個(gè)單獨(dú)因素都呈現(xiàn)出冪律關(guān)系。

在2022 年，DeepMind 在 ScalingLaw 里又做了進(jìn)一步分析。研究通過定量的實(shí)驗(yàn)驗(yàn)證，語言模型訓(xùn)練數(shù)據(jù)大小，應(yīng)該和模型參數(shù)量大小等比放大。在計(jì)算總量不變的情況下，模型訓(xùn)練的效果在參數(shù)量和訓(xùn)練數(shù)據(jù)量當(dāng)中有個(gè)最優(yōu)平衡點(diǎn)，曲線下面的最低點(diǎn)是在參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)量當(dāng)中有個(gè)非常好的折中點(diǎn)。

OpeaAI的成功和GPT-4

OpenAI最初是一個(gè)非盈利性人工智能研究實(shí)驗(yàn)室，2016年獲得了薩姆?奧爾特曼和埃隆?馬斯克10億美元的資助。 

2019年OpenAI轉(zhuǎn)型為盈利性人工智能研究實(shí)驗(yàn)室，以吸收投資者的資金。

在實(shí)驗(yàn)室支持其研究的資金已所剩無幾的時(shí)候，微軟又宣布將在實(shí)驗(yàn)室投資10億美元。 

OpenAI推出的GPT系列，每一個(gè)版本都能引起業(yè)界狂歡，在微軟Build 2023開發(fā)者大會(huì)上，OpenAI的創(chuàng)始人Andrej Karpthy做了演講：State of GPT（GPT的現(xiàn)狀），表示他們一直把大模型當(dāng)做“人腦”來訓(xùn)練 。

Andrej提到，可以把當(dāng)前LLM大語言模型比喻為人類思考模式的系統(tǒng)一（快系統(tǒng)），這是相對(duì)于反應(yīng)慢但具有更長線推理的系統(tǒng)二（慢系統(tǒng)）而言。

“系統(tǒng)一是一個(gè)快速的自動(dòng)過程，我認(rèn)為有點(diǎn)對(duì)應(yīng)于 LLM，只是對(duì)標(biāo)記進(jìn)行抽樣。

系統(tǒng)二是大腦中較慢的、經(jīng)過深思熟慮的計(jì)劃部分。

而prompt工程，基本上是希望讓LLM恢復(fù)一些我們大腦中具有的能力?！?/p>

Andrej Karpthy還提到，GPT-4 是一個(gè)了不起的人工制品，他非常感謝它的存在。它在很多領(lǐng)域都有大量的知識(shí)，它可以做數(shù)學(xué)、代碼等等，所有這些功能都觸手可及。

而CEO Altman 表示，在早期的時(shí)候，GPT-4 非常慢，還有bug，很多事情做得不好。但是，最早期的計(jì)算機(jī)也是這樣，它們?nèi)匀恢赶蛄宋覀兩钪袑⒁兊梅浅Ｖ匾臇|西的道路，盡管需要幾十年的時(shí)間才能發(fā)展。

如此看來，OpenAI是一家堅(jiān)持夢(mèng)想的機(jī)構(gòu)，且想把事情做到極致的公司。

正如微軟亞洲研究院前副院長、瀾舟科技創(chuàng)始人周明在一次采訪中提到的： 

OpenAI最大的功績是把各方面做到極致，是集成創(chuàng)新的典范。 

世界上有幾類人，有人就是要研究底層創(chuàng)新。有的是在底層創(chuàng)新上做應(yīng)用，一般的應(yīng)用是解決單項(xiàng)任務(wù)。還有的是做集成創(chuàng)新，把所有工作、應(yīng)用、算法都在一個(gè)大平臺(tái)上體現(xiàn)，形成里程碑。OpenAI 恰好集成創(chuàng)新做得非常好。 

參考：

https://mp.weixin.qq.com/s/p42pBVyjZws8XsstDoR2Jw https://mp.weixin.qq.com/s/zmEGzm1cdXupNoqZ65h7yg https://weibo.com/1727858283/4907695679472174?wm=3333_2001&from=10D5293010&sourcetype=weixin&s_trans=6289897940_4907695679472174&s_channel=4 https://humanloop.com/blog/openai-plans?cnotallow=bd9e76a5f41a6d847de52fa275480e22