從 ChatGPT 問(wèn)世以來(lái)，大模型和 AI 技術(shù)就引起全世界的廣泛關(guān)注。一方面，人們驚嘆于大模型的涌現(xiàn)能力，另一方面又對(duì)人工智能的可控性及未來(lái)發(fā)展產(chǎn)生擔(dān)憂(yōu)。今年已有包括圖靈獎(jiǎng)得主 Geoffrey Hinton、Yoshua Bengio 在內(nèi)的 AI 領(lǐng)域?qū)＜业缺姸鄻I(yè)內(nèi)人士多次聯(lián)合警告 AI 大模型將引發(fā)一系列風(fēng)險(xiǎn)，甚至有人呼吁叫停 GPT-4 后續(xù) AI 大模型的研發(fā)。

OpenAI 作為 ChatGPT、GPT-4 等大模型背后的公司，無(wú)疑被推上了風(fēng)口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回演講，旨在消除人們對(duì)人工智能的「恐懼」，并聽(tīng)取 OpenAI 產(chǎn)品的開(kāi)發(fā)人員和用戶(hù)的意見(jiàn)。

據(jù)《Fortune》報(bào)道，5 月 Sam Altman 與一些開(kāi)發(fā)人員和初創(chuàng)公司創(chuàng)始人閉門(mén)會(huì)面，并講述了 OpenAI 的路線圖和面臨的挑戰(zhàn)。這場(chǎng)閉門(mén)會(huì)的參與者之一 ——Humanloop 的聯(lián)合創(chuàng)始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的產(chǎn)品規(guī)劃和發(fā)展瓶頸。

原博客現(xiàn)已刪除，但有網(wǎng)友上傳了博客快照（副本），我們來(lái)看一下博客的具體內(nèi)容：

OpenAI 現(xiàn)在面臨的最大問(wèn)題是受限于 GPU

目前 OpenAI 面臨非常嚴(yán)峻的 GPU 限制，這也延遲了他們一些短期計(jì)劃的實(shí)施。近來(lái)，客戶(hù)投訴最多的是關(guān)于 API 的可靠性和速度問(wèn)題。Sam 承認(rèn)了這個(gè)問(wèn)題，并解釋說(shuō)客戶(hù)抱怨的大部分問(wèn)題是由于 GPU 短缺造成的。

在處理文本方面，更長(zhǎng)的 32k 上下文還不能面向更多人推出?，F(xiàn)在 OpenAI 還沒(méi)有完全克服注意力機(jī)制的 O (n^2) 擴(kuò)展問(wèn)題，雖然 OpenAI 似乎很快就能實(shí)現(xiàn) 100k-1M token 上下文窗口（在今年內(nèi)）文本處理，但更大的文本處理窗口需要進(jìn)一步的研究突破。

不僅如此，目前，微調(diào) API 也受到 GPU 供應(yīng)的限制。OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效微調(diào)方法，因此微調(diào)運(yùn)行和管理起來(lái)計(jì)算都非常密集。Sam 透漏更好的微調(diào)技術(shù)將在未來(lái)推出，他們甚至可能提供一個(gè)社區(qū)專(zhuān)門(mén)研究模型。

此外，專(zhuān)用容量提供也受到 GPU 供應(yīng)的限制。OpenAI 還提供專(zhuān)用容量，為客戶(hù)提供一個(gè)私有的模型副本。要使用此服務(wù)，客戶(hù)必須愿意預(yù)先承諾支出 10 萬(wàn)美元。

OpenAI 的近期路線圖

在交談中，Sam 分享了 OpenAI API 的近期路線圖，主要分兩個(gè)階段：

2023 的路線：

• OpenAI 的首要任務(wù)是推出更便宜、更快的 GPT-4—— 總的來(lái)說(shuō)，OpenAI 的目標(biāo)是盡可能地降低智能成本（the cost of intelligence），因此隨著時(shí)間的推移，API 的成本將會(huì)降低。
• 更長(zhǎng)的上下文窗口 —— 在不久的將來(lái)，上下文窗口可能高達(dá) 100 萬(wàn)個(gè) token。
• 微調(diào) API—— 微調(diào) API 將擴(kuò)展到最新的模型，但其確切形式將由開(kāi)發(fā)人員決定。
• 狀態(tài) API—— 現(xiàn)在調(diào)用聊天 API 時(shí)，你必須反復(fù)地通過(guò)相同的會(huì)話(huà)歷史，并一次又一次地為相同的 toke 進(jìn)行支付。將來(lái)版本的 API 可以記住會(huì)話(huà)歷史記錄。
• 2024 年路線：
• 多模態(tài) —— 這是作為 GPT-4 版本的一部分進(jìn)行演示的，但在更多 GPU 上線之前不能擴(kuò)展到所有人。

插件沒(méi)有 PMF，也不會(huì)很快出現(xiàn)在 API 中

很多開(kāi)發(fā)人員都對(duì)通過(guò) API 訪問(wèn) ChatGPT 插件感興趣，但 Sam 說(shuō)他認(rèn)為這些插件短期內(nèi)不會(huì)發(fā)布。除了瀏覽之外，插件的使用表明他們還沒(méi)有 PMF。Sam 指出，很多人希望自己的應(yīng)用程序位于 ChatGPT 之內(nèi)，但他們真正想要的是應(yīng)用程序中的 ChatGPT。

除了與類(lèi) ChatGPT 競(jìng)爭(zhēng)外，OpenAI 將避免與其客戶(hù)競(jìng)爭(zhēng)

很多開(kāi)發(fā)者表示，當(dāng) OpenAI 發(fā)布新產(chǎn)品時(shí)，他們對(duì)使用 OpenAI API 構(gòu)建的應(yīng)用程序感到緊張，因?yàn)?OpenAI 最終可能會(huì)發(fā)布與他們競(jìng)爭(zhēng)的產(chǎn)品。Sam 表示 OpenAI 不會(huì)發(fā)布 ChatGPT 之外更多的產(chǎn)品。他說(shuō)有很多偉大的平臺(tái)公司都有一個(gè)殺手級(jí)的應(yīng)用程序，ChatGPT 將允許他們通過(guò)成為自己產(chǎn)品的客戶(hù)來(lái)使 API 更好。ChatGPT 的愿景是成為一個(gè)超級(jí)智能的工作助手，但 OpenAI 不會(huì)涉足許多其他 GPT 的用例。

監(jiān)管是必要的，但開(kāi)源也是必要的

盡管 Sam 主張對(duì)未來(lái)的模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型存在危險(xiǎn)，并認(rèn)為對(duì)它們進(jìn)行監(jiān)管或禁止將是一個(gè)巨大的錯(cuò)誤。他再次強(qiáng)調(diào)了開(kāi)源的重要性，并表示 OpenAI 正在考慮開(kāi)源 GPT-3。OpenAI 之所以遲遲未能開(kāi)源的部分原是因?yàn)樗麄冇X(jué)得沒(méi)多少人和公司有能力妥善管理如此大型的語(yǔ)言模型。

擴(kuò)展定律仍然存在

最近許多文章都聲稱(chēng)「巨型人工智能模型的時(shí)代已經(jīng)結(jié)束」。Sam 表示這并沒(méi)有準(zhǔn)確地表達(dá)他的意思。

OpenAI 的內(nèi)部數(shù)據(jù)顯示，擴(kuò)展定律仍然成立，而且增大模型的規(guī)模將繼續(xù)提高性能。然而，模型的規(guī)模無(wú)法一直按照相同的比例增加，因?yàn)樵诙潭處啄陜?nèi)，OpenAI 已經(jīng)使模型規(guī)模增大了數(shù)百萬(wàn)倍，繼續(xù)這樣做將不可持續(xù)。但這并不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規(guī)模，而不是呈幾個(gè)數(shù)量級(jí)的增長(zhǎng)。

擴(kuò)展模型仍然有效，這一事實(shí)對(duì) AGI 的發(fā)展具有重要意義。擴(kuò)展規(guī)模的理念是，我們可能已經(jīng)有構(gòu)建 AGI 所需的大部分要素，而剩下的大部分工作將采用現(xiàn)有的方法，并將它們擴(kuò)展到更大的模型和更大的數(shù)據(jù)集上。如果模型擴(kuò)展時(shí)代已經(jīng)結(jié)束，我們到達(dá) AGI 的時(shí)間將會(huì)更久。擴(kuò)展定律仍然適用的事實(shí)暗示著我們會(huì)用更短的時(shí)間實(shí)現(xiàn) AGI。