GPT-4 開始內(nèi)測 32000 輸入長度的版本了！你收到邀請了嗎?
夕小瑤科技說 原創(chuàng)
作者 | 小戲、ZenMoore
要說現(xiàn)在 GPT-4 最大的問題是什么？可能除了一時拿他沒有辦法的機(jī)器幻覺，就是卡死的輸入長度了吧。盡管在一般的對話、搜索的場景里目前普通版本 GPT-4 的 8000 左右的上下文長度或許綽綽有余，但是在諸如內(nèi)容生成、智能閱讀等方面當(dāng)下基礎(chǔ)版的 GPT-4 還是有些捉襟見肘。
然而在 GPT-4 的發(fā)布會里也談到，事實上 GPT-4 是支持 32768 個 token 長度的，只是暫時還沒有被完全釋放，而是會陸續(xù)自動更新。而這兩天，32k GPT-4 的曙光似乎馬上就要來了！不少 GPT-4 的用戶已經(jīng)可以在自己的 PlayGround 上看到 GPT-4 32k 的選項。
在 API 里，也可以通過指定 GPT-4-32K 的 Model 來對升級版進(jìn)行調(diào)用
但是，這應(yīng)該仍然是 GPT-4 對部分用戶的內(nèi)測，并且應(yīng)該不是按申請 waitlist 的時間來發(fā)布內(nèi)測名額，收到 32k 版本內(nèi)測的用戶是在 3 月 16 日加入的 waitlist，但也有同樣時間加入的用戶沒有解鎖 32k 的版本。一個可能的原因是收到內(nèi)測版本的用戶曾經(jīng)在注冊時強(qiáng)調(diào)了對 32k GPT-4 極大的興趣。
當(dāng)然，不管怎樣，32k 的 GPT-4 看起來確實是離我們越來越近了，那么 32k 的 GPT-4 會帶來什么樣的想象力的改變呢？畢竟它的價格比 8k 版本的 GPT-4 貴了兩倍，并且有可能會有更慢的響應(yīng)時間……
一個例子是對話機(jī)器人，當(dāng)上下文長度擴(kuò)展到 50 頁以后，那么就可以極大的避免比如因為滑出了 8k 窗口而帶來的復(fù)雜的嵌入問題。又如對如論文、研報等大量復(fù)雜信息的提取與解讀，目前必須通過結(jié)構(gòu)化的方法對資料進(jìn)行拆分再逐步進(jìn)行提取，而 32k 的上下文長度則可以一舉省去這些麻煩。再比如推特博主 Matt Shumer 做的一個小測試，通過提供給 GPT-4 32k 一份代碼樣例，幾秒鐘內(nèi)它就完成了一套完整的測試案例，這對工程而言也非常具有顛覆性。
在 OpenAI 之外，也有開源模型開放了甚至更大上下文長度的大規(guī)模語言模型。這個名為 MPT-7B （也稱做 Llongboi） 在這個月 5 號發(fā)布，這個花費了 20 萬美元訓(xùn)練的 Llongboi 最大的亮點在于支持 64k 的上下文，可以服務(wù)于內(nèi)容生成、聊天等多種場景。
博客地址：https://www.mosaicml.com/blog/mpt-7b
項目鏈接：https://github.com/mosaicml/llm-foundry
當(dāng)然，開源項目的性能及穩(wěn)定性肯定無法比肩 GPT-4，既然已經(jīng)陸陸續(xù)續(xù)開始有人收到了 32k 的 GPT-4 的邀請，相信它必然很快就會和我們見面，那就讓我們“Hopefully it picks up the pace”吧！
