?作者 | 徐杰承

在微軟New Bing發(fā)布前，絕大部分人對其的預(yù)測都是——New Bing的整體表現(xiàn)將會(huì)與ChatGPT極其相似，即使二者在細(xì)節(jié)層面存在某些差異，用戶也應(yīng)當(dāng)無法從體驗(yàn)角度發(fā)現(xiàn)這些區(qū)別。然而隨著New Bing的發(fā)布與更新，越來越多的人開始懷疑，微軟與OpenAI此前那宗100億美元的交易，似乎不止關(guān)系到ChatGPT這一個(gè)“寶貝”。

1、微軟官宣：集成全新模型

雖然New Bing與ChatGPT都基于GPT 3.5系列模型微調(diào)而成，但在2月中旬，微軟宣稱已將一種全新的AI語言模型集成到了New Bing之中，使其能夠擁有比ChatGPT更優(yōu)秀的表現(xiàn)。雖然時(shí)至今日微軟仍沒有明確表示新AI模型的來源及相關(guān)數(shù)據(jù)等信息，但部分業(yè)內(nèi)人士猜測該模型很可能與OpenAI遲遲未公開的GPT-4有關(guān)。

其實(shí)早在去年年底，業(yè)內(nèi)上便已流出了大量關(guān)于GPT-4模型的傳聞，部分消息稱GPT-4模型或?qū)碛谐?00萬億參數(shù)（GPT-3為1750億），也有專家預(yù)測GPT-4將更加注重成本控制，模型參數(shù)量相比于GPT-3不會(huì)有太大變化。據(jù)當(dāng)時(shí)部分外媒報(bào)道，GPT-4會(huì)于2023年2月左右發(fā)布，雖然通過近期OpenAI的種種表現(xiàn)及其CEO的發(fā)言來看，該信息并不準(zhǔn)確。但據(jù)《紐約時(shí)報(bào)》最新消息稱：GPT-4模型將有可能于2023年上半年發(fā)布。

且相關(guān)測試數(shù)據(jù)也顯示，更新后的New Bing潛在模型比ChatGPT的延遲更低。此外，從實(shí)際的對話表現(xiàn)來看，目前的New Bing與ChatGPT也存在著一定區(qū)別，在與用戶對話過程中，New Bing表現(xiàn)出了比ChatGPT更自然、更本能的狀態(tài)。但當(dāng)對話持續(xù)性增加時(shí)，New Bing也出現(xiàn)了像GPT系列模型一樣的重復(fù)回應(yīng)趨勢。

2、唯一解決方案

在ChatGPT發(fā)布期間，OpenAI曾通過其官方博客發(fā)文表示：公司已經(jīng)“從他們的早期模型如GPT-3和Codex的部署中吸取了教訓(xùn)”，選擇使用RLHF(利用人類反饋信號直接優(yōu)化語言模型)和監(jiān)督學(xué)習(xí)的混合模式來訓(xùn)練ChatGPT。據(jù)OpenAI介紹，使用RLHF方式可以一定程度上降低ChatGPT輸出惡意及錯(cuò)誤信息的概率。

但從New Bing的角度來看，彼時(shí)的微軟迫于與谷歌Bard的競爭，不得不加快New Bing的訓(xùn)練周期。微軟在啟動(dòng)New Bing項(xiàng)目到發(fā)布期間的不到3個(gè)月時(shí)間內(nèi)，是不足以重建完整的RLHF訓(xùn)練通道并進(jìn)行整合的。因此微軟在進(jìn)行New Bing的模型訓(xùn)練時(shí)所采用的應(yīng)當(dāng)依然是傳統(tǒng)的監(jiān)督學(xué)習(xí)模式。這也導(dǎo)致了New Bing自發(fā)布以來，一直受到由開發(fā)倉促、缺乏前期訓(xùn)練所帶來的準(zhǔn)確性問題的困擾。

而據(jù)相關(guān)消息顯示，微軟目前正在通過多種方式嘗試解決New Bing生成內(nèi)容準(zhǔn)確性的問題并已取得了一些成果，但優(yōu)化方案中并沒有明確提及New Bing使用了RLHF模式重新訓(xùn)練模型。對此，部分專家推測，微軟很有可能是通過集成其他AI語言模型生成過濾器的方式對New Bing的生成內(nèi)容進(jìn)行了優(yōu)化。

前Playment AI研究員Khamisi也在自己的個(gè)人博客中分析了這個(gè)問題：“無論ChatGPT還是目前公開的其他模型都無法很好的控制生成惡意信息及虛假信息，如果微軟希望解除對New Bing的問答次數(shù)限制，最好的方式就是等待OpenAI給出一些具備該能力的模型并在New Bing中使用它們，如今看來微軟似乎已經(jīng)在某種程度上做到了這件事?！?/p>

3、如膠似漆的合作階段

此外，另一點(diǎn)值得注意的是，盡管OpenAI和微軟的合作關(guān)系一直十分密切，但在“關(guān)于ChatGPT的合作”之前，二者之間的關(guān)系還遠(yuǎn)未達(dá)到“同穿一條褲子”的程度。在此前的種種合作及交易中，當(dāng)涉及到數(shù)據(jù)集以及各自的基礎(chǔ)設(shè)施時(shí)，他們可以說從未對彼此敞過開心扉。

然而就在今年年初，微軟宣布了與OpenAI長期合作伙伴關(guān)系的第三階段，除了數(shù)年中數(shù)十億美元的投資外，更重要的一點(diǎn)是：微軟在該階段中允許了OpenAI公司及其開發(fā)人員通過Azure訪問微軟內(nèi)部最好的AI基礎(chǔ)設(shè)施、模型和工具鏈。而在此之后，OpenAI也立即進(jìn)一步加大了在模型數(shù)據(jù)方面的投入。

據(jù)外媒報(bào)道：從1月末開始，OpenAI已將其數(shù)據(jù)標(biāo)記工作外包給了一家于舊金山的數(shù)據(jù)公司，試圖依靠更準(zhǔn)確的數(shù)據(jù)為其部分AI模型建立更加優(yōu)質(zhì)的內(nèi)容過濾器。而OpenAI的這一舉動(dòng)，基本可以看做是在得到支持后對微軟表示衷心。結(jié)合以上種種現(xiàn)象，我們有理由相信微軟目前很可能已經(jīng)獲得了GPT-4模型的部分使用權(quán)限，并已開始嘗試將其整合進(jìn)自家搜索引擎及對話機(jī)器人之中。

4、寫在最后

總之無論如何，如今微軟與OpenAI的合作已經(jīng)進(jìn)入深水區(qū)，且GPT-4的公開發(fā)布也已指日可待。如果OpenAI希望在正式發(fā)布前對GPT-4進(jìn)行更加完善的測試，那么擁有海量數(shù)據(jù)及用戶的老大哥微軟無疑是他們最好的選擇，而從ChatGPT中獲利無數(shù)的微軟也大概率會(huì)欣然接受這位小老弟的請求，畢竟在如今的AI圈內(nèi)，已經(jīng)沒什么能比GPT模型的吸金能力更強(qiáng)了。

但從此前多方對GPT-4模型的推測來看，即使目前New Bing已經(jīng)在內(nèi)部實(shí)現(xiàn)了對GPT-4模型的集成，其應(yīng)當(dāng)也只是依靠模型對New Bing的部分現(xiàn)有功能進(jìn)行了優(yōu)化，并未將GPT-4的創(chuàng)新性能力公之于眾，這一舉措也的確符合微軟一項(xiàng)保守的行事風(fēng)格，更何況其競爭對手谷歌不久前剛通過Bard展示了一波什么叫“心急吃不了熱豆腐”。雖然截止目前，無論是微軟還是OpenAI都仍未向外界透露更多有關(guān)New Bing與GPT-4的消息，但了解到他們當(dāng)前的一些動(dòng)態(tài)后，相信每個(gè)人對于未來的期待都又增加了一分。

參考鏈接：

https://blogs.microsoft.com/blog/microsoftandopenaiextendpartnership/

https://www.nytimes.com/technology/microsoft-ai-chatgpt-bing.html

https://time.com/6247678/openai-chatgpt-kenya-workers/

https://analyticsindiamag.com/13-not-to-miss-research-papers-on-llms/