OpenAI神秘gpt2正在A/B測試，奧特曼搶先劇透，網(wǎng)友已玩嗨
OpenAI正在秘密A/B測試下一代模型，實力超強被懷疑是GPT-4.5或GPT-5。
就在奧特曼當(dāng)謎語人暗示之后，兩款新模型悄悄上線大模型競技場。
- Im-a-good-gpt2-chatbot
- Im-also-a-good-gpt2-chatbot
和GPT-4-Turbo（左）同場競技，gpt2-chatbot（右）明顯更勝一籌。
提示詞：畫一個自由女神像。
此前一款名為gpt2-chatbot的超強模型僅僅上線一天，熱情的網(wǎng)友就把服務(wù)器擠爆了，不得不下架，大家紛紛表示還沒玩過。
這次重新上線后，模型在一次報錯中直接給出了跳轉(zhuǎn)OpenAI平臺網(wǎng)站的鏈接。
這下大家都嗨了，做實了是OpenAI在搞A/B測試？
還有人表示，這倆模型可能已經(jīng)在推理和計劃方面進行微調(diào)。
現(xiàn)在在競技場里隨機匹配，就能遇到這倆新模型。
這不，網(wǎng)友們已經(jīng)紛紛前去測試，一探它們的底細(xì)了。
代碼能力突出
和第一次露面有所不同，如今想要用上gpt2，只能在Arena(battle)里碰運氣，Direct Chat中找不到它們的影子。
有的人運氣好，試了5次就成功讓這倆模型battle了一局。
結(jié)合幾個示例來看，im-also-a-good-gpt2-chatbot生成的回答似乎總是更簡潔一些。
代碼生成方面，它能一次生成一個可執(zhí)行的游戲代碼。
提示詞：Code Flappy Bird game in Python
效果如下：
如果回答的代碼有誤，可以進一步追問讓它自己改正。
比如讓它們寫一個康威生命游戲的代碼，在未告知使用Colab時，模型寫出的代碼有問題。
但繼續(xù)追問并表示自己用的是Colab，im-also-a-good-gpt2-chatbot能夠自己修改對代碼，im-a-good-gpt2-chatbot不行。
還有在解決物理題方面，有Reddit用戶說im-also-a-good-gpt2-chatbot能解答出其他模型都答不對的物理題。
問題：綠燈俠從一棟高樓樓頂跳下，他從靜止?fàn)顟B(tài)開始做自由落體運動到地面，在他下落過程的最后1秒時，距離地面的距離是大樓一半的高度，這座樓有多高？
不過我們實測了下，im-a-good-gpt2-chatbot似乎也能做對。
還有人測試了一道推理題目，im-a-good-gpt2-chatbot可回答正確，im-also-a-good-gpt2-chatbot也能做到但需要兩次提示。
問題：現(xiàn)在有兩個足球隊。球隊A贏了8次，球隊B贏了5次，已知還剩7次比賽，球隊B想要贏得整場比賽，還需要至少贏幾次？
網(wǎng)友：白嫖大家反饋嗎？
盡管OpenAI還是沒有正式認(rèn)領(lǐng)gpt2-chatbot，但網(wǎng)友幾乎已經(jīng)默認(rèn)它們是一家了。
因此有人覺得，gpt2-chatbot在競技場上搞A/B測試，這不是讓大家免費給他當(dāng)志愿者。
OpenAI想要對內(nèi)部模型進行人工評估，應(yīng)該付給測試人員報酬，而不是在免費社區(qū)做。
有人覺得他們這么做，就是為了炒熱度。
但現(xiàn)在gpt2-chatbot的底層模型到底是啥還不確定。
有人直接問了gpt2-chatbot，但可能存在幻覺，它表示自己基于GPT-4架構(gòu)，是GPT-4.5的變體。
但之前奧特曼在公開演講中已經(jīng)否定了。測試網(wǎng)友表示自己沒有給出過GPT-4.5相關(guān)的提示內(nèi)容。
也有人懷疑，這兩個模型大小不一樣，叫這個名字是不是因為采用了GPT-2的架構(gòu)來訓(xùn)練模型。
這和單純的MoE不同，它們使用了Q*、合成數(shù)據(jù)，Sam的推特編輯歷史是不是暗示了這一點？
值得一提的是，最近有大V爆料稱本周OpenAI將公布進軍搜索引擎的消息。
OpenAI已經(jīng)更新了網(wǎng)站主頁，第一個輪番頁是一個搜索框上面寫著“向ChatGPT問任何事情”
爆料說這次發(fā)布的時間可能在北京時間周五的凌晨2點。
總之，最近OpenAI的動向，都有點神秘。
本文轉(zhuǎn)自 量子位 ，作者：量子位
