OpenAI大佬姚順雨發(fā)表一篇名為“The Second Half”博客，核心觀點(diǎn)是人工智能（AI）的發(fā)展已經(jīng)進(jìn)入了一個(gè)新的階段，即“下半場”：

• 從現(xiàn)在開始，將把重點(diǎn)從解決問題轉(zhuǎn)移到定義問題上；
• 評估將比訓(xùn)練更為重要，不再只是問：“我們能否訓(xùn)練一個(gè)模型來解決X問題？”而是要問：“我們應(yīng)該訓(xùn)練人工智能去做什么，以及我們?nèi)绾魏饬空嬲倪M(jìn)步？”；
• 為了在AI的下半場取得成功，需要及時(shí)轉(zhuǎn)變思維方式和技能組合，這些思維方式和技能組合或許更接近產(chǎn)品經(jīng)理的思維和技能。

1. AI的“上半場”回顧

• 重點(diǎn)：在過去的幾十年中，AI的研究主要集中在開發(fā)新的訓(xùn)練方法和模型，如深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)（RL）等。這些方法取得了顯著的成果，例如DeepBlue、AlphaGo、GPT-4等。
• 成果：這些模型在各種任務(wù)上表現(xiàn)出色，包括棋類游戲、語言模型、數(shù)學(xué)競賽等，推動(dòng)了AI的快速發(fā)展。
• 評價(jià)方式：AI的評價(jià)主要依賴于基準(zhǔn)測試（benchmarks），例如ImageNet、WMT’14等。這些基準(zhǔn)測試為模型的性能提供了量化指標(biāo)，但往往被視為次要角色。

2. 強(qiáng)化學(xué)習(xí)（RL）的突破

• 關(guān)鍵轉(zhuǎn)折點(diǎn)：強(qiáng)化學(xué)習(xí)（RL）在過去一直未能很好地泛化，但最近取得了重大突破。通過語言和推理，RL現(xiàn)在可以解決一系列廣泛的任務(wù)，如軟件工程、創(chuàng)意寫作、數(shù)學(xué)競賽等。
• 在強(qiáng)化學(xué)習(xí)（RL）中，有三個(gè)關(guān)鍵組成部分：算法、環(huán)境和先驗(yàn)知識
• 事實(shí)證明，強(qiáng)化學(xué)習(xí)中最重要的部分可能根本不是強(qiáng)化學(xué)習(xí)算法或環(huán)境，而是先驗(yàn)知識，而這些先驗(yàn)知識可以通過與強(qiáng)化學(xué)習(xí)完全無關(guān)的方式獲得。

• 核心要素：這種突破的實(shí)現(xiàn)依賴于三個(gè)關(guān)鍵要素：
• 大規(guī)模語言預(yù)訓(xùn)練：通過預(yù)訓(xùn)練模型（如GPT-3）獲取通用的常識和語言知識。
• 規(guī)模（數(shù)據(jù)和計(jì)算）：大規(guī)模的數(shù)據(jù)和計(jì)算能力是實(shí)現(xiàn)這種泛化能力的基礎(chǔ)。
• 推理和行動(dòng)：將推理作為RL環(huán)境中的行動(dòng)，利用語言預(yù)訓(xùn)練的先驗(yàn)知識來實(shí)現(xiàn)泛化。

3. AI的“下半場”展望：

• 新的焦點(diǎn)：AI的下半場將從“解決問題”轉(zhuǎn)向“定義問題”。這意味著評價(jià)將比訓(xùn)練更重要，研究者需要思考“我們應(yīng)該訓(xùn)練AI做什么，以及如何衡量真正的進(jìn)步”。
• 評價(jià)的重要性：過去，AI的研究側(cè)重于開發(fā)新的模型和方法，以在基準(zhǔn)測試中取得更好的成績。但在下半場，研究者需要重新思考評價(jià)機(jī)制，創(chuàng)造新的任務(wù)和評價(jià)標(biāo)準(zhǔn)，以推動(dòng)AI在現(xiàn)實(shí)世界中的應(yīng)用。
• 現(xiàn)實(shí)世界的應(yīng)用：盡管AI在各種基準(zhǔn)測試中取得了巨大成功，但這些成功尚未對經(jīng)濟(jì)和GDP產(chǎn)生顯著影響。這是因?yàn)楝F(xiàn)有的評價(jià)機(jī)制與現(xiàn)實(shí)世界的實(shí)際應(yīng)用存在差異。例如，現(xiàn)實(shí)中的任務(wù)往往需要與人類互動(dòng)，而不是完全自動(dòng)化的。

4. 新的評價(jià)機(jī)制

• 互動(dòng)性：現(xiàn)實(shí)世界中的任務(wù)往往需要與人類互動(dòng)，而不是完全自動(dòng)化的。新的評價(jià)機(jī)制需要考慮這種互動(dòng)性，例如通過引入真實(shí)的人類用戶（如Chatbot Arena）或用戶模擬（如tau-bench）。
• 非獨(dú)立同分布（non-i.i.d.）：現(xiàn)實(shí)世界中的任務(wù)往往是順序解決的，而不是獨(dú)立同分布的。新的評價(jià)機(jī)制需要考慮這種順序性，例如通過引入長期記憶方法。