OpenAI 的新戰(zhàn)略泄露，揭示了他們正在開發(fā)兩個(gè)強(qiáng)大的新模型：草莓和獵戶座，這兩者都將推動(dòng)人工智能領(lǐng)域的巨大進(jìn)步。本文將深入分析 OpenAI 的戰(zhàn)略，解讀這些模型背后的技術(shù)，以及它們可能帶來的潛在影響。

人工智能的困境：推理能力的缺失

大型語言模型 (LLM) 的能力常常被描述為“黑魔法”，但實(shí)際上它們只是基于一個(gè)簡單的原理：模式匹配。它們只是在訓(xùn)練過程中學(xué)習(xí)了數(shù)據(jù)中的模式，并根據(jù)這些模式進(jìn)行預(yù)測。

然而，這種模式匹配能力存在一個(gè)致命缺陷：推理能力的缺失。LLM 無法像人類一樣進(jìn)行復(fù)雜的推理，因?yàn)樗鼈冊谟?xùn)練數(shù)據(jù)中沒有看到足夠的推理過程。雖然網(wǎng)絡(luò)上的文本可能表達(dá)了智能的想法，但它們通常缺少推理過程。

因此，目前的 LLM 如 GPT-4o 和 Claude 3.5 Sonnet 所展現(xiàn)的“智能”，只是一種幻覺。它們只是能夠?qū)⒁阎闹R(shí)點(diǎn)進(jìn)行組合，而并非真正理解和推理。

合成數(shù)據(jù)：打破推理能力的瓶頸

為了克服 LLM 的推理能力不足，研究人員們開始轉(zhuǎn)向合成數(shù)據(jù)。合成數(shù)據(jù)是指人工生成的數(shù)據(jù)，它可以用來訓(xùn)練模型進(jìn)行推理。

合成數(shù)據(jù)在 LLM 訓(xùn)練中的應(yīng)用已經(jīng)十分普遍。例如，GPT-4o、 GPT-4o-mini、Grok-2-mini、Claude 3.5 Sonnet 和微軟 Phi 家族等模型都使用了合成數(shù)據(jù)進(jìn)行訓(xùn)練。

Meta 采用了一種創(chuàng)新的方法：他們在訓(xùn)練過程中對(duì)模型進(jìn)行檢查點(diǎn)，并在特定任務(wù)的數(shù)據(jù)集上進(jìn)行微調(diào)，然后使用這些微調(diào)后的模型生成新的數(shù)據(jù)來訓(xùn)練更高級(jí)的版本。

蒸餾是一種壓縮模型的技術(shù)，它可以訓(xùn)練一個(gè)較小的模型來模仿更大的模型，從而在性能上接近更大的模型，但成本更低。例如，GPT-4o-mini 比 GPT-4 便宜 400 倍，而且性能更好。

蒸餾背后的數(shù)學(xué)原理：

• 交叉熵是 LLM 訓(xùn)練中常用的損失函數(shù)，它衡量的是模型預(yù)測的概率和真實(shí)概率之間的差異。
• KL 散度是一種衡量兩個(gè)概率分布之間差異的指標(biāo)。
• 在蒸餾訓(xùn)練中，模型不僅要學(xué)習(xí)預(yù)測正確的下一個(gè)詞，還要學(xué)習(xí)模仿教師模型的概率分布，從而實(shí)現(xiàn)對(duì)教師模型的模仿。

草莓模型：提升推理能力的關(guān)鍵

OpenAI 的新戰(zhàn)略可以分為兩個(gè)階段，分別對(duì)應(yīng)兩個(gè)新的模型家族：草莓和獵戶座。

草莓模型是 OpenAI 研發(fā)多年的新模型，它旨在提高 LLM 的推理能力。

草莓模型的研發(fā)基礎(chǔ)：

• 驗(yàn)證器：OpenAI 在 2021 年提出了驗(yàn)證器的概念，它可以用來評(píng)估模型的推理過程和結(jié)果。
• **過程監(jiān)督獎(jiǎng)勵(lì)模型 (PRM)**：OpenAI 在 2023 年提出了 PRM，它可以根據(jù)模型推理過程中的每個(gè)步驟來評(píng)估模型的性能。
• 證明者-驗(yàn)證者游戲：OpenAI 在 2024 年提出了證明者-驗(yàn)證者游戲，它可以幫助模型生成更容易理解的答案，方便人類進(jìn)行評(píng)估。

草莓模型的工作原理：

• 它可以搜索解空間，并使用驗(yàn)證器來驗(yàn)證每個(gè)推理步驟。
• 它可以利用更小的驗(yàn)證器，從而降低計(jì)算成本。

草莓模型的局限性：

• 由于需要進(jìn)行長時(shí)間的推理過程，因此成本較高。

草莓模型的應(yīng)用：

• OpenAI 可能會(huì)通過蒸餾技術(shù)，訓(xùn)練一個(gè)更小的草莓 mini 模型，并將其集成到 ChatGPT 產(chǎn)品中，以提升 ChatGPT 的推理能力。

獵戶座模型：人工智能的下一個(gè)里程碑

雖然草莓模型可以提升 LLM 的推理能力，但它可能只是 OpenAI 實(shí)現(xiàn)下一個(gè)目標(biāo)的過渡階段。獵戶座模型才是 OpenAI 的最終目標(biāo)，它將是下一個(gè)強(qiáng)大的 AI 模型。

獵戶座模型的訓(xùn)練過程：

• OpenAI 可能使用 GPT-4o 和 GPT-4o-mini 生成大量的推理數(shù)據(jù)。
• 他們使用這些數(shù)據(jù)訓(xùn)練強(qiáng)大的獎(jiǎng)勵(lì)模型，以評(píng)估推理過程。
• 他們使用 GPT-4o/mini 和驗(yàn)證器進(jìn)行主動(dòng)搜索，生成更高級(jí)的推理數(shù)據(jù)。
• 他們使用這些數(shù)據(jù)訓(xùn)練草莓 Large 模型。
• 他們使用草莓 Large 模型重復(fù)步驟 1-4，最終訓(xùn)練出獵戶座模型。

獵戶座模型的潛在影響：

• 獵戶座模型可能比目前的 LLM 更強(qiáng)大，并能夠執(zhí)行更復(fù)雜的推理任務(wù)。
• 獵戶座模型的發(fā)布可能會(huì)引發(fā)社會(huì)對(duì)人工智能的擔(dān)憂。

結(jié)語

OpenAI 的新戰(zhàn)略，預(yù)示著人工智能領(lǐng)域的重大突破。草莓和獵戶座模型將推動(dòng)人工智能的發(fā)展，并可能帶來前所未有的機(jī)遇和挑戰(zhàn)。

未來，人工智能將會(huì)如何發(fā)展？社會(huì)將如何應(yīng)對(duì)人工智能的快速發(fā)展？這些問題需要我們認(rèn)真思考和探索。

本文轉(zhuǎn)載自 ??DevOpsAI??，作者： OpenAI