Deepseek 突破 AI 訓(xùn)練燒錢(qián)魔咒：1.2 萬(wàn)美元 1/525 成本 MT-Bench 跑分媲美 GPT-4o
4 月 8 日消息，深度求索（DeepSeek）聯(lián)合清華大學(xué)，合作推出全新 AI 對(duì)齊技術(shù) SPCT（自我原則點(diǎn)評(píng)調(diào)優(yōu)），突破傳統(tǒng)依賴(lài)海量訓(xùn)練數(shù)據(jù)的模式，通過(guò)推理階段動(dòng)態(tài)優(yōu)化輸出質(zhì)量。
根據(jù)研究團(tuán)隊(duì) 4 月 4 日發(fā)表的論文，該技術(shù)通過(guò)“原則合成-響應(yīng)生成-批判過(guò)濾-原則優(yōu)化”的遞歸架構(gòu)，讓模型能在推理時(shí)動(dòng)態(tài)修正輸出。
SPCT 方法分為兩個(gè)階段。一是拒絕式微調(diào)作為冷啟動(dòng)階段，讓 GRM 適應(yīng)不同輸入類(lèi)型并以正確格式生成原則與點(diǎn)評(píng)內(nèi)容。二是基于規(guī)則的在線(xiàn)強(qiáng)化學(xué)習(xí)階段，采用基于規(guī)則的結(jié)果獎(jiǎng)勵(lì)，鼓勵(lì) GRM 生成更好的原則與點(diǎn)評(píng)內(nèi)容，提升推理階段可擴(kuò)展性。
測(cè)試中，270 億參數(shù)的 DeepSeek-GRM 模型測(cè)試顯示，通過(guò)每查詢(xún) 32 次采樣的推理計(jì)算，達(dá)到了 671B 規(guī)模模型的性能水平。這種硬件感知設(shè)計(jì)采用混合專(zhuān)家系統(tǒng)（MoE），支持 128k token 上下文窗口，單查詢(xún)延遲僅 1.4 秒。
報(bào)告指出 SPCT 顯著降低高性能模型的部署門(mén)檻，以 DeepSeek-GRM 模型為例，訓(xùn)練成本約 1.2 萬(wàn)美元（IT之家注：現(xiàn)匯率約合 87871 元人民幣），MT-Bench 得分 8.35。
模型 | 規(guī)模 | MT-Bench | 預(yù)估訓(xùn)練成本 |
DeepSeek-GRM | 27B | 8.35 | $12,000 |
Nemotron-4 | 340B | 8.41 | $1.2 million |
GPT-4o | 1.8T | 8.72 | $6.3 million |
作為對(duì)比，340B 的 Nemotron-4 需 120 萬(wàn)美元獲得 8.41 分。OpenAI 的 1.8T 參數(shù) GPT-4o 雖得 8.72 分，但成本高達(dá) 630 萬(wàn)美元（現(xiàn)匯率約合 4613.2 萬(wàn)元人民幣），而 DeepSeek-GRM 成本僅為 525 分之一。該技術(shù)減少 90% 人工標(biāo)注需求，能耗較 DPO 降低 73%，為實(shí)時(shí)機(jī)器人控制等動(dòng)態(tài)場(chǎng)景提供新可能。
