總結(jié)，模型門戶留給GPT5去做了，4.5還是像Altman之前說的就是最后一代純預(yù)訓(xùn)練。

1- 一個(gè)超巨大的模型，grok3級別（10萬卡），AK說每個(gè)0.5要提升10倍預(yù)訓(xùn)練算力，那對比GPT4的1.8T, 也就說4.5是一個(gè)18T(18000B) 級別的模型，所以必須跨多campus, 異步梯度下降的訓(xùn)練方式(要求太高，這個(gè)目前只有g(shù)rok, oai,gemini,3家真正嚴(yán)格實(shí)踐過，anthropic都不行)。

2-擁有更多的知識(o3和人類比如博士生做題的合成數(shù)據(jù))，比4o能力提升百分之50（其實(shí)有些指標(biāo)翻好幾翻，比如奧數(shù)）簡單問答有明顯更少的幻覺，但是復(fù)雜問答比如AIME奧數(shù)和coding，是無法和o3mini這種模型相比的。更多知識的另一個(gè)產(chǎn)物是情商(學(xué)習(xí)了更多會(huì)話場景和話術(shù)的識別)，會(huì)某些角度更人類化，這個(gè)能力增強(qiáng)的是寫作和指令跟隨范式理解等能力。當(dāng)然我個(gè)人認(rèn)為想做成4.5演示 demo中的那樣光靠知識堆是不夠的，RLHF去和人類對齊才是關(guān)鍵，但是由于這模型太大了，SFT和RL都變得很痛苦(后訓(xùn)練是不費(fèi)算力，但是也得看基座模型有多大??)。

3-關(guān)于未來: 下一代推理模型o的基石(上一代是4o)，然后，其實(shí)本來也是給合成數(shù)據(jù)用的，內(nèi)部人用，可是戰(zhàn)況太激烈，不得已出來接客了。推理成本過高，即使用speculating decoding, 也很貴，而且draft model估計(jì)還在優(yōu)化中，所以第一期web只給200刀用戶使用，下周或者下下周20刀才配，api day1就有，但是，是現(xiàn)在api價(jià)格的20倍以上(一般的榜單是測不起了)??各種煙霧彈，o3mini也沒開源

本文轉(zhuǎn)載自??熵減AI??，作者：周博洋