20日晚8點(diǎn),DeepSeek在自己官方公眾號(hào)上放出了一個(gè)大殺器:
全新自研的DeepSeek-R1-Lite 預(yù)覽版正式上線。據(jù)介紹,DeepSeek R1 系列模型使用強(qiáng)化學(xué)習(xí)訓(xùn)練,推理過程包含大量反思和驗(yàn)證,思維鏈長度可達(dá)數(shù)萬字。
該系列模型在數(shù)學(xué)、代碼以及各種復(fù)雜邏輯推理任務(wù)上,取得了媲美 o1-preview 的推理效果,并為用戶展現(xiàn)了 o1 沒有公開的完整思考過程。
圖片
等不及看下文的朋友,大家可以自行登錄DeepSeek官網(wǎng)(chat.deepseek.com),前往體驗(yàn)與國產(chǎn)版的o1模型的深度對話。
在美國數(shù)學(xué)競賽(AMC)中難度等級(jí)最高的 AIME 以及全球頂級(jí)編程競賽(codeforces)等權(quán)威評測中,DeepSeek的表現(xiàn)大幅超越了 GPT-4o 等知名模型,前者L1獲得了91.6的成績,而o1僅有85.5分,Qwen2.5表現(xiàn)也不錯(cuò)83.1。
值得注意的是,所有測評的最大推理長度是有限制的,是32k。
圖片
為什么說這一點(diǎn)值得注意,因?yàn)閾?jù)介紹,DeepSeek-R1-Lite 的推理過程包含了大量的反思和驗(yàn)證。模型在數(shù)學(xué)競賽上的得分與測試所允許思考的長度緊密正相關(guān)。
即,允許思考過程的token越長,所獲得推理結(jié)果得分越高。
圖片
小遺憾地是,DeepSeek-R1-Lite 目前仍處于迭代開發(fā)階段,僅支持網(wǎng)頁使用,暫不支持 API 調(diào)用。DeepSeek-R1-Lite 所使用的也是一個(gè)較小的基座模型,無法完全釋放長思維鏈的潛力。
不過DeepSeek表示模型還會(huì)持續(xù)進(jìn)行迭代,正式版 DeepSeek-R1 模型將完全開源,而相關(guān)的技術(shù)報(bào)告也會(huì)公開,同時(shí)也會(huì)部署 API 服務(wù)。
小編實(shí)測了一道高中奧數(shù)題,DeepSeek-R1 全程只用了15s就給了正確的思考過程,不過可惜的是,輸在了最后一個(gè)合并同類項(xiàng)的數(shù)學(xué)錯(cuò)誤上。
圖片
唉,不得不說,功虧一簣呀,大模型的數(shù)學(xué)能力的確有待提升,推理層還得加油!