從推理到編程,詳細(xì)比較DeepSeek 32B、70B、R1實(shí)踐性能
引言
前段時(shí)間,AI 圈被國(guó)產(chǎn)黑馬 DeepSeek - R1 模型 “霸屏” 了!這匹開(kāi)源領(lǐng)域的 “潛力新星”,在推理能力上和 OpenAI 的 o1 不相上下,甚至在資源利用上更勝一籌,很 “省資源”。它的橫空出世,不僅打破了大眾對(duì)國(guó)產(chǎn) AI 的固有認(rèn)知,更是讓世界看到了中國(guó) AI 厚積薄發(fā)的硬核實(shí)力,這波操作簡(jiǎn)直 “殺瘋了” !
DeepSeek 乘勝追擊,基于 R1 模型又推出了更具針對(duì)性應(yīng)用的 DeepSeek - R1 - Distill - Qwen - 32B 和 適合大規(guī)模數(shù)據(jù)處理的 DeepSeek - R1 - Distill - Llama - 70B 兩款模型,熱度直接拉滿。
如果你想親自體驗(yàn),訪問(wèn) Ollama 官網(wǎng)(https://ollama.com/library/deepseek-r1)就能下載。安裝超簡(jiǎn)單,用 Pip 安裝 Ollama 后,在終端輸入 “ollama run deepseek - r1:32b” 就行。要是還想深挖更多信息,去 DeepSeek 官網(wǎng)(deepseek.com),那里全是干貨!
話不多說(shuō),直接進(jìn)入測(cè)評(píng)環(huán)節(jié),看看這幾款模型在實(shí)測(cè)中的表現(xiàn)到底有多 “牛”!
一、硬件配置大揭秘
來(lái)看看深度求索兩款模型(320 億和 700 億參數(shù)版)的實(shí)測(cè)硬件配置。測(cè)試用 WSL2 系統(tǒng),搭配英特爾 i7 - 14700KF 3.4GHz 處理器、32GB 內(nèi)存和英偉達(dá) RTX 4090 顯卡。
運(yùn)行時(shí),320 億參數(shù)模型能直接流暢跑,700 億參數(shù)模型需把內(nèi)存設(shè)為 24GB,可用 psutil 工具監(jiān)測(cè)內(nèi)存。
測(cè)試的問(wèn)題,部分借鑒了Matthew Berman大佬的測(cè)試視頻內(nèi)容,也補(bǔ)充了一些自定義問(wèn)題。這里 R1 模型測(cè)試結(jié)果來(lái)自其油管視頻,不是本地測(cè)的。不過(guò)要注意,因測(cè)試系統(tǒng)不同,不宜將其測(cè)試速度與本次測(cè)試所需時(shí)間進(jìn)行對(duì)比。下面看具體測(cè)試結(jié)果!
二、模型測(cè)評(píng) “大對(duì)決”
下面是 320 億參數(shù)模型、700 億參數(shù)模型以及 DeepSeek - R1 模型的測(cè)評(píng) “答卷”,直接上 “成績(jī)”:
- 單詞找茬:“strawberry” 里有幾個(gè) “R”?
- 320億參數(shù)模型:? 回答正確,與R1模型回答類(lèi)似。
- 700億參數(shù)模型:? 回答正確,但解釋簡(jiǎn)略。
- DeepSeek - R1模型:? 回答正確,且有詳細(xì)推理過(guò)程。
2. 代碼實(shí)戰(zhàn):用Python寫(xiě)“貪吃蛇”游戲
由 70B 模型開(kāi)發(fā)的游戲。
- DeepSeek - R1模型:?和700億參數(shù)模型表現(xiàn)相似,通過(guò)測(cè)試。
- 320億參數(shù)模型:?翻車(chē)了,蛇吃不到水果,游戲功能失敗。
- 700億參數(shù)模型:?完美通過(guò),蛇能吃水果、變長(zhǎng),分?jǐn)?shù)正常更新。
3. 代碼實(shí)戰(zhàn):用Python寫(xiě)“俄羅斯方塊”游戲
由 32B 機(jī)型
- 開(kāi)發(fā)的俄羅斯方塊游戲。
- 由 70B 模型開(kāi)發(fā)的俄羅斯方塊游戲。
DeepSeek - R1模型:?完美通過(guò),代碼可正常運(yùn)行游戲。
- 700億參數(shù)模型:?方塊能下落,但無(wú)法正常放置。
- 320億參數(shù)模型:?方塊不動(dòng),游戲無(wú)法正常運(yùn)行。
4. 尺寸計(jì)算:信封尺寸合規(guī)嗎?
郵局規(guī)定信封最小14厘米×9厘米 ,最大32.4厘米×22.9厘米,現(xiàn)有個(gè)200毫米×275毫米的信封,它符合標(biāo)準(zhǔn)嗎?
- 320億參數(shù)模型:?答錯(cuò),回答“否”。
- 700億參數(shù)模型:?答對(duì),正確換算單位并給出推理。
- DeepSeek - R1模型:?答對(duì),同樣換算正確且推理合理。
5. 文字計(jì)數(shù):回答里有多少單詞?
- 320億參數(shù)模型:?通過(guò),推理和R1模型類(lèi)似。
- 700億參數(shù)模型:?答對(duì),回答簡(jiǎn)潔。
- DeepSeek - R1模型:?通過(guò),推理過(guò)程細(xì)致。
6. 邏輯推理:房間里還剩幾個(gè)殺手?
房間有三個(gè)殺手,有人進(jìn)去殺了一個(gè)且沒(méi)人離開(kāi),還剩幾個(gè)殺手?
- 320億參數(shù)模型:?答對(duì),推理與R1模型相似。
- 700億參數(shù)模型:?答對(duì),但推理沒(méi)那么詳細(xì)。
- DeepSeek - R1模型:?答對(duì),推理超詳細(xì)。
7. 空間推理:彈珠在哪里?
把彈珠放玻璃杯,杯子倒過(guò)來(lái)放桌上,再拿起放微波爐,彈珠在哪?
- 320億參數(shù)模型:?通過(guò),推理和R1模型差不多。
- 700億參數(shù)模型:?通過(guò),推理合理。
- DeepSeek - R1模型:?通過(guò),推理全面。
8. 數(shù)字比較:9.11和9.9誰(shuí)大?
- 320億參數(shù)模型:?通過(guò),推理詳細(xì)。
- 700億參數(shù)模型:?答對(duì),回答簡(jiǎn)潔。
- DeepSeek - R1模型:?通過(guò),推理細(xì)致。
9. 模型揭秘:說(shuō)出模型名的第二和第三個(gè)字母
- 320億參數(shù)模型:?通過(guò),還透露基于GPT - 4。
- 700億參數(shù)模型:?通過(guò)。
- DeepSeek - R1模型:沒(méi)被問(wèn)到這個(gè)問(wèn)題。
三、最終 “勝負(fù)” 揭曉
320 億參數(shù)模型值得考慮。
經(jīng)過(guò)這么多輪測(cè)試,結(jié)果已經(jīng)很明顯啦:
- DeepSeek - R1(原版):在 “俄羅斯方塊”“貪吃蛇” 編碼和推理任務(wù)中表現(xiàn)超棒,實(shí)力碾壓。
- 320億參數(shù)模型:推理和原版 R1 一樣詳細(xì),可能是因?yàn)榛谕x千問(wèn)。但功能性編碼任務(wù)欠佳,如“信封尺寸驗(yàn)證”答錯(cuò)。不過(guò)在本地設(shè)備上運(yùn)行速度很快。
- 700億參數(shù)模型:編碼和答案準(zhǔn)確性強(qiáng)于320億參數(shù)模型,答對(duì)題數(shù)與R1相近,僅“俄羅斯方塊”答錯(cuò)??伤俣忍?,RTX 4090設(shè)備上每題要等幾分鐘,“俄羅斯方塊”題等了 2143 秒還答錯(cuò)。
追求速度的話(速度數(shù)據(jù)在70B和32B文件),320億參數(shù)模型是個(gè)好選擇。綜合表現(xiàn),R1 模型最強(qiáng)。700億參數(shù)模型答對(duì)多,但速度拖后腿。
大家可以根據(jù)自己的需求,選擇最適合自己的模型!
本文轉(zhuǎn)載自 ??AI科技論談??,作者: AI科技論談
