前些天，英偉達(dá)發(fā)布了一大堆東西，其中包括一款 AI 超級計算機(jī) Project DIGITS，機(jī)器之心也在第一時間進(jìn)行了報道，參閱《RTX5090 震撼發(fā)布，國行 16499 元起，黃仁勛「美國隊(duì)長」pose 亮翻全場》。在這篇文章的評論區(qū)，一位讀者的問題引發(fā)了不少爭議。

雖然該問題的最高贊回復(fù)表示這是「英偉達(dá)被黑得最慘的一次」，但實(shí)際上使用 Mac Mini 作為個人的大模型運(yùn)行平臺并不是什么罕見操作。

Fast Company 甚至認(rèn)為 M4 Mac Mini 是「測試 AI 的完美計算機(jī)」。

你也能在社交網(wǎng)絡(luò)上找到許多用戶分享的經(jīng)驗(yàn)。

其實(shí)，上圖中的這位 Alex Cheema 不僅僅是在 Mac Mini 上運(yùn)行自己的個人 LLM 集群，也是在為自家公司 EXO Labs 做概念驗(yàn)證。其在今年初宣布推出了 EXO Gym 競賽，開始測試能否在較慢的互聯(lián)網(wǎng)帶寬上實(shí)現(xiàn)有效的低延遲訓(xùn)練，而他們?yōu)榇藴?zhǔn)備的 Mac Mini 數(shù)量更是多達(dá) 1000 臺！是的，你沒有看錯，不只是使用 Mac Mini 來執(zhí)行推理，還使用它們來訓(xùn)練模型。

當(dāng)然，這種做法同樣也是極具爭議，不過有興趣自己嘗試的讀者也可使用他們的開源軟件庫，目前該項(xiàng)目已經(jīng)收獲了超過 1.84 萬 star。

• GitHub 地址：https://github.com/exo-explore/exo

總之，至少在運(yùn)行推理方面，看起來使用 Mac Mini 確實(shí)可行?，F(xiàn)在，我們就來嚴(yán)肅地討論一下這個問題：對于個人用戶而言，如果想自己跑本地大模型，Mac Mini 和英偉達(dá) Project DIGITS 到底選哪個更好？

參數(shù)對比

比較誰更勝一籌的最直觀方法是比較它們的參數(shù)。

價格

首先來看價格。

根據(jù)芯片、內(nèi)存和硬盤的不同配置，M4 和 M4 Pro 芯片的國行版 Mac Mini 價格從 4499 元到 35749 元人民幣不等，國際版則是從 599 美元到 4699 美元不等。

而 Project DIGITS 目前已知的起售價為 3000 美元。而這個 3000 美元版本的配置情況大概是 128GB 內(nèi)存和高達(dá) 4TB 的 NVMe 存儲。

而 64GB 內(nèi)存和 4TB 硬盤的 M4 Pro 版 Mac Mini 的官方價格就已經(jīng)達(dá)到了 3199 美元起，超過了 Project DIGITS。

配備 12 核 CPU、16 核 GPU 和 16 核 Neural Engine 的 M4 Pro 芯片的 Mac Mini，當(dāng)選擇 64GB 內(nèi)存和 4TB 硬盤時，售價為 3199 美元

因此至少在價格上，Project DIGITS 先拿下一分。

性能參數(shù)

目前，由于 Project DIGITS 還沒上市，因此我們自然無法獲取其與 Mac Mini 的直接性能對比數(shù)據(jù)，但我們可以通過一些基本的配置情況來進(jìn)行最基礎(chǔ)的評估。

首先是 CPU 和 GPU。Project DIGITS 采用的計算核心是 GB10 Superchip，由 Grace CPU 和 Blackwell GPU 組成。其中，Grace CPU 配置了 20 個采用 Arm 架構(gòu)構(gòu)建的高能效核心，GPU 則是先進(jìn)的 Blackwell，采用了最新一代 CUDA 核心和第五代 Tensor Cores，可實(shí)現(xiàn) 1 PetaFLOP FP4 的 AI 計算。1 PetaFLOP！著實(shí)嚇人，不過這是 FP4 精度的。如果等價到 FP16 精度，則可以說是 250 TFLOPS（當(dāng)然這種算法很不嚴(yán)謹(jǐn)）。

英偉達(dá)表示，借助這款超級計算機(jī)，開發(fā)者可以運(yùn)行多達(dá) 2000 億參數(shù)的大型語言模型，從而加速 AI 創(chuàng)新。此外，借助 NVIDIA ConnectX 網(wǎng)絡(luò)，還可將兩臺 Project DIGITS AI 超級計算機(jī)連接起來，運(yùn)行多達(dá) 4050 億參數(shù)的模型。也就是說，足以運(yùn)行 Llama 3.1 405B。

而 Apple M4 Pro 芯片的 CPU 則是 12 核，其中包含 8 個性能核心與 4 個效率核心；GPU 則是 16 核版本。而其在 FP16 精度下的速度為 17 TFLOPS 。

根據(jù) Alex Cheema 的計算，Project DIGITS 可以說在各個層面都碾壓了 M4 Pro Mac Mini。

簡單算算性價比：

• Project DIGITS：250 TFLOPS / $3,000 ≈ 0.083 TFLOPS/美元
• M4 Pro Mac Mini：17 TFLOPS / $2,200 ≈ 0.0077 TFLOPS/美元

也就是說，用同樣的錢，能從 Project DIGITS 獲得超過 M4 Pro Mac Mini 超過 10 倍的算力！

不過知乎用戶 Karminski - 牙醫(yī)也指出了 Project DIGITS 的一大不足。他表示「它是統(tǒng)一內(nèi)存，即 CPU 和 CPU 共享 LPDDR5X。它不是 GDDR6，也不是 HBM2 的?！?/span>

雖然該設(shè)備的內(nèi)存有 128 GB，「但是根據(jù) Grace 架構(gòu) CPU 的 Product Brief，單 CPU 的內(nèi)存帶寬最大只有 512GB/s。所以如果用這個設(shè)備來運(yùn)行大語言模型，瓶頸就會變成這個內(nèi)存帶寬?！?/span>

他也做了一番計算，得出的結(jié)論是「在 512GB/s 的情況下，運(yùn)行 70b-4bit 規(guī)模的模型，生成速度理論最大值是 512/40=12.8 token/s。如果想要運(yùn)行 200B 規(guī)模的模型 (200B4bit 量化大概是 114GB)，理論生成速度是 512/114≈4.5token/s」。

因此，Project DIGITS 可能也暗暗經(jīng)受了老黃擅長的刀法。

Project DIGITS 果真賽高

整體來看，讀者 Thomas Copper 確實(shí)沒有說錯，至少在 AI 計算任務(wù)上，Mac Mini 確實(shí)遠(yuǎn)遠(yuǎn)不及 Project DIGITS。但需要說明，Mac Mini 并不是專為 AI 任務(wù)打造，也適用于各種日常和工作任務(wù)。

之前不少人表示 Mac Mini 是實(shí)現(xiàn) AI 普及化（democratize AI）的開始，但實(shí)際比較下來，或許真正的開始是英偉達(dá) Project DIGITS！

不過也需指出，Project DIGITS 才剛剛露臉，預(yù)計要到 5 月份才上市，市場表現(xiàn)究竟如何還有待檢驗(yàn)——畢竟我們到時才能真正知道「皮衣刀客」究竟刀了哪些地方。但至少從社交網(wǎng)絡(luò)上的分享來看，已經(jīng)有不少人準(zhǔn)備好自己的錢包了。

對此，你有什么看法呢？