編輯 | 伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

上周五，DeepSeek剛剛預(yù)告了重磅開源周！

周一一早，DeepSeek就履行承諾，開源了針對 Hopper GPU 的高效 MLA 解碼內(nèi)核——FlashMLA！

圖片

根據(jù)DeepSeek介紹，F(xiàn)lashMLA內(nèi)核針對變長序列進(jìn)行了優(yōu)化，是已投入生產(chǎn)的核心技術(shù)。

從DeepSeek-V2開始，MLA出現(xiàn)在的所有的DeepSeek大模型里面，是DeepSeek大模型提升效果的非常重要的機(jī)制。

MLA（Matrix-Less Attention）多頭潛在注意力，通過數(shù)學(xué)變換避免了直接計算大規(guī)模矩陣，從而降低計算復(fù)雜度。MLA 的設(shè)計使其能夠更好地利用現(xiàn)代 GPU 的并行計算能力，從而加速推理過程。

圖片

圖片

簡單來說，F(xiàn)lashMLA 的優(yōu)化讓 AI 處理不固定長度的文本更高效，比如聊天對話或文章生成場景。通過優(yōu)化，GPU 能更聰明地管理記憶（緩存），讓它在處理長短不同的句子時，不會浪費太多計算資源。

評論區(qū)的網(wǎng)友紛紛給出好評！

一位網(wǎng)友調(diào)侃說，提高顯卡效率，但是拜托別燒壞我的英偉達(dá)股票！

圖片

另一位運行項目的網(wǎng)友更是大加贊美：純粹的工程設(shè)計，愛死它了！

圖片

開源地址：??https://github.com/deepseek-ai/FlashMLA??

圖片

該項目目前已經(jīng)斬獲了1.2k的Star量，DeepSeek開源周的火爆程度可見一斑！

接下來，我們看看FlashMLA開源項目的內(nèi)容。

1.FlashMLA核心內(nèi)容解讀： 中高端消費級 GPU 能運行更大模型了！

DeepSeek給出了FlashMLA的三個關(guān)鍵詞，我們來一一解讀下：

• 支持 BF16：在 Transformer 推理過程中，BF16 計算可以加速矩陣運算，同時保證數(shù)值穩(wěn)定性，與 FP32 相比，帶來了顯著的計算效率提升。
• 分頁式 KV 高速緩存（塊大小為 64）：采用分頁式管理，意味著 FlashMLA 允許更靈活的 KV 緩存復(fù)用，減少 GPU 內(nèi)存壓力，優(yōu)化長序列的推理性能。
• 在 H800 上實現(xiàn) 3000 GB/s 內(nèi)存綁定和 580 TFLOPS 計算綁定：說明FlashMLA 能夠最大化利用 H800 的內(nèi)存帶寬和計算能力，實現(xiàn)近乎極限（甚至突破）的吞吐量。。

FlashMLA作為針對 Hopper GPU 的 LLM 推理加速方案，其核心價值體現(xiàn)在這幾點：

• 優(yōu)化變長序列推理，適用于對話型 AI 和多輪交互。
• 提高計算效率（580 TFLOPS）和 內(nèi)存帶寬利用率（3000 GB/s），減少推理延遲。
• 降低顯存占用，提高 LLM 生產(chǎn)環(huán)境的吞吐量，優(yōu)化 GPU 資源利用。

網(wǎng)友@Hemang Dave在評論區(qū)興奮地感嘆：Apple 研究表明，類似方法可以運行比 GPU 可用 DRAM 大兩倍的模型，同時顯著提升推理速度（CPU 提升 4-5 倍，GPU 提升 20-25 倍）。這意味著 FlashMLA 能在 Hopper GPU 上運行更大規(guī)模的 AI 模型，而無需昂貴的硬件升級，大幅降低部署成本。

2.FlashMLA開源項目部署

項目的部署需要：

• Hopper 系列 GPU
• CUDA 12.3 及以上版本
• PyTorch 2.0 及以上版本

快速啟動：

圖片

3.寫在最后：DeepSeek R1成抱抱臉最受歡迎大模型

DeepSeek第一天的項目就如此重磅！

更讓人對未來4天的發(fā)展更加驚喜，網(wǎng)友直接預(yù)測：我聽說第五天將開源AGI!

圖片

另外，DeepSeek R1在開源平臺抱抱臉上的點贊已經(jīng)超過一萬，成為150個模型中最受歡迎的一個！

圖片

我們有理由相信，DeepSeek這只藍(lán)鯨魚，必定成為這波AI浪潮的弄潮兒！

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)