DeepSeek開源周第一天，降本大法公開——

FlashMLA，直接突破H800計(jì)算上限。

網(wǎng)友：這怎么可能？？

圖片

它是為Hopper GPU開發(fā)的高效MLA解碼內(nèi)核，專門針對(duì)可變長度序列進(jìn)行了優(yōu)化，目前已經(jīng)投入生產(chǎn)。

MLA，正是DeepSeek提出的創(chuàng)新注意力架構(gòu)。從V2開始，MLA使得DeepSeek在系列模型中實(shí)現(xiàn)成本大幅降低，但是計(jì)算、推理性能仍能與頂尖模型持平。

按照官方介紹來說，F(xiàn)lashMLA使用之后，H800可以達(dá)到3000GB/s內(nèi)存，實(shí)現(xiàn)580TFLOPS計(jì)算性能。

網(wǎng)友們紛紛點(diǎn)贊：向工程團(tuán)隊(duì)致以崇高的敬意，從Hopper的張量核中擠出了每一個(gè)FLOP。這就是我們將 LLM 服務(wù)推向新前沿的方式！

圖片

已經(jīng)有網(wǎng)友用上了。

圖片

開源第一天：FlashMLA

目前GitHub頁面已經(jīng)更新。短短一小時(shí)，Star星數(shù)已經(jīng)超過1.2k。

圖片

此次已經(jīng)發(fā)布：

• 支持BF16；
• 分頁KV緩存，塊大小為 64

快速啟動(dòng)：

圖片

環(huán)境要求：

• Hopper GPU
• CUDA 12.3 及以上版本
• PyTorch 2.0 及以上版本

在項(xiàng)目的最后，它還表示，這是受到了FlashAttention 2&3和英偉達(dá)CUTLASS項(xiàng)目的啟發(fā)。

圖片

FlashAttention是能實(shí)現(xiàn)快速且內(nèi)存高效的精確注意力，主流大模型都有在用。最新的第三代，可以讓H100利用率飆升至75%。訓(xùn)練速度提升1.5-2倍，F(xiàn)P16下計(jì)算吞吐量高達(dá)740TFLOPs/s，達(dá)理論最大吞吐量75%，更充分利用計(jì)算資源，此前只能做到35%。

核心作者是Tri Dao，普林斯頓大牛，Together AI的首席科學(xué)家。

而英偉達(dá)CUTLASS是CUDA C++ 模板抽象的集合，用于在 CUDA 內(nèi)實(shí)現(xiàn)高性能矩陣-矩陣乘法 (GEMM) 和所有級(jí)別和規(guī)模的相關(guān)計(jì)算。

MLA，DeepSeek基本架構(gòu)

最后再來說說，MLA，多頭潛在注意力機(jī)制，DeepSeek系列模型的基本架構(gòu)，旨在優(yōu)化Transformer模型的推理效率與內(nèi)存使用，同時(shí)保持模型性能。

它通過低秩聯(lián)合壓縮技術(shù)，將多頭注意力中的鍵（Key）和值（Value）矩陣投影到低維潛在空間，從而顯著減少鍵值緩存（KV Cache）的存儲(chǔ)需求。這種方法在長序列處理中尤為重要，因?yàn)閭鹘y(tǒng)方法需要存儲(chǔ)完整的KV矩陣，而MLA通過壓縮僅保留關(guān)鍵信息。

V2版本中，這一創(chuàng)新性架構(gòu)把顯存占用降到了過去最常用的MHA架構(gòu)的5%-13%，實(shí)現(xiàn)了成本大幅降低。它的推理成本僅為Llama 370B的1/7、GPT-4 Turbo的1/70。

而在V3，這一降本提速就更為明顯，直接讓DeepSeek吸引全球目光。

圖片

也就在今天，DeepSeek-R1 在HuggingFace上獲得了超過10000個(gè)贊，成為該平臺(tái)近150萬個(gè)模型之中最受歡迎的大模型。

HuggingFace CEO發(fā)文公布了這一喜訊。

圖片

The whale is making waves！鯨魚正在掀起波浪！

圖片

好了期待一下，接下來的四天會(huì)發(fā)些什么呢？

GitHub鏈接：
https://github.com/deepseek-ai/FlashMLA參考鏈接：
https://x.com/deepseek_ai/status/1893836827574030466