DeepSeek太給力了！自家的大模型秘方開源到底！國產(chǎn)大模型雄起 原創(chuàng)
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
DeepSeek “開源周”第五天，依舊保持了一如既往地“務(wù)實”風(fēng)，滿滿的誠意。
先來回憶下前四天，源神的慷慨發(fā)布——
第一天，2月24日，最為外界稱道的MLA技術(shù)率先開源，這項解碼加速器FlashMLA技術(shù)能夠讓英偉達(dá)Hopper架構(gòu)GPU跑得更快，效果更好！
緊接著，25日，直接亮出首個面向MoE模型的開源專家并行通信庫DeepEP，實現(xiàn)了MoE訓(xùn)練推理的全棧優(yōu)化；
第三天，則進(jìn)一步祭出一項跨時代的發(fā)布：FP8通用矩陣乘法加速庫，從底層讓模型訓(xùn)練、微調(diào)變得更加流暢絲滑；
第四天，也就是昨天的并行優(yōu)化“三劍客”：DeepSeek-V3和R1 模型背后的并行計算優(yōu)化技術(shù)——DualPipe（雙向流水線并行算法，讓計算和通信高效協(xié)同）、EPLB （ 專家并行負(fù)載均衡器，讓每個 GPU 都“雨露均沾”）、profile-data （性能分析數(shù)據(jù)，可以理解成V3/R1 的并行優(yōu)化的分析經(jīng)驗）
可以說前四天的發(fā)布聚焦在算力通信、模型架構(gòu)優(yōu)化，也就是算力和算法的層面，而接下來第五天的開源則補(bǔ)上了AI三駕馬車的最后一塊，也是用戶體驗感知更為明顯的一塊優(yōu)化動作：高性能分布式文件系統(tǒng)（數(shù)據(jù)存儲層面的改進(jìn)）。
五天整體看下來，可以說是把R1技術(shù)報告中沒來得及公開的“黑科技”一股腦的全部開源了！
第五天究竟開源了什么呢？
“開源周”活動中發(fā)布的第5天，DeepSeek主要Open他們開源的兩個項目：3FS（高性能分布式文件系統(tǒng)）和 Smallpond（基于3FS的數(shù)據(jù)處理框架）。
為了便于大家理解，這里為大家梳理一下。
首先，3FS 是什么？簡單來說，就是一個專為現(xiàn)代硬件設(shè)計的 并行分布式文件系統(tǒng)，目標(biāo)是最大化利用SSD硬盤和高速網(wǎng)絡(luò)（RDMA，繞過CPU直接傳輸數(shù)據(jù)）的性能，解決海量數(shù)據(jù)（如AI訓(xùn)練、推理）的存儲和訪問速度問題。
那，為什么需要3FS？因為在AI訓(xùn)練、大數(shù)據(jù)分析等場景需要處理TB/PB級數(shù)據(jù)，傳統(tǒng)文件系統(tǒng)可能成為性能瓶頸。3FS厲害之處就在于，通過并行技術(shù)和硬件優(yōu)化（如SSD+RDMA），實現(xiàn)超高吞吐量和低延遲。
DS還給出了3FS 的三個性能亮點——
- 速度驚人
a.180臺機(jī)器集群：每秒讀取6.6 TiB（約等于同時傳輸10部4K電影）。
b.25臺機(jī)器：每分鐘排序3.66 TiB數(shù)據(jù)（GraySort基準(zhǔn)測試，體現(xiàn)大數(shù)據(jù)排序能力）。
c.單客戶端節(jié)點：每秒40+ GiB的鍵值緩存查詢（適合AI推理中的快速數(shù)據(jù)檢索）。
- 架構(gòu)優(yōu)勢
- 解耦架構(gòu) (Disaggregated)：計算和存儲資源分離，可按需擴(kuò)展。
- 強(qiáng)一致性：多節(jié)點讀寫時，數(shù)據(jù)始終保持一致（避免臟讀/臟寫）。
- 應(yīng)用場景
- AI數(shù)據(jù)預(yù)處理、模型訓(xùn)練時的數(shù)據(jù)集加載
- 模型訓(xùn)練中快速保存/恢復(fù)檢查點（防止中斷丟失進(jìn)度）
- 向量搜索（如推薦系統(tǒng)、語義匹配）
- 推理時的鍵值緩存（加速實時查詢）
再來看Smallpond。它是DeepSeek基于3FS開發(fā)的一種數(shù)據(jù)處理框架，可理解為在3FS上高效管理數(shù)據(jù)的“工具箱”。
這種工具就非常容易上手了，值得各位大模型“煉丹”士擁有，因為它能夠簡化數(shù)據(jù)清洗、轉(zhuǎn)換、加載（ETL）等流程，適合大規(guī)模數(shù)據(jù)處理任務(wù)。
Github鏈接奉上——
- 3FS代碼倉庫：https://github.com/deepseek-ai/3FS
- Smallpond代碼倉庫：https://github.com/deepseek-ai/smallpond
具體都用在哪兒？
- AI/大數(shù)據(jù)團(tuán)隊：用3FS可加速訓(xùn)練和推理，減少數(shù)據(jù)讀寫等待時間。
- 需要高吞吐存儲的場景：如科學(xué)計算、實時分析、推薦系統(tǒng)等。?
整體上看，DeepSeek AI 通過開源3FS和Smallpond，提供了針對AI和大數(shù)據(jù)場景的高性能存儲與數(shù)據(jù)處理方案，解決海量數(shù)據(jù)下的速度瓶頸問題。
大佬點評：AI Infra的又一福音！
業(yè)內(nèi)對于今天DeepSeek開源的神器評價很高。知名大模型+AI芯片專家陳巍第一時間表達(dá)了驚嘆，稱“3F和smallpond是從1到10的優(yōu)化典范，從底層重構(gòu)AI Infra?！?/p>
陳巍認(rèn)為，3F和smallpond絕對是基層煉丹師的福音?！昂喕植际綉?yīng)用程序的開發(fā)，提供輕量級的數(shù)據(jù)庫整合系統(tǒng)，減少超大模型訓(xùn)練中的維護(hù)和斷點保存，將大模型IT拯救于水火。預(yù)計該框架會迅速整合到現(xiàn)有training framwork中，加速工業(yè)界和學(xué)術(shù)界牛馬的發(fā)paper tps?！?/p>
硅基流動創(chuàng)始人袁進(jìn)輝也稱今天的發(fā)布是：“DeepSeek可以用好硬盤緩存的秘密”。
DeepSeek：中國大模型的生態(tài)崛起的希望
去年大家還在糾結(jié)國產(chǎn)的萬卡系統(tǒng)很難建設(shè)，其中有各種問題。去年中國工程院院士鄭緯民就曾對此提出了擔(dān)憂：“現(xiàn)在用國產(chǎn)，我們的生態(tài)不太好，我們想辦法要做好十個軟件：并行系統(tǒng)、編程框架、通信庫、AI編譯器、算子庫、編程語言、調(diào)度器、容錯系統(tǒng)、內(nèi)存分配系統(tǒng)、存儲系統(tǒng)?！?/p>
鄭院士還舉了自研國產(chǎn)并行系統(tǒng)和通信庫、內(nèi)存分配系統(tǒng)、存儲系統(tǒng)的必要性。
比如，并行系統(tǒng)，現(xiàn)在不是1塊卡，而是1000塊卡、1萬塊卡，1塊卡訓(xùn)練一百天，我們買100塊卡，一天就訓(xùn)練完了。但中間要交換數(shù)據(jù)，交換一次是人家的90倍了，如果做得不好的話，100塊卡我們希望有100倍效能，只能做到3、4倍的效率。我們希望有70倍、80倍、90倍這就叫并行系統(tǒng)，想辦法接近100倍。做得不好，20倍。
再比如通信庫，1000塊卡、1萬塊卡要通信，怎么寫好？算子庫，寫一個矩陣軟件，最好不要寫，調(diào)用矩陣成本軟件，碰到什么就調(diào)用什么，這個庫要寫得多，寫得好。要有編譯器，國內(nèi)會做編譯系統(tǒng)的特別少，龍舟系統(tǒng)，一個小時就出錯了，怎么才能繼續(xù)做下去？
鄭院士還提出，“數(shù)據(jù)實地化，內(nèi)容主題化，算力國產(chǎn)化是目前的實際要求?！?/p>
但時鐘撥回到去年夏天，國產(chǎn)的大家還是不大愿意用，因為生態(tài)不好。
那DeepSeek這波的誠意十足的開源，可以說讓大家看到了國產(chǎn)學(xué)術(shù)界、產(chǎn)業(yè)界生態(tài)崛起的希望，這家了不起的公司一股腦把國產(chǎn)自研的大模型配套的技術(shù)全都搞出來了，并行、編譯、通信、內(nèi)存、存儲、算子……
可以預(yù)見的是，DeepSeek正在標(biāo)志著國產(chǎn)算力和國產(chǎn)模型正在成為新興的大模型勢力，中國也將迸發(fā)出性能強(qiáng)大、成本低廉、普惠全面的大模型應(yīng)用。
參考鏈接：??https://www.zhihu.com/question/13614300508/answer/112464472761??
本文轉(zhuǎn)載自??51CTO技術(shù)棧??
