架構(gòu)創(chuàng)新×模型創(chuàng)新!清微智能全面適配DeepSeek模型推理和訓(xùn)練
隨著大模型技術(shù)向多場景滲透,算力需求呈現(xiàn)「大規(guī)模、高彈性、低成本」三重挑戰(zhàn)。
清微智能基于全球領(lǐng)先的可重構(gòu)計(jì)算架構(gòu)(CGRA)推出可重構(gòu)算力芯片RPU(Reconfigurable Processing Unit),實(shí)現(xiàn)單機(jī)高效運(yùn)行千億級參數(shù)模型推理和訓(xùn)練,以動態(tài)硬件重構(gòu)、全棧優(yōu)化及高能效比,重新定義國產(chǎn)AI芯片的性價比標(biāo)桿。
新年伊始,DeepSeek的驚艷亮相,不僅在科技圈掀起巨浪,其影響還涉及到經(jīng)濟(jì)、社會、政策等多個維度,相關(guān)企業(yè)迅速跟進(jìn)。
以可重構(gòu)計(jì)算技術(shù)路線立足于國產(chǎn)AI芯片賽道的清微智能也積極響應(yīng),其RPU芯片已完成DeepSeek-R1系列模型的適配和部署運(yùn)行。
清微智能RPU芯片通過可重構(gòu)計(jì)算架構(gòu)映射和數(shù)據(jù)流控制技術(shù),在處理AI任務(wù)時,以更高效率實(shí)現(xiàn)計(jì)算資源的動態(tài)調(diào)度分配,摒棄傳統(tǒng)指令處理流程和共享存儲數(shù)據(jù)交換機(jī)制,使硬件資源更聚焦于核心計(jì)算任務(wù)。
清微智能算力服務(wù)器支持無交換機(jī)自組網(wǎng)調(diào)度,顯著提升計(jì)算資源利用率與能效比,單機(jī)支持從1.5B、7B到六千億參數(shù)的DeepSeek全量模型,是國產(chǎn)算力支持國產(chǎn)DeepSeek大模型的高性價比獨(dú)特方案。
清微智能算力服務(wù)器具有訓(xùn)推一體特點(diǎn),不僅在DeepSeek系列模型的推理上表現(xiàn)出優(yōu)異的性能,同時高性能支持基于DeepSeek模型對其他模型進(jìn)行蒸餾訓(xùn)練,極大方便了用戶實(shí)現(xiàn)大模型本地私有化部署。
例如:使用DeepSeek-R1模型對NuminaMath-TIR等數(shù)據(jù)集的問題進(jìn)行推理解答,生成的思考過程和答案作為Qwen2-7B模型蒸餾訓(xùn)練數(shù)據(jù)集,基于清微智能算力服務(wù)器加載蒸餾訓(xùn)練數(shù)據(jù)集和Qwen2-7B的模型權(quán)重及配置文件,進(jìn)行Qwen2-7B模型的蒸餾訓(xùn)練。
連日來,DeepSeek系列模型的火爆出圈,凸顯了國產(chǎn)大模型創(chuàng)新爆發(fā)出震撼全球的威力。
清微智能RPU芯片以計(jì)算架構(gòu)創(chuàng)新,結(jié)合國產(chǎn)模型路徑創(chuàng)新,迸發(fā)出強(qiáng)強(qiáng)聯(lián)合1+1>2的效果,為AI用戶提供了更具經(jīng)濟(jì)性的組合選擇。