自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

突破大算力瓶頸:華為支持超萬(wàn)億參數(shù)大模型訓(xùn)練

商務(wù)辦公
為了加速大模型創(chuàng)新,華為發(fā)布了更開(kāi)放、更易用的CANN7.0,不僅全面兼容業(yè)界的AI框架、加速庫(kù)和主流大模型,還深度開(kāi)放底層能力,讓AI框架和加速庫(kù)可以更直接地調(diào)用和管理計(jì)算資源,使能開(kāi)發(fā)者自定義高性能算子。

在華為全聯(lián)接大會(huì)2023期間,華為正式發(fā)布全新架構(gòu)的昇騰AI計(jì)算集群——Atlas 900 SuperCluster,可支持超萬(wàn)億參數(shù)的大模型訓(xùn)練。

華為常務(wù)董事、ICT基礎(chǔ)設(shè)施業(yè)務(wù)管理委員會(huì)主任、企業(yè)BG總裁汪濤介紹,新集群采用全新的華為星河AI智算交換機(jī)CloudEngine XH16800,借助其高密的800GE端口能力,兩層交換網(wǎng)絡(luò)即可實(shí)現(xiàn)2250節(jié)點(diǎn)(等效于18000張卡)超大規(guī)模無(wú)收斂集群組網(wǎng)。

新集群同時(shí)使用了創(chuàng)新的超節(jié)點(diǎn)架構(gòu),大大提升了大模型訓(xùn)練能力。

此外,發(fā)揮華為在計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、能源等領(lǐng)域的綜合優(yōu)勢(shì),從器件級(jí)、節(jié)點(diǎn)級(jí)、集群級(jí)和業(yè)務(wù)級(jí)全面提升系統(tǒng)可靠性,將大模型訓(xùn)練穩(wěn)定性從天級(jí)提升到月級(jí)。

為了加速大模型創(chuàng)新,華為發(fā)布了更開(kāi)放、更易用的CANN7.0,不僅全面兼容業(yè)界的AI框架、加速庫(kù)和主流大模型,還深度開(kāi)放底層能力,讓AI框架和加速庫(kù)可以更直接地調(diào)用和管理計(jì)算資源,使能開(kāi)發(fā)者自定義高性能算子。

汪濤表示,隨著人工智能進(jìn)入大模型時(shí)代,大算力正在成為人工智能發(fā)展的核心引擎。華為改變傳統(tǒng)的服務(wù)器堆疊模式,以系統(tǒng)架構(gòu)創(chuàng)新打造AI集群,實(shí)現(xiàn)算力、運(yùn)力、存力的一體化設(shè)計(jì),突破大算力瓶頸。

責(zé)任編輯:武曉燕 來(lái)源: 快科技
相關(guān)推薦

2023-09-25 18:33:57

算力存力

2023-09-20 16:55:15

華為AI 計(jì)算集群

2024-03-06 09:00:00

大語(yǔ)言模型人工智能

2023-09-21 15:12:34

算力AI集群

2023-11-23 18:19:15

騰訊騰訊混元Angel

2021-06-25 10:40:38

阿里云AIM6

2023-10-20 16:38:02

2024-02-04 12:22:28

模型數(shù)據(jù)

2024-12-25 14:30:00

大語(yǔ)言模型AI計(jì)算

2024-07-25 12:52:36

2022-12-07 09:49:34

AI模型

2024-03-28 14:45:56

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)