自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

為什么AI大模型訓(xùn)練離不開GPU?

人工智能
以英偉達H100 GPU為例,它包含超過1.8萬個核心,而頂級的Intel I9 CPU只有24個核心,GPU的核心數(shù)是CPU的700多倍。所以,CPU 擅長 快速完成單個運算,適合需要逐一執(zhí)行的程序。

大家好呀,我是飛魚。

一般說到顯卡,大多人的第一反應(yīng)是,這不是給打游戲的用的嗎?

其實顯卡的GPU還可以作為AI芯片使用的。

在GPU火之前,提到最多的就是CPU,那么二者有什么區(qū)別呢?

GPU的計算單元數(shù)量比CPU多得多。

以英偉達H100 GPU為例,它包含超過1.8萬個核心,而頂級的Intel I9 CPU只有24個核心,GPU的核心數(shù)是CPU的700多倍。

所以,CPU 擅長 快速完成單個運算,適合需要逐一執(zhí)行的程序。

GPU 擅長 并行處理大量運算,即使單個運算速度較慢,但可以同時處理多個任務(wù)。

相當(dāng)于請兩個專家寫一萬份小學(xué)作業(yè)和請一萬個小學(xué)生寫一萬份作業(yè)的區(qū)別。

那AI訓(xùn)練為什么用GPU而不用CPU呢?

因為AI訓(xùn)練任務(wù)通常具有簡單、重復(fù)和計算量大的特點,而GPU可以并行運算,可充分釋放計算效率。

講得更專業(yè)一點就是:

  • CPU是基于數(shù)據(jù)流的串行計算,GPU是基于多變量的矩陣運算,后者更適合神經(jīng)網(wǎng)絡(luò)算法為基礎(chǔ)的AI計算。

為進一步加快訓(xùn)練速度,處理更大AI模型(例如ChatGPT)。

研發(fā)者可將許多數(shù)據(jù)中心GPU匯集到一起形成超級計算機。

或者創(chuàng)建一個非常大規(guī)模的加速器。

最近賣顯卡的英偉達NIVDIA超越蘋果、微軟成為世界市值最高的公司,背后是全世界對AI的算力競賽。

微軟,買了48.5萬張GPU,全球第一買家。

字節(jié)跳動,買了23萬張GPU,全球第二買家。

騰訊,大約買了23萬張GPU,全球第三買家。

英偉達幾乎壟斷電腦領(lǐng)域的顯卡后,在AI領(lǐng)域又幾乎達到全球壟斷級別。

有啥其他補充的內(nèi)容,歡迎在評論區(qū)留言討論。

每日一題

題目描述

統(tǒng)計字符串中的單詞個數(shù),這里的單詞指的是連續(xù)的不是空格的字符。

請注意,你可以假定字符串里不包括任何不可打印的字符。

示例:

輸入: "Hello, my name is John"
輸出: 5
解釋: 這里的單詞是指連續(xù)的不是空格的字符,所以 "Hello," 算作 1 個單詞。

解題思路

我們可以從前往后處理字符串 s 并進行計數(shù),對于是空格的字符進行跳過(不計數(shù))。

而對于非空格字符,則在遍歷完一個完整單詞(連續(xù)一段)后進行一次計數(shù)。

代碼實現(xiàn)

Java代碼:

class Solution {
    public int countSegments(String s) {
        int n = s.length();
        int ans = 0;
        for (int i = 0; i < n; ) {
            if (s.charAt(i) == ' ' && i++ >= 0) {
              continue;
            }
            while (i < n && s.charAt(i) != ' ') {
              i++;
            }
            ans++;
        }
        return ans;
    }
}


責(zé)任編輯:武曉燕 來源: 月伴飛魚
相關(guān)推薦

2013-08-05 11:15:45

GoogleNexus系列

2017-04-05 13:30:16

機器學(xué)習(xí)開源行業(yè)發(fā)展

2017-06-13 15:11:29

2021-03-25 09:41:43

前端Monorepo技術(shù)熱點

2022-03-17 11:35:08

邊緣計算物聯(lián)網(wǎng)數(shù)字經(jīng)濟

2020-06-16 13:26:03

新基建網(wǎng)絡(luò)安全

2024-01-02 17:28:12

芯片CPUAI計算

2024-09-26 00:10:00

Agent大模型AI

2025-04-01 09:54:09

AI算法大模型AI

2024-06-03 08:50:36

2022-06-24 11:41:05

芯片AI訓(xùn)練

2021-10-09 20:41:32

人工智能AI安防監(jiān)控

2015-10-13 10:41:39

大數(shù)據(jù)厚數(shù)據(jù)

2021-05-16 07:44:01

Hadoop大數(shù)據(jù)HDFS

2018-03-26 14:02:53

2024-09-05 14:05:00

AI算力

2018-02-10 09:48:04

存儲軟件理由

2024-01-23 10:35:09

ChatGPT人工智能

2017-11-06 10:07:36

智能自動化管理
點贊
收藏

51CTO技術(shù)棧公眾號