“ 亂花漸欲迷人眼，學(xué)會(huì)從根本上認(rèn)識(shí)問(wèn)題”

現(xiàn)在市面上大模型如百花齊放，對(duì)很多人來(lái)說(shuō)一堆大模型帶來(lái)的不是簡(jiǎn)單方便，而是亂七八糟以及迷茫。

因?yàn)椴恢啦煌拇竽Ｐ椭g有什么區(qū)別，也不知道自己需要什么樣的大模型；就拿huggingface來(lái)說(shuō)，上面的模型有幾十萬(wàn)，有幾個(gè)人能弄明白它們都是干什么的？

因此，我們首先需要學(xué)會(huì)的就是大模型的分類，對(duì)大模型分門別類之后就知道哪些大模型是做什么的，自己需要的是什么了。

大模型的分類

事實(shí)上直接說(shuō)大模型并不是特別準(zhǔn)確，大模型指的是具有龐大參數(shù)的機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)模型。

根據(jù)模型的參數(shù)量可以分為大/中/小三種類型，不同的模型對(duì)資源要求不同，應(yīng)用的場(chǎng)景也不同；比如一些小模型可能會(huì)安裝到移動(dòng)設(shè)備之上。

按任務(wù)類型分類

根據(jù)任務(wù)類型，大模型可以分為生成式模型，判別式模型和混合模型。

生成式模型：這種模型主要用于生成內(nèi)容，包括文本，圖像，音視頻等；典型的比如GPT模型。

判別式模型：判別式模型主要應(yīng)用于分類，預(yù)測(cè)等任務(wù)；如圖像分類，文本分類等；比如Bert模型。

混合模型：混合模型結(jié)合生成式和判別式模型的能力，能夠在生成內(nèi)容的同時(shí)進(jìn)行分類或判別任務(wù)。

當(dāng)然，這個(gè)按任務(wù)分類只是進(jìn)行簡(jiǎn)單的分類，如果再細(xì)化還有更多的分類方式，比如情感分析等。

按數(shù)據(jù)模態(tài)分類

根據(jù)數(shù)據(jù)模態(tài)，大模型主要分為兩類，一類是單模態(tài)模型，一類是多模態(tài)模型。

單模態(tài)模型：?jiǎn)文B(tài)就是僅支持一種模態(tài)數(shù)據(jù)的模型，比如支持文本或者圖片等類型的模型；如ResNet處理圖像，BERT模型處理文本。

多模態(tài)模型：能夠同時(shí)處理多種類型的數(shù)據(jù)，如文本，圖像，音視頻等；如CLIP模型結(jié)合了文本和圖像處理的功能。

按訓(xùn)練方法分類

按訓(xùn)練方法進(jìn)行分類，主要有預(yù)訓(xùn)練模型，從零訓(xùn)練模型和遷移學(xué)習(xí)模型。

預(yù)訓(xùn)練模型：通常在大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后通過(guò)微調(diào)適應(yīng)特定任務(wù)，如GPT，BERT等。

從零訓(xùn)練模型：從頭開始訓(xùn)練的模型，通常在特定任務(wù)上訓(xùn)練，數(shù)據(jù)集要求較高。

遷移學(xué)習(xí)模型：遷移學(xué)習(xí)通常是指在一個(gè)任務(wù)中學(xué)習(xí)的知識(shí)遷移到另一個(gè)相關(guān)任務(wù)中；能夠減少訓(xùn)練時(shí)間并提升性能。

按應(yīng)用領(lǐng)域分類

按照應(yīng)用領(lǐng)域分類，主要分為自然語(yǔ)言處理，計(jì)算機(jī)視覺模型，以及語(yǔ)音處理模型等。

自然語(yǔ)言處理模型：專門用于處理和理解人類的語(yǔ)言，如文本生成，翻譯，情感分析等任務(wù)。

計(jì)算機(jī)視覺模型：用于處理和理解圖像或視頻數(shù)據(jù)，如圖像分類，目標(biāo)檢測(cè)，圖像生成等任務(wù)。

語(yǔ)音處理模型：用于處理語(yǔ)音信號(hào)，包括語(yǔ)音識(shí)別，合成，情感分析等任務(wù)。

按模型架構(gòu)分類

按模型架構(gòu)分類，主要分為transformer架構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)以及長(zhǎng)短期記憶網(wǎng)絡(luò)。

transformer架構(gòu)：transformer架構(gòu)應(yīng)該就不用多說(shuō)了，大名鼎鼎的GPT就是基于Transformer架構(gòu)，廣泛應(yīng)用于自然語(yǔ)言處理和多模態(tài)任務(wù)中。

卷積神經(jīng)網(wǎng)絡(luò)：主要應(yīng)用于計(jì)算機(jī)視覺任務(wù)中。

循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)：傳統(tǒng)上用于處理時(shí)間序列數(shù)據(jù)或語(yǔ)音處理任務(wù)。

當(dāng)然，大模型的分類還有多種不同的形式，以上分類方式是目前比較主流的方式而已。比如說(shuō)有應(yīng)用于代碼開發(fā)的代碼生成模型，用于數(shù)據(jù)處理的數(shù)據(jù)分析模型等。

弄清楚模型的分類，有助于加深對(duì)模型的理解；比如說(shuō)有人提到GPT，你就能知道它是一個(gè)基于Transformer架構(gòu)的，能夠進(jìn)行自然語(yǔ)言處理與生成的預(yù)訓(xùn)練模型。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/nver-8r0MJOc1ShByjplWg??????????