“ 大模型的發(fā)展，類似于計(jì)算機(jī)的發(fā)展由大到小”

最近在抖音上看到360創(chuàng)始人——周鴻祎說他關(guān)于大模型的發(fā)展的四個(gè)趨勢(shì)，也就是開源，廉價(jià)，專業(yè)，小巧。

開源就是以openAI為代表的閉源大模型和Meta/Google為代表的開源大模型的模型大戰(zhàn)；廉價(jià)就是大模型的訓(xùn)練成本會(huì)進(jìn)一步降低，也就是意味著大模型會(huì)越來越便宜；專業(yè)即垂直領(lǐng)域的大模型會(huì)大放異彩；最后小巧是大模型在未來會(huì)被移植到手機(jī)上。

雖然不知道周鴻祎的預(yù)測(cè)是否準(zhǔn)確，開源與閉源模型的大戰(zhàn)最終會(huì)是什么結(jié)果；但不可否認(rèn)的是，大模型的發(fā)展不可能是一家獨(dú)大，而很可能是多種趨勢(shì)并存。

大模型會(huì)越來越大

大模型越來越大這是一個(gè)趨勢(shì)，畢竟根據(jù)現(xiàn)有的理論，大模型的參數(shù)越多其效果越好，涌現(xiàn)能力越強(qiáng)，這是一個(gè)不可爭(zhēng)議的事實(shí)，除非出現(xiàn)新的理論能夠顛覆現(xiàn)有的大模型基礎(chǔ)理論。

因此，大模型要想越來越強(qiáng)大，那么大模型變大的可能性就越高；其功能也會(huì)更強(qiáng)。

大模型越來越大這是它的優(yōu)勢(shì)，但同樣也是它的劣勢(shì)；因?yàn)榇竽Ｐ驮酱螅瑢?duì)算力和能源的要求越高，其訓(xùn)練和維護(hù)的成本越高。

這對(duì)很對(duì)企業(yè)來說是無(wú)法接受的，因此越來越大的大模型只能有那些巨頭企業(yè)或國(guó)家才能玩得轉(zhuǎn)。

越來越大的大模型就類似于超級(jí)計(jì)算機(jī)，其功能強(qiáng)大，但能玩得轉(zhuǎn)的人特別少。

因此，超大模型的競(jìng)爭(zhēng)，是大廠之間的競(jìng)爭(zhēng)，也是國(guó)家之間的競(jìng)爭(zhēng)。

當(dāng)然，隨著技術(shù)的發(fā)展，更先進(jìn)的大模型架構(gòu)和理論會(huì)持續(xù)出現(xiàn)，那時(shí)的大模型可能會(huì)越來越強(qiáng)，越來越小。

大模型越來越小

大模型會(huì)變得越來越小，其最終有可能會(huì)被安裝到手機(jī)等移動(dòng)設(shè)備之上，雖然其功能趕不上大模型，但滿足普通人的日常使用還是有可能的。

而這就類似于現(xiàn)在的智能手機(jī)，所謂的智能手機(jī)就是把電腦的操作系統(tǒng)給做的更小，功能更強(qiáng)。

當(dāng)然，雖然大模型的蒸餾和壓縮技術(shù)在持續(xù)發(fā)展，但怎么才能把龐大的模型壓縮到手機(jī)能夠支持的體積的同時(shí)，還要同時(shí)保證大模型的強(qiáng)大功能，還是一個(gè)需要研究的課題。

個(gè)人預(yù)測(cè)，大模型的壓縮是一個(gè)必須功課的課題；因?yàn)樵趯?shí)際應(yīng)用領(lǐng)域，大模型的離線操作是一個(gè)很重要的功能，比如自動(dòng)駕駛，無(wú)人設(shè)備等；在惡劣的自然環(huán)境或者沒有網(wǎng)絡(luò)的情況下，能夠讓設(shè)備正常使用。

而這就需要大模型能夠安裝到這些設(shè)備之上。

大模型垂直化發(fā)展

大模型有大模型的應(yīng)用場(chǎng)景，小模型有小模型的應(yīng)用場(chǎng)景；但從功能性和成本考慮，垂直化應(yīng)用的大模型也必不可少。

畢竟，哪怕是人也有自己擅長(zhǎng)和不擅長(zhǎng)的方面；大模型也是如此，因此通用大模型在垂直領(lǐng)域的效果就大打折扣；所以垂直化的大模型就成了垂直領(lǐng)域最好的解決方案。

比如說，大模型在法律，金融，教育，航空航天等領(lǐng)域的使用；有些會(huì)涉及到國(guó)家安全和民生的領(lǐng)域，這時(shí)使用一個(gè)通用的超大模型，不但具有巨大的安全風(fēng)險(xiǎn)，而且一個(gè)模型也無(wú)法完全支撐如此龐大的領(lǐng)域。

因此，每個(gè)領(lǐng)域有每個(gè)領(lǐng)域的“專家模型”就是最好的選擇，沒有之一。

再有就是，類似于互聯(lián)網(wǎng)常見的分布式部署方案，通過上層統(tǒng)一架構(gòu)，可以在底層集成多個(gè)大模型來完成需要的功能。

比如360邀約十多家國(guó)內(nèi)的大模型公司，然后基于其自研的架構(gòu)，可以使得多個(gè)模型協(xié)作，來達(dá)到超越GPT4o的能力；雖然單獨(dú)一個(gè)模型的表現(xiàn)并不出色，但通過混合模型(狼群戰(zhàn)術(shù))，同樣能夠達(dá)到GPT4o的效果。

總結(jié)

從成本和技術(shù)門檻的角度來說，發(fā)展垂直化模型是最好的選擇，但同樣其它的方式也不能完全放棄；只有多條腿走路，才能在大模型的競(jìng)爭(zhēng)中生存下來，并且找到最適合自己的解決方案。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：????https://mp.weixin.qq.com/s/J3lS6oX0FzjrPHqsOWAv2Q???