出品 | 51CTO技術(shù)棧（微信號：blog51cto）

“模型越大，效果越好”，Scaling Law再次被OpenAI帶火了，但谷歌的研究人員的最新研究證偽了這一觀點(diǎn)。

在周一發(fā)表的一項(xiàng)研究中，谷歌研究院和約翰霍普金斯大學(xué)的研究人員對人工智能 (AI) 模型在圖像生成任務(wù)中的效率有了新的認(rèn)識。這些發(fā)現(xiàn)挑戰(zhàn)了“越大越好”的普遍信念，可能對開發(fā)更高效的人工智能系統(tǒng)產(chǎn)生重大影響。

1.模型大小與性能之間的較量

這項(xiàng)研究由研究人員Kangfu Mei 和Zhengzhong Tu 來主導(dǎo)，重點(diǎn)關(guān)注潛在擴(kuò)散模型（LDM）的縮放特性及其采樣效率。LDM 是一種人工智能模型，用于根據(jù)文本描述生成高質(zhì)量圖像。

為了研究模型大小和性能之間的關(guān)系，研究人員訓(xùn)練了一套 12 個文本到圖像 LDM，其參數(shù)數(shù)量從 3900 萬到驚人的 50 億不等。然后，這些模型在各種任務(wù)上進(jìn)行了評估，包括文本到圖像的生成、超分辨率和主題驅(qū)動的合成。

論文中寫到，“雖然改進(jìn)的網(wǎng)絡(luò)架構(gòu)和推理算法已被證明可以有效提高擴(kuò)散模型的采樣效率，但模型大?。ú蓸有实年P(guān)鍵決定因素）的作用尚未得到徹底檢驗(yàn)?！?/p>

圖片

令人驚訝的是，研究表明，在給定的推理預(yù)算下（相同的采樣成本）運(yùn)行時，較小的模型可以勝過較大的模型。換句話說，當(dāng)計(jì)算資源有限時，更緊湊的模型可能比較大、資源密集的模型能夠生成更高質(zhì)量的圖像。這為在模型規(guī)模上加速LDMs提供了一個有前景的方向。

圖片

論文還進(jìn)一步表明，采樣效率在多個維度上是一致的。研究人員有一個重要發(fā)現(xiàn)，較小模型的采樣效率在各種擴(kuò)散采樣器（隨機(jī)和確定性）中都是保持一致，甚至在蒸餾模型（原始模型的壓縮版本）中也是如此。這表明較小模型的優(yōu)勢并不限于特定的采樣技術(shù)或模型壓縮方法。

研究者認(rèn)為，這種對縮放采樣效率的分析將對指導(dǎo)LDMs的未來發(fā)展起到關(guān)鍵作用，特別是在廣泛的實(shí)際應(yīng)用中平衡模型規(guī)模與性能和效率方面。

圖片

圖片

然而，該研究還指出，當(dāng)計(jì)算約束放松時，較大的模型仍然擅長生成細(xì)粒度的細(xì)節(jié)。這表明雖然較小的模型可能更有效，但在某些情況下仍然需要使用較大的模型。

2.寫在最后

這項(xiàng)研究的影響是深遠(yuǎn)的，因?yàn)樗鼮殚_發(fā)更高效的圖像生成人工智能系統(tǒng)開辟了新的可能性。通過了解 LDM 的擴(kuò)展特性以及模型大小和性能之間的權(quán)衡，研究人員和開發(fā)人員可以創(chuàng)建在效率和質(zhì)量之間取得平衡的 AI 模型。

這些發(fā)現(xiàn)符合人工智能社區(qū)的最新趨勢，即 LLaMa 和 Falcon 等小型語言模型在各種任務(wù)中的表現(xiàn)都優(yōu)于大型語言模型。推動構(gòu)建開源、更小、更高效的模型的目的是使人工智能領(lǐng)域民主化，讓開發(fā)人員能夠構(gòu)建自己的人工智能系統(tǒng)，這些系統(tǒng)可以在單個設(shè)備上運(yùn)行，而不需要大量的計(jì)算資源。 

不得不說，在 GenAI 領(lǐng)域，有那么一點(diǎn)“大行不顧細(xì)謹(jǐn)，大禮不辭小讓”的感覺。

參考鏈接：??https://arxiv.org/pdf/2404.01367.pdf??