出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
“模型越大，效果越好”，Scaling Law再次被OpenAI帶火了，但谷歌的研究人員的最新研究證偽了這一觀點(diǎn)。
在周一發(fā)表的一項(xiàng)研究中，谷歌研究院和約翰霍普金斯大學(xué)的研究人員對(duì)人工智能 (AI) 模型在圖像生成任務(wù)中的效率有了新的認(rèn)識(shí)。這些發(fā)現(xiàn)挑戰(zhàn)了“越大越好”的普遍信念，可能對(duì)開(kāi)發(fā)更高效的人工智能系統(tǒng)產(chǎn)生重大影響。
1.模型大小與性能之間的較量
這項(xiàng)研究由研究人員Kangfu Mei 和Zhengzhong Tu 來(lái)主導(dǎo)，重點(diǎn)關(guān)注潛在擴(kuò)散模型（LDM）的縮放特性及其采樣效率。LDM 是一種人工智能模型，用于根據(jù)文本描述生成高質(zhì)量圖像。
為了研究模型大小和性能之間的關(guān)系，研究人員訓(xùn)練了一套 12 個(gè)文本到圖像 LDM，其參數(shù)數(shù)量從 3900 萬(wàn)到驚人的 50 億不等。然后，這些模型在各種任務(wù)上進(jìn)行了評(píng)估，包括文本到圖像的生成、超分辨率和主題驅(qū)動(dòng)的合成。
論文中寫到，“雖然改進(jìn)的網(wǎng)絡(luò)架構(gòu)和推理算法已被證明可以有效提高擴(kuò)散模型的采樣效率，但模型大?。ú蓸有实年P(guān)鍵決定因素）的作用尚未得到徹底檢驗(yàn)?！?/p>
圖片
令人驚訝的是，研究表明，在給定的推理預(yù)算下（相同的采樣成本）運(yùn)行時(shí)，較小的模型可以勝過(guò)較大的模型。換句話說(shuō)，當(dāng)計(jì)算資源有限時(shí)，更緊湊的模型可能比較大、資源密集的模型能夠生成更高質(zhì)量的圖像。這為在模型規(guī)模上加速LDMs提供了一個(gè)有前景的方向。
圖片
論文還進(jìn)一步表明，采樣效率在多個(gè)維度上是一致的。研究人員有一個(gè)重要發(fā)現(xiàn)，較小模型的采樣效率在各種擴(kuò)散采樣器（隨機(jī)和確定性）中都是保持一致，甚至在蒸餾模型（原始模型的壓縮版本）中也是如此。這表明較小模型的優(yōu)勢(shì)并不限于特定的采樣技術(shù)或模型壓縮方法。
研究者認(rèn)為，這種對(duì)縮放采樣效率的分析將對(duì)指導(dǎo)LDMs的未來(lái)發(fā)展起到關(guān)鍵作用，特別是在廣泛的實(shí)際應(yīng)用中平衡模型規(guī)模與性能和效率方面。
圖片
圖片
然而，該研究還指出，當(dāng)計(jì)算約束放松時(shí)，較大的模型仍然擅長(zhǎng)生成細(xì)粒度的細(xì)節(jié)。這表明雖然較小的模型可能更有效，但在某些情況下仍然需要使用較大的模型。
2.寫在最后
這項(xiàng)研究的影響是深遠(yuǎn)的，因?yàn)樗鼮殚_(kāi)發(fā)更高效的圖像生成人工智能系統(tǒng)開(kāi)辟了新的可能性。通過(guò)了解 LDM 的擴(kuò)展特性以及模型大小和性能之間的權(quán)衡，研究人員和開(kāi)發(fā)人員可以創(chuàng)建在效率和質(zhì)量之間取得平衡的 AI 模型。
這些發(fā)現(xiàn)符合人工智能社區(qū)的最新趨勢(shì)，即 LLaMa 和 Falcon 等小型語(yǔ)言模型在各種任務(wù)中的表現(xiàn)都優(yōu)于大型語(yǔ)言模型。推動(dòng)構(gòu)建開(kāi)源、更小、更高效的模型的目的是使人工智能領(lǐng)域民主化，讓開(kāi)發(fā)人員能夠構(gòu)建自己的人工智能系統(tǒng)，這些系統(tǒng)可以在單個(gè)設(shè)備上運(yùn)行，而不需要大量的計(jì)算資源。
不得不說(shuō)，在 GenAI 領(lǐng)域，有那么一點(diǎn)“大行不顧細(xì)謹(jǐn)，大禮不辭小讓”的感覺(jué)。
參考鏈接：https://arxiv.org/pdf/2404.01367.pdf
