創(chuàng)新突破!字節(jié)跳動首創(chuàng)無需數(shù)據(jù),1.58位超低量化自監(jiān)督生成
Midjourney、DALLE3、SD3等模型的出現(xiàn),使得文生圖像賽道實現(xiàn)了快速發(fā)展。但這些模型的參數(shù)非常大,在推理、生成的過程中占用了大量內(nèi)存,極大限制了使用場景和設(shè)備。為了解決這一難題,字節(jié)跳動的研究人員發(fā)布了創(chuàng)新的量化方法,不需要訪問任何實際的圖像數(shù)據(jù),僅依賴模型自身的自監(jiān)督信號即可。研究人員在著名開源文生圖像模型FLUX進(jìn)行了實驗。結(jié)果顯示,成功將FLUX的模型量化到1.58位權(quán)重,僅用{1,0,+1}三種值就能表示而不是...