Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。

論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。

Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。

據(jù)介紹，Chinchilla 70B 主要是訓練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。

下面的例子比較了 gzip 和 Chinchilla 在示例文本上的生成效果?？梢钥吹剑琯zip 的輸出沒有可讀性。