在 Transformer 大一統(tǒng)的時代，計算機視覺的 CNN 方向還有研究的必要嗎？

今年年初，OpenAI 視頻大模型 Sora 帶火了 Vision Transformer（ViT）架構(gòu)。此后，關(guān)于 ViT 與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）誰更厲害的爭論就沒有斷過。

近日，一直在社交媒體上活躍的圖靈獎得主、Meta 首席科學家 Yann LeCun 也加入了 ViT 與 CNN 之爭的討論。

這件事的起因是 Comma.ai 的 CTO Harald Sch?fer 在展示自家最新研究。他（像最近很多 AI 學者一樣）cue 了 Yann LeCun 表示，雖然圖靈獎大佬認為純 ViT 并不實用，但我們最近把自己的壓縮器改成了純 ViT，沒有卷積，需要更長時間的訓練，但是效果非常不錯。

比如左圖，被壓縮到了只有 224 字節(jié)，右邊是原始圖像。

只有 14×128，這對自動駕駛用的世界模型來說作用很大，意味著可以輸入大量數(shù)據(jù)用于訓練。在虛擬環(huán)境中訓練相比真實環(huán)境成本更低，在這里 Agent 需要根據(jù)策略進行訓練才能正常工作。雖然訓練更高的分辨率效果會更好，但模擬器就會變得速度很慢，因此目前壓縮是必須的。

他的展示引發(fā)了 AI 圈的討論，1X 人工智能副總裁 Eric Jang 回復(fù)道，是驚人的結(jié)果。

Harald 繼續(xù)夸贊 ViT：這是非常美麗的架構(gòu)。

此處有人就開始拱火了：大師如 LeCun，有時也無法趕上創(chuàng)新的步伐。

不過，Yann LeCun 很快回復(fù)辯駁稱，他并不是說 ViT 不實用，現(xiàn)在大家都在使用它。他想表達的是，ViT 太慢、效率太低，導(dǎo)致不適合實時處理高分辨率圖像和視頻任務(wù)。

Yann LeCun 還 Cue 了紐約大學助理教授謝賽寧，后者參與的工作 ConvNext 證明了如果方法得當，CNN 也能和 ViT 一樣好。

他接下來表示，在堅持自注意力循環(huán)之前，你至少需要幾個具有池化和步幅的卷積層。

如果自注意力等同于排列（permutation），則完全對低級別圖像或視頻處理沒有意義，在前端使用單個步幅進行修補（patchify）也沒有意義。此外由于圖像或視頻中的相關(guān)性高度集中在局部，因而全局注意力也沒有意義且不可擴展。

在更高級別上，一旦特征表征了對象，那么使用自注意力循環(huán)就有意義了：重要的是對象之間的關(guān)系和交互，而非它們的位置。這種混合架構(gòu)是由 Meta 研究科學家 Nicolas Carion 及合著者完成的 DETR 系統(tǒng)開創(chuàng)的。

自 DETR 工作出現(xiàn)以后，Yann LeCun 表示自己最喜歡的架構(gòu)是低級別的卷積 / 步幅 / 池化，以及高級別的自注意力循環(huán)。

Yann LeCun 在第二個帖子里總結(jié)到：在低級別使用帶有步幅或池化的卷積，在高級別使用自注意力循環(huán)，并使用特征向量來表征對象。

他還打賭到，特斯拉全自動駕駛（FSD）在低級別使用卷積（或者更復(fù)雜的局部運算符），并在更高級別結(jié)合更多全局循環(huán)（可能使用自注意力）。因此，低級別 patch 嵌入上使用 Transformer 完全一種浪費。

我猜死對頭馬斯克還是用的卷積路線。

謝賽寧也發(fā)表了自己的看法，他認為 ViT 非常適合 224x224 的低分辨率圖像，但如果圖像分辨率達到了 100 萬 x100 萬，該怎么辦呢？這時要么使用卷積，要么使用共享權(quán)重對 ViT 進行修補和處理，這在本質(zhì)上還是卷積。

因此，謝賽寧表示，有那么一刻自己意識到卷積網(wǎng)絡(luò)不是一種架構(gòu)，而是一種思維方式。

這一觀點得到了 Yann LeCun 的認可。

谷歌 DeepMind 研究者 Lucas Beyer 也表示，得益于常規(guī)卷積網(wǎng)絡(luò)的零填充，自己很確定「卷積 ViT」（而不是 ViT + 卷積）會工作得很好。

可以預(yù)見，這場 ViT 與 CNN 之間的爭論還將繼續(xù)下去，直到未來另一種更強大架構(gòu)的出現(xiàn)。