沒想到，自 2012 年 AlexNet 開啟的深度學(xué)習(xí)革命已經(jīng)過去了 12 年。

而如今，我們也進入了大模型的時代。

近日，知名 AI 研究科學(xué)家 Andrej Karpathy 的一條帖子，讓參與這波深度學(xué)習(xí)變革的許多大佬們陷入了回憶殺。從圖靈獎得主 Yann LeCun 到 GAN 之父 Ian Goodfellow，紛紛憶往昔。

到目前為止，該帖子已經(jīng)有 63 萬 + 的瀏覽量。

在帖子中，Karpathy 提到：有一個有趣的事實是，很多人可能聽說過 2012 年 ImageNet/AlexNet 的時刻，以及它開啟的深度學(xué)習(xí)革命。不過，可能很少有人知道，支持這次競賽獲勝作品的代碼是由 Alex Krizhevsky 從頭開始，用 CUDA/C++ 手工編寫的。這個代碼倉庫叫做 cuda-convnet, 當(dāng)時托管在 Google Code 上:

https://code.google.com/archive/p/cuda-convnet/

Karpathy 想著 Google Code 是不是已經(jīng)關(guān)閉了 (?)，但他在 GitHub 上找到了一些其他開發(fā)者基于原始代碼創(chuàng)建的新版本，比如：

https://github.com/ulrichstern/cuda-convnet

“AlexNet 是最早將 CUDA 用于深度學(xué)習(xí)的著名例子之一?！盞arpathy 回憶說，正是因為使用了 CUDA 和 GPU，AlexNet 才能處理如此大規(guī)模的數(shù)據(jù) (ImageNet)，并在圖像識別任務(wù)上取得如此出色的表現(xiàn)。“AlexNet 不僅僅是簡單地用了 GPU，還是一個多 GPU 系統(tǒng)。比如 AlexNet 使用了一種叫做模型并行的技術(shù)，將卷積運算分成兩部分，分別運行在兩個 GPU 上。”

Karpathy 提醒大家，你要知道那可是 2012 年啊！“在 2012 年 (大約 12 年前)，大多數(shù)深度學(xué)習(xí)研究都是在 Matlab 中進行，跑在 CPU 上，在玩具級別的數(shù)據(jù)集上不斷迭代各種學(xué)習(xí)算法、網(wǎng)絡(luò)架構(gòu)和優(yōu)化思路?！?他寫道。但 AlexNet 的作者 Alex、Ilya 和 Geoff 卻做了一件與當(dāng)時的主流研究風(fēng)格完全不同的事情 ——“不再糾結(jié)于算法細(xì)節(jié)，只需要拿一個相對標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò) (ConvNet)，把它做得非常大，在一個大規(guī)模的數(shù)據(jù)集 (ImageNet) 上訓(xùn)練它，然后用 CUDA/C++ 把整個東西實現(xiàn)出來。”

Alex Krizhevsky 直接使用 CUDA 和 C++ 編寫了所有的代碼，包括卷積、池化等深度學(xué)習(xí)中的基本操作。這種做法非常創(chuàng)新也很有挑戰(zhàn)性，需要程序員對算法、硬件架構(gòu)、編程語言等有深入理解。

從底層開始的編程方式復(fù)雜而繁瑣，但可以最大限度地優(yōu)化性能，充分發(fā)揮硬件計算能力，也正是這種回歸根本的做法為深度學(xué)習(xí)注入了一股強大動力，構(gòu)成深度學(xué)習(xí)歷史上的轉(zhuǎn)折點。

有意思的是，這一段描述勾起不少人的回憶，大家紛紛考古 2012 年之前自己使用什么工具實現(xiàn)深度學(xué)習(xí)項目。紐約大學(xué)計算機科學(xué)教授 Alfredo Canziani 當(dāng)時用的是 Torch，“從未聽說有人使用 Matlab 進行深度學(xué)習(xí)研究......” 。

對此 Yann lecun 表示同意，2012 年大多數(shù)重要的深度學(xué)習(xí)都是用 Torch 和 Theano 完成的。

Karpathy 有不同看法，他接話說，大多數(shù)項目都是在用 Matlab ，自己從未使用過 Theano，2013-2014 年使用過 Torch。

一些網(wǎng)友也透露 Hinton 也是用 Matlab。

看來，當(dāng)時使用 Matlab 的并不少：

知名的 GAN 之父 Ian Goodfellow 也現(xiàn)身說法，表示當(dāng)時 Yoshua 的實驗室全用 Theano，還說自己在 ImageNet 發(fā)布之前，曾為 Alex 的 cuda-convnet 編寫了 Theano 捆綁包。

谷歌 DeepMind 主管 Douglas Eck 現(xiàn)身說自己沒用過 Matlab，而是 C++，然后轉(zhuǎn)向了 Python/Theano。

紐約大學(xué)教授 Kyunghyun Cho 表示，2010 年，他還在大西洋彼岸，當(dāng)時使用的是 Hannes SChulz 等人做的 CUV 庫，幫他從 Matlab 轉(zhuǎn)向了 python。

Lamini 的聯(lián)合創(chuàng)始人 Gregory Diamos 表示，說服他的論文是吳恩達等人的論文《Deep learning with COTS HPC systems》。

論文表明 Frankenstein CUDA 集群可以擊敗 10,000 個 CPU 組成的 MapReduce 集群。

論文鏈接：https://proceedings.mlr.press/v28/coates13.pdf

不過，AlexNet 的巨大成功并非一個孤立的事件，而是當(dāng)時整個領(lǐng)域發(fā)展趨勢的一個縮影。一些研究人員已經(jīng)意識到深度學(xué)習(xí)需要更大的規(guī)模和更強的計算能力，GPU 是一個很有前景的方向。Karpathy 寫道，“當(dāng)然，在 AlexNet 出現(xiàn)之前，深度學(xué)習(xí)領(lǐng)域已經(jīng)有了一些向規(guī)?；较虬l(fā)展的跡象。例如，Matlab 已經(jīng)開始初步支持 GPU。斯坦福大學(xué)吳恩達實驗室的很多工作都在朝著使用 GPU 進行大規(guī)模深度學(xué)習(xí)的方向發(fā)展。還有一些其他的并行努力?！?/span>

考古結(jié)束時，Karpathy 感慨道  “在編寫 C/C++ 代碼和 CUDA kernel 時，有一種有趣的感覺，覺得自己仿佛回到了 AlexNet 的時代，回到了 cuda-convnet 的時代。”

當(dāng)下這種 "back to the basics" 的做法與當(dāng)年 AlexNet 的做法有著異曲同工 ——AlexNet 的作者從 Matlab 轉(zhuǎn)向 CUDA/C++，是為了追求更高的性能和更大的規(guī)模。雖然現(xiàn)在有了高級框架，但在它們無法輕松實現(xiàn)極致性能時，仍然需要回到最底層，親自編寫 CUDA/C++ 代碼。