想知道 AlexNet 2012 年的原始代碼長什么樣嗎？現(xiàn)在，機(jī)會(huì)來了！剛剛，谷歌首席科學(xué)家 Jeff Dean 宣布，他們與計(jì)算機(jī)歷史博物館（CHM）合作，共同發(fā)布了 AlexNet 的源代碼，并將長期保存這些代碼。

開放后的代碼庫如下：

GitHub 鏈接：https://github.com/computerhistory/AlexNet-Source-Code

AlexNet 是一個(gè)人工神經(jīng)網(wǎng)絡(luò)，用于識(shí)別照片內(nèi)容。它由當(dāng)時(shí)的多倫多大學(xué)研究生 Alex Krizhevsky 和 Ilya Sutskever 以及他們的導(dǎo)師 Geoffrey Hinton 于 2012 年開發(fā)。

在計(jì)算機(jī)歷史上，AlexNet 的出現(xiàn)有著劃時(shí)代的意義。在它出現(xiàn)之前，很少有機(jī)器學(xué)習(xí)研究人員使用神經(jīng)網(wǎng)絡(luò)。但在 AlexNet 出現(xiàn)之后，幾乎所有研究人員都會(huì)使用神經(jīng)網(wǎng)絡(luò)。從 2012 年到 2022 年，神經(jīng)網(wǎng)絡(luò)不斷取得進(jìn)步，包括合成可信的人類聲音、擊敗圍棋冠軍選手、模擬人類語言并生成藝術(shù)作品…… 最終，OpenAI 于 2022 年發(fā)布 ChatGPT…… 它是這一系列故事的重要起點(diǎn)。

「谷歌很高興將具有開創(chuàng)性意義的 AlexNet 項(xiàng)目的源代碼貢獻(xiàn)給計(jì)算機(jī)歷史博物館，」Jeff Dean 說，「這段代碼是 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 撰寫的標(biāo)志性論文《ImageNet Classification with Deep Convolutional Neural Networks》的基礎(chǔ)，該論文革新了計(jì)算機(jī)視覺領(lǐng)域，是有史以來被引用次數(shù)最多的論文之一?！?/span>

Google Scholar 數(shù)據(jù)顯示，AlexNet 相關(guān)論文被引量已經(jīng)超過 17 萬。

除了代碼本身的價(jià)值，HuggingFace 聯(lián)合創(chuàng)始人 Thomas Wolf 還發(fā)現(xiàn)，代碼中的注釋也非常有啟發(fā)性。他說，「也許真正的歷史記錄是 AlexNet 代碼中每個(gè)實(shí)驗(yàn)配置文件末尾的實(shí)驗(yàn)記錄注釋。一個(gè)開創(chuàng)性的神經(jīng)網(wǎng)絡(luò)正在誕生……」

還有人說，「AlexNet 代碼的發(fā)布對(duì)于 AI 愛好者來說是一個(gè)寶庫，這是一個(gè)向深度學(xué)習(xí)先驅(qū)學(xué)習(xí)的絕佳機(jī)會(huì)」。

AlexNet，人工智能歷史的轉(zhuǎn)折點(diǎn)

在人工智能領(lǐng)域，AlexNet 可謂爆發(fā)的起點(diǎn)。就在本周的英偉達(dá) GTC 大會(huì)上，黃仁勛介紹起 AI 的發(fā)展歷程，未來的一頭是智能體、物理世界的 AI，過去的一頭就是 AlexNet。

AI、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的概念可以追溯到幾十年前，然而它們?cè)谶^去的十幾年里才真正流行起來，這可能的確要?dú)w功于 AlexNet。

在 2012 年，來自多倫多大學(xué)的 Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton 等人提出了一個(gè)名為「AlexNet」的深度神經(jīng)網(wǎng)絡(luò)，贏得了 2012 年大規(guī)模視覺識(shí)別挑戰(zhàn)賽 ImageNet 的冠軍。

三位都是 AI 領(lǐng)域里響當(dāng)當(dāng)?shù)娜宋?。Geoffrey Hinton 被譽(yù)為「深度學(xué)習(xí)之父」，后來獲得了 2018 年的圖靈獎(jiǎng)、2024 年的諾貝爾物理學(xué)獎(jiǎng)；Ilya Sutskever 是 OpenAI 的聯(lián)合創(chuàng)始人及前首席科學(xué)家，也是 AlphaGo 論文的眾多作者之一。冠名該模型的 Alex Krizhevsky 也是 CIFAR-10 和 CIFAR-100 數(shù)據(jù)集的創(chuàng)建者，不過他卻逐漸對(duì)研究失去了興趣，于 2017 年 9 月離開了谷歌。

在描述當(dāng)年的 AlexNet 項(xiàng)目時(shí)，Geoffrey Hinton 總結(jié)道：「Ilya 認(rèn)為我們應(yīng)該做這件事，Alex 讓它成功了，而我獲得了諾貝爾獎(jiǎng)?！?/span>

當(dāng)年用于訓(xùn)練 AlexNet 的家用計(jì)算機(jī)和 GPU。

在 ImageNet 競(jìng)賽中，參賽者需要完成一個(gè)名叫「object region」的任務(wù)，即給定一張包含某目標(biāo)的圖像和一串目標(biāo)類別（如飛機(jī)、瓶子、貓），每個(gè)團(tuán)隊(duì)的實(shí)現(xiàn)都需要識(shí)別出圖像中的目標(biāo)屬于哪個(gè)類。

在當(dāng)年的比賽中，AlexNet 的表現(xiàn)頗具顛覆性，團(tuán)隊(duì)首次使用一種名為卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)架構(gòu)，并充分利用了英偉達(dá) GPU 的能力。由于表現(xiàn)過于驚艷，之后幾年的 ImageNet 挑戰(zhàn)賽冠軍都沿用了 CNN。

AlexNet 的論文被 2012 年的 NeurIPS 大會(huì)接收并發(fā)表，起初也受到了一些計(jì)算機(jī)視覺研究者的質(zhì)疑，但出席會(huì)議的 Yann LeCun 宣布這是人工智能發(fā)展的轉(zhuǎn)折點(diǎn)。后來發(fā)生的事情我們也都知道了：在 AlexNet 之前，幾乎沒有一篇領(lǐng)先的計(jì)算機(jī)視覺論文使用神經(jīng)網(wǎng)絡(luò)。在它之后，幾乎所有論文都會(huì)使用神經(jīng)網(wǎng)絡(luò)。

這是計(jì)算機(jī)視覺史上的一個(gè)關(guān)鍵時(shí)刻，也激發(fā)了人們將深度學(xué)習(xí)應(yīng)用于其他領(lǐng)域（如自然語言處理、機(jī)器人、推薦系統(tǒng)）的興趣。

開放源代碼，歷時(shí)五年

AlexNet 源代碼順利發(fā)布的故事，還要從五年前說起。

2020 年，CHM 軟件歷史中心館長 Hansen Hsu 聯(lián)系了 Alex Krizhevsky，希望獲得發(fā)布授權(quán)。不過，Alex Krizhevsky 并沒有直接回應(yīng)，而是將 Hansen Hsu 介紹給了當(dāng)時(shí)還在谷歌工作的 Hinton。因?yàn)?，在谷歌收購?Hinton、Sutskever 和 Krizhevsky 創(chuàng)辦的公司 DNNresearch 之后，AlexNet 的知識(shí)產(chǎn)權(quán)就歸了谷歌。

之后，Hinton 在 CHM 和谷歌的團(tuán)隊(duì)之間斡旋，推動(dòng)整件事的進(jìn)程。雙方花了五年的時(shí)間，協(xié)商發(fā)布事宜，以及具體的發(fā)布版本。

事實(shí)上，自 2012 年論文發(fā)布后，AlexNet 的源碼已經(jīng)有了多個(gè)版本，GitHub 上也有不少名為「AlexNet」的代碼庫，但其中許多并不是原始代碼，而是根據(jù)那篇論文重新創(chuàng)建的。此前，Krizhevsky 開發(fā)的 AlexNet 前身 ——cuda-convnet 也曾作為開源代碼發(fā)布，但它是在較小的 CIFAR-10 數(shù)據(jù)集上訓(xùn)練的。

CHM 發(fā)布的代碼庫包含了 2012 年贏得 ImageNet 競(jìng)賽時(shí)的原始 AlexNet 源代碼，還包括在 ImageNet 數(shù)據(jù)集上訓(xùn)練的參數(shù)文件。

感興趣的同學(xué)可以前去翻看。