一直以來，研究者與開發(fā)者都經(jīng)常在 GitHub 寶庫中搜索比較有意思的項(xiàng)目與實(shí)現(xiàn)，但我們可能需要一個(gè)確切的主題，并做一些篩選。近日有開發(fā)者發(fā)布了一個(gè)模型聚合平臺(tái)，我們可以分領(lǐng)域在上面搜索到當(dāng)前最為流行的開源模型。作者根據(jù) GitHub 項(xiàng)目收藏量、項(xiàng)目所屬領(lǐng)域、實(shí)現(xiàn)框架等特點(diǎn)對(duì)這些模型分類，因此我們能快速定位合適的模型。

項(xiàng)目地址：https://modelzoo.co/

深度學(xué)習(xí)近來是機(jī)器學(xué)習(xí)***的子領(lǐng)域，因?yàn)獒槍?duì)高維數(shù)據(jù)擁有強(qiáng)大的建模能力，它在很多不同的任務(wù)與領(lǐng)域都綻放了奪目的光彩，例如計(jì)算機(jī)視覺、自然語言處理與智能體學(xué)習(xí)等。深度學(xué)習(xí)模型是一種表示學(xué)習(xí)方法，即根據(jù)模型學(xué)習(xí)表示的本身，而不僅僅如同傳統(tǒng)機(jī)器學(xué)習(xí)那樣將表示映射到輸出。

目前深度學(xué)習(xí)主要通過不同層級(jí)的神經(jīng)元從原始數(shù)據(jù)自動(dòng)抽取特征，它學(xué)習(xí)到的表示往往比傳統(tǒng) ML 手動(dòng)設(shè)計(jì)的表示有更好的性能。目前 GitHub 上受關(guān)注的 ML 實(shí)現(xiàn)大部分都是深度學(xué)習(xí)模型，它們以不同的層級(jí)結(jié)構(gòu)與網(wǎng)絡(luò)架構(gòu)建立起一個(gè)個(gè)解決具體問題的模型。例如 2D 卷積層以分層的形式堆疊就能由簡(jiǎn)單到復(fù)雜抽取二維數(shù)據(jù)(如圖像)的特征，而循環(huán)單元的堆疊就適合處理機(jī)器翻譯等序列標(biāo)注問題。再加上殘差連接、門控機(jī)制和注意力機(jī)制等模塊就能針對(duì)具體任務(wù)學(xué)習(xí)特定知識(shí)。

這些層級(jí)表征的深度模型在近來有非常多的研究，很多開發(fā)者與研究者都分享了他們的代碼與創(chuàng)意。ModelZoo 旨在為搜索優(yōu)秀深度模型提供一個(gè)集中式的平臺(tái)，并希望為復(fù)現(xiàn)論文、構(gòu)建復(fù)雜神經(jīng)網(wǎng)絡(luò)、學(xué)習(xí)模型代碼與直接使用預(yù)訓(xùn)練模型提供資源。

Model Zoo 是新構(gòu)建的平臺(tái)，因此它包含的模型庫將不斷發(fā)展。如果讀者發(fā)現(xiàn)有其它一些優(yōu)秀的模型還沒有收錄進(jìn)去，可以在網(wǎng)站上提交并通知作者。此外，這個(gè)網(wǎng)站的開發(fā)者目前還只是新加坡的一名本科生，他希望能借這樣一個(gè)平臺(tái)幫助更多的學(xué)習(xí)者。

Model Zoo 所收集的所有模型都能在 GitHub 中找到，作者 Jing Yu 根據(jù) GitHub 項(xiàng)目收藏量、項(xiàng)目所屬領(lǐng)域、實(shí)現(xiàn)框架等特征對(duì)模型做了整理，此外我們也能使用關(guān)鍵詞搜索確定需要查找的模型。每一個(gè)模型都在頁面上展示了對(duì)應(yīng) GitHub 項(xiàng)目的 README 文檔，因此讀者可快速判斷項(xiàng)目的基本信息與要求。此外，作者還構(gòu)建了 Newsletter 模塊，每月整理一次當(dāng)月***與重要的模型。

目前，該項(xiàng)目內(nèi)的深度學(xué)習(xí)模型有五大分類：計(jì)算機(jī)視覺、自然語言處理、生成模型、強(qiáng)化學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。這些類別或領(lǐng)域相互之間是有交叉的，例如很多生成模型都可以歸為無監(jiān)督學(xué)習(xí)，實(shí)際上很多模型確實(shí)歸為了多個(gè)類別。

目前收錄的實(shí)現(xiàn)框架有 Tensorflow、Caffe、Caffe2、PyTorch、MXNet、Keras。雖然還有很多框架沒有收錄，例如 CycleGAN 的原實(shí)現(xiàn)因?yàn)槭褂玫氖?Lua 語言與 Torch 框架，即使該項(xiàng)目的收藏量達(dá)到了 6453，這個(gè)平臺(tái)同樣沒有收錄。

可以從 Browse Frameworks 和 Browse Categories 分別進(jìn)入以上的框架分類界面和模型分類界面，并按其分類進(jìn)行瀏覽。下方的搜索框支持模型名稱的搜索。

模型基本是按 GitHub 的收藏量(如 Magenta 的 10164 star)排序的，預(yù)覽界面還包含項(xiàng)目簡(jiǎn)介、實(shí)現(xiàn)框架和分類等信息。點(diǎn)擊后可進(jìn)入項(xiàng)目細(xì)節(jié)(即對(duì)應(yīng) GitHub 項(xiàng)目的 README 文檔)。后文我們將針對(duì)各領(lǐng)域簡(jiǎn)要介紹其中***的項(xiàng)目：

一、計(jì)算機(jī)視覺

• GitHub star：10164
• 實(shí)現(xiàn)框架：TensorFlow

Magenta 是一個(gè)用于探索機(jī)器學(xué)習(xí)在藝術(shù)、音樂創(chuàng)作中的作用的研究項(xiàng)目，因?yàn)閼?yīng)用眾多作者將其劃分為計(jì)算機(jī)視覺與強(qiáng)化學(xué)習(xí)領(lǐng)域。其主要涉及為生成歌曲、圖像、素描等開發(fā)新的深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)算法。但它也在嘗試構(gòu)建智能工具和接口，以幫助藝術(shù)家和音樂家擴(kuò)展他們使用這些模型的方式。Magenta 由來自谷歌大腦團(tuán)隊(duì)的一些研究員和工程師啟動(dòng)，但也有很多其他人為該項(xiàng)目做出了重要的貢獻(xiàn)。

目前該項(xiàng)目有非常多的應(yīng)用實(shí)現(xiàn)與演示，讀者可查看 https://magenta.tensorflow.org/blog。

Mask-RCNN

• GitHub star：6104
• 實(shí)現(xiàn)框架：Keras

Mask R-CNN 是一個(gè)兩階段的框架，***個(gè)階段掃描圖像并生成候選區(qū)域(proposals，即有可能包含一個(gè)目標(biāo)的區(qū)域)，第二階段分類候選區(qū)域并生成邊界框和掩碼。Mask R-CNN 擴(kuò)展自 Faster R-CNN，由同一作者在去年提出。Faster R-CNN 是一個(gè)流行的目標(biāo)檢測(cè)框架，Mask R-CNN 將其擴(kuò)展為實(shí)例分割框架。

該項(xiàng)目是 Mask R-CNN 的在 Python3、Keras 和 TensorFlow 上的實(shí)現(xiàn)。該模型可以為圖像中的目標(biāo)實(shí)例生成邊框和分割掩碼。其架構(gòu)基于特征金字塔網(wǎng)絡(luò)(FPN)和 ResNet101 骨干網(wǎng)絡(luò)。

該 repo 包含：Mask R-CNN 建立在 FPN 和 ResNet101 上的源代碼;數(shù)據(jù)集 MS COCO 的訓(xùn)練代碼;MS COCO 的預(yù)訓(xùn)練權(quán)重;可視化檢測(cè)流程的每個(gè)步驟的 Jupyter notebook;多 GPU 訓(xùn)練的 ParallelModel 類;在 MS COCO 指標(biāo)(AP)上的評(píng)估;訓(xùn)練自定義數(shù)據(jù)集的示例。

二、自然語言處理

1. WaveNet

• GitHub star：3692
• 實(shí)現(xiàn)框架：TensorFlow

下圖展示了 WaveNet 的主要結(jié)構(gòu)，這是一個(gè)完全卷積的神經(jīng)網(wǎng)絡(luò)，其中的卷積層有不同的擴(kuò)張系數(shù)(dilation factors)，這讓其感受野可根據(jù)層級(jí)深度指數(shù)式地增長并可覆蓋數(shù)千個(gè)時(shí)間步驟。此外 Wave Net 還是***個(gè)提出因果卷積的模型，從直觀上來說，它類似于將卷積運(yùn)算「劈」去一半，令其只能對(duì)過去時(shí)間步的輸入進(jìn)行運(yùn)算。其實(shí)后來很多使用卷積網(wǎng)絡(luò)處理序列標(biāo)注問題的模型都借鑒了 WaveNet 所提出的這兩個(gè)結(jié)構(gòu)。

DeepMind 提出的 WaveNet 神經(jīng)網(wǎng)絡(luò)架構(gòu)可以直接生成新的音頻波形，在文本到語音轉(zhuǎn)換和音頻生成中有優(yōu)越的表現(xiàn)。在訓(xùn)練時(shí)間，其輸入序列是由人類說話者錄制的真實(shí)波形。訓(xùn)練之后，我們可以對(duì)這個(gè)網(wǎng)絡(luò)進(jìn)行采樣以生成合成話語。在采樣的每一個(gè)時(shí)間步驟，都會(huì)從該網(wǎng)絡(luò)所計(jì)算出的概率分布中取出一個(gè)值。然后這個(gè)值會(huì)被反饋進(jìn)入輸入，并為下一個(gè)步驟生成一個(gè)新的預(yù)測(cè)。像這樣一次一步地構(gòu)建樣本具有很高的計(jì)算成本，但這對(duì)生成復(fù)雜的、聽起來真實(shí)感強(qiáng)的音頻而言至關(guān)重要。

2. Sentence Classification with CNN

• GitHub star：3416
• 實(shí)現(xiàn)框架：TensorFlow

論文《Convolutional Neural Networks for Sentence Classification》的簡(jiǎn)化版 TensorFlow 實(shí)現(xiàn)。

三、生成模型

1. DCGAN-tensorflow

• GitHub star：4263
• 實(shí)現(xiàn)框架：TensorFlow

Goodfellow 等人提出來的 GAN 是通過對(duì)抗過程估計(jì)生成模型的新框架。在這種框架下，我們需要同時(shí)訓(xùn)練兩個(gè)模型，即一個(gè)能捕獲數(shù)據(jù)分布的生成模型 G 和一個(gè)能估計(jì)數(shù)據(jù)來源于真實(shí)樣本概率的判別模型 D。生成器 G 的訓(xùn)練過程是***化判別器犯錯(cuò)誤的概率，即判別器誤以為數(shù)據(jù)是真實(shí)樣本而不是生成器生成的假樣本。因此，這一框架就對(duì)應(yīng)于兩個(gè)參與者的極小極大博弈(minimax game)。而 DCGAN 主要使用卷積神經(jīng)網(wǎng)絡(luò)作為生成器 G 與判別器 D 的架構(gòu)，因此能生成比較清晰與優(yōu)秀的圖像。

論文《Deep Convolutional Generative Adversarial Networks》的 TensorFlow 實(shí)現(xiàn)，這是一個(gè)穩(wěn)定的生成對(duì)抗網(wǎng)絡(luò)。

上圖展示了生成器 G 的架構(gòu)，它使用四個(gè)轉(zhuǎn)置卷積進(jìn)行上采樣，即將 100 維的隨機(jī)變量恢復(fù)到圖像。這個(gè)項(xiàng)目為了防止判別器器網(wǎng)絡(luò)收斂過快，當(dāng)判別器迭代一次生成器網(wǎng)絡(luò)會(huì)連續(xù)迭代兩次，這和原論文不太一樣。

2. Image-to-Image Translation with Conditional Adversarial Networks

• GitHub star：4242
• 實(shí)現(xiàn)框架：PyTorch

因?yàn)?CycleGAN 的原實(shí)現(xiàn)是用 Lua 寫的，因此很多研究者使用該項(xiàng)目復(fù)現(xiàn)圖像到圖像的轉(zhuǎn)換。CycleGAN 的主要想法是訓(xùn)練兩對(duì)生成器-判別器模型以將圖像從一個(gè)領(lǐng)域轉(zhuǎn)換為另一個(gè)領(lǐng)域。在這過程中我們要求循環(huán)一致性，即在對(duì)圖像應(yīng)用生成器后，我們應(yīng)該得到一個(gè)相似于原始 L1 損失的圖像。因此我們需要一個(gè)循環(huán)損失函數(shù)(cyclic loss)，它能確保生成器不會(huì)將一個(gè)領(lǐng)域的圖像轉(zhuǎn)換到另一個(gè)和原始圖像完全不相關(guān)的領(lǐng)域。

該項(xiàng)目是配對(duì)、非配對(duì)的圖像到圖像轉(zhuǎn)換的 PyTorch 實(shí)現(xiàn)。

四、強(qiáng)化學(xué)習(xí)

1. Deep Reinforcement Learning for Keras

• GitHub star：2639
• 實(shí)現(xiàn)框架：Kera

s

keras-rl 讓人們可以輕松使用當(dāng)前***的深度強(qiáng)化學(xué)習(xí)算法，使用 Keras 實(shí)現(xiàn)，并結(jié)合了 OpenAI Gym 來構(gòu)建項(xiàng)目。

目前該項(xiàng)目實(shí)現(xiàn)了以下算法：

• Deep Q Learning (DQN)
• Double DQN
• Deep Deterministic Policy Gradient (DDPG)
• Continuous DQN (CDQN or NAF)
• Cross-Entropy Method (CEM)
• Dueling network DQN (Dueling DQN)
• Deep SARSA

2. DQN-tensorflow

• GitHub star：1610
• 實(shí)現(xiàn)框架：TensorFlow

論文《Human-Level Control through Deep Reinforcement Learning》的 TensorFlow 實(shí)現(xiàn)。

該實(shí)現(xiàn)包括：Deep Q-network 和 Q-learning

• 經(jīng)驗(yàn)重放記憶
• 減少持續(xù)更新的相關(guān)性
• 用于 Q-learning 目標(biāo)的網(wǎng)絡(luò)由于區(qū)間問題而經(jīng)過修改
• 減少目標(biāo)和預(yù)測(cè) Q 值之間的關(guān)聯(lián)

五、無監(jiān)督學(xué)習(xí)

1. MUSE: Multilingual Unsupervised and Supervised Embeddings

• GitHub star：1298
• 實(shí)現(xiàn)框架：PyTorch

MUSE 是一個(gè)多語言詞嵌入的 Python 庫，其目的是為社區(qū)提供當(dāng)前***的基于 fastText 的多語言詞嵌入，以及用于訓(xùn)練和評(píng)估的大規(guī)模高質(zhì)量雙語詞典。

該項(xiàng)目使用了兩種方法，一種是使用雙語詞典或相同字符串的監(jiān)督方法，另一種是沒有使用任何平行數(shù)據(jù)的無監(jiān)督方法。

2. Domain Transfer Network (DTN)

• GitHub star：654
• 實(shí)現(xiàn)框架：TensorFlow

論文《Unsupervised Cross-Domain Image Generation》的 TensorFlow 實(shí)現(xiàn)，下圖是其模型架構(gòu)概覽。

以上是各類別主要流行的模型簡(jiǎn)介，還有很多優(yōu)秀的項(xiàng)目并沒有展示，讀者根據(jù)該平臺(tái)與具體的需求篩選模型。

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)文章，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文