一般說來，訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)的方式主要有四種：監(jiān)督、無監(jiān)督、半監(jiān)督和強化學(xué)習(xí)。在接下來的文章中，計算機視覺戰(zhàn)隊將逐個解釋這些方法背后所蘊含的理論知識。除此之外，計算機視覺戰(zhàn)隊將分享文獻中經(jīng)常碰到的術(shù)語，并提供與數(shù)學(xué)相關(guān)的更多資源。

監(jiān)督學(xué)習(xí)（Supervised Learning）

監(jiān)督學(xué)習(xí)是使用已知正確答案的示例來訓(xùn)練網(wǎng)絡(luò)的。想象一下，我們可以訓(xùn)練一個網(wǎng)絡(luò)，讓其從照片庫中（其中包含你父母的照片）識別出你父母的照片。以下就是我們在這個假設(shè)場景中所要采取的步驟。

步驟1：數(shù)據(jù)集的創(chuàng)建和分類

首先，我們要瀏覽你的照片（數(shù)據(jù)集），確定所有有你父母的照片，并對其進行標注，從而開始此過程。然后我們將把整堆照片分成兩堆。我們將使用第一堆來訓(xùn)練網(wǎng)絡(luò)（訓(xùn)練數(shù)據(jù)），而通過第二堆來查看模型在選擇我們父母照片操作上的準確程度（驗證數(shù)據(jù)）。

等到數(shù)據(jù)集準備就緒后，我們就會將照片提供給模型。在數(shù)學(xué)上，我們的目標就是在深度網(wǎng)絡(luò)中找到一個函數(shù)，這個函數(shù)的輸入是一張照片，而當你的父母不在照片中時，其輸出為0，否則輸出為1。

此步驟通常稱為 分類任務(wù) 。在這種情況下，我們進行的通常是一個結(jié)果為yes or no的訓(xùn)練，但事實是，監(jiān)督學(xué)習(xí)也可以用于輸出一組值，而不僅僅是0或1。例如，我們可以訓(xùn)練一個網(wǎng)絡(luò)，用它來輸出一個人償還信用卡貸款的概率，那么在這種情況下，輸出值就是0到100之間的任意值。這些任務(wù)我們稱之為 回歸 。

步驟2：訓(xùn)練

為了繼續(xù)該過程，模型可通過以下規(guī)則（激活函數(shù)）對每張照片進行預(yù)測，從而決定是否點亮工作中的特定節(jié)點。這個模型每次從左到右在一個層上操作——現(xiàn)在我們將更復(fù)雜的網(wǎng)絡(luò)忽略掉。當網(wǎng)絡(luò)為網(wǎng)絡(luò)中的每個節(jié)點計算好這一點后，我們將到達亮起（或未亮起）的最右邊的節(jié)點（輸出節(jié)點）。

既然我們已經(jīng)知道有你父母的照片是哪些圖片，那么我們就可以告訴模型它的預(yù)測是對還是錯。然后我們會將這些信息反饋（feed back）給網(wǎng)絡(luò)。

該算法使用的這種反饋，就是一個量化“真實答案與模型預(yù)測有多少偏差”的函數(shù)的結(jié)果。這個函數(shù)被稱為成本函數(shù)（cost function），也稱為目標函數(shù)（objective function），效用函數(shù)（utility function）或適應(yīng)度函數(shù)（fitness function）。然后，該函數(shù)的結(jié)果用于修改一個稱為 反向傳播 （backpropagation）過程中節(jié)點之間的連接強度和偏差，因為信息從結(jié)果節(jié)點“向后”傳播。

我們會為每個圖片都重復(fù)一遍此操作，而在每種情況下，算法都在盡量最小化成本函數(shù)。

其實，我們有多種數(shù)學(xué)技術(shù)可以用來驗證這個模型是正確還是錯誤的，但我們常用的是一個非常常見的方法，我們稱之為 梯度下降 （gradient descent）。Algobeans上有一個 “門外漢”理論可以很好地解釋它是如何工作的。邁克爾•尼爾森（Michael Nielsen） 用 數(shù)學(xué)知識完善 了這個方法 ，其中包括微積分和線性代數(shù)。

http://neuralnetworksanddeeplearning.com/chap2.html

步驟3：驗證

一旦我們處理了第一個堆棧中的所有照片，我們就應(yīng)該準備去測試該模型。我們應(yīng)充分利用好第二堆照片，并使用它們來驗證訓(xùn)練有素的模型是否可以準確地挑選出含有你父母在內(nèi)的照片。

我們通常會通過調(diào)整和模型相關(guān)的各種事物（超參數(shù)）來重復(fù)步驟2和3，諸如里面有多少個節(jié)點，有多少層，哪些數(shù)學(xué)函數(shù)用于決定節(jié)點是否亮起，如何在反向傳播階段積極有效地訓(xùn)練權(quán)值，等等。而你可以通過瀏覽Quora上的相關(guān)介紹來理解這一點，它會給你一個很好的解釋。

步驟4：使用

最后，一旦你有了一個準確的模型，你就可以將該模型部署到你的應(yīng)用程序中。你可以將模型定義為API調(diào)用，例如ParentsInPicture(photo)，并且你可以從軟件中調(diào)用該方法，從而導(dǎo)致模型進行推理并給出相應(yīng)的結(jié)果。

稍后我們將詳細介紹一下這個確切的過程，編寫一個識別名片的iPhone應(yīng)用程序。

得到一個標注好的數(shù)據(jù)集可能會很難（也就是很昂貴），所以你需要確保預(yù)測的價值能夠證明獲得標記數(shù)據(jù)的成本是值得的，并且我們首先要對模型進行訓(xùn)練。例如，獲得可能患有癌癥的人的標簽X射線是非常昂貴的，但是獲得產(chǎn)生少量假陽性和少量假陰性的準確模型的值，這種可能性顯然是非常高的。

無監(jiān)督學(xué)習(xí)（Unsupervised Learning）

無監(jiān)督學(xué)習(xí)適用于你具有數(shù)據(jù)集但無標簽的情況。無監(jiān)督學(xué)習(xí)采用輸入集，并嘗試查找數(shù)據(jù)中的模式。比如，將其組織成群（聚類）或查找異常值（異常檢測）。例如：

•想像一下，如果你是一個T恤制造商，擁有一堆人的身體測量值。那么你可能就會想要有一個聚類算法，以便將這些測量組合成一組集群，從而決定你生產(chǎn)的XS，S，M，L和XL號襯衫該有多大。

你將在文獻中閱讀到的一些無監(jiān)督的學(xué)習(xí)技術(shù)包括：

•自編碼（Autoencoding）

http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/

•主成分分析（Principal components analysis）

https://www.quora.com/What-is-an-intuitive-explanation-for-PCA

•隨機森林（Random forests）

https://en.wikipedia.org/wiki/Random_forest

•K均值聚類（K-means clustering）

https://www.youtube.com/watch?v=RD0nNK51Fp8

無監(jiān)督學(xué)習(xí)中最有前景的最新發(fā)展之一是Ian Goodfellow（當時在Yoshua Bengio的實驗室工作時提出）的一個想法，稱為“ 生成對抗網(wǎng)絡(luò) （generative adversarial networks）”，其中我們將兩個神經(jīng)網(wǎng)絡(luò)相互聯(lián)系：一個網(wǎng)絡(luò)，我們稱之為生成器，負責(zé)生成旨在嘗試欺騙另一個網(wǎng)絡(luò)的數(shù)據(jù)，而這個網(wǎng)絡(luò)，我們稱為鑒別器。這種方法實現(xiàn)了一些令人驚奇的結(jié)果，例如可以從文本字符串或手繪草圖生成如照片版逼真圖片的AI技術(shù)。

半監(jiān)督學(xué)習(xí)（Semi-supervised Learning）

半監(jiān)督學(xué)習(xí)在訓(xùn)練階段結(jié)合了大量未標記的數(shù)據(jù)和少量標簽數(shù)據(jù)。與使用所有標簽數(shù)據(jù)的模型相比，使用訓(xùn)練集的訓(xùn)練模型在訓(xùn)練時可以更為準確，而且訓(xùn)練成本更低。

為什么使用未標記數(shù)據(jù)有時可以幫助模型更準確，關(guān)于這一點的體會就是：即使你不知道答案，但你也可以通過學(xué)習(xí)來知曉，有關(guān)可能的值是多少以及特定值出現(xiàn)的頻率。

數(shù)學(xué)愛好者的福利：如果你對半監(jiān)督學(xué)習(xí)很感興趣的話，可以來閱讀這個朱小津教授的 幻燈片教程 和2008年回顧的 文獻隨筆文章 。 (我們會把這兩個共享在平臺的共享文件專欄)

強化學(xué)習(xí)（Reinforcement Learning）

強化學(xué)習(xí)是針對你再次沒有標注數(shù)據(jù)集的情況而言的，但你還是有辦法來區(qū)分是否越來越接近目標（回報函數(shù)（reward function））。經(jīng)典的兒童游戲——“hotter or colder”。 （ Huckle Buckle Beanstalk 的一個變體 ）是這個概念的一個很好的例證。你的任務(wù)是找到一個隱藏的目標物件，然后你的朋友會喊出你是否越來越hotter（更接近）或colder（遠離）目標物件。“Hotter/colder”就是回報函數(shù)，而算法的目標就是最大化回報函數(shù)。你可以把回報函數(shù)當做是一種延遲和稀疏的標簽數(shù)據(jù)形式：而不是在每個數(shù)據(jù)點中獲得特定的“right/wrong”答案，你會得到一個延遲的反應(yīng)，而它只會提示你是否在朝著目標方向前進。

•DeepMind在Nature上發(fā)表了一篇文章，描述了一個將強化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合起來的系統(tǒng)，該系統(tǒng)學(xué)會該如何去玩一套Atari視頻游戲，一些取得了巨大成功（如Breakout），而另一些就沒那么幸運了（如Montezuma’s Revenge（蒙特祖瑪?shù)膹?fù)仇））。

•Nervana團隊（現(xiàn)在在英特爾） 發(fā)表了一個很好的 解惑性博客文章 ， 對這些技術(shù)進行了詳細介紹，大家有興趣可以閱讀一番。

https://www.nervanasys.com/demystifying-deep-reinforcement-learning/

•Russell Kaplan，Christopher Sauer和Alexander Sosa舉辦的一個非常有創(chuàng)意的斯坦福學(xué)生項目說明了強化學(xué)習(xí)的挑戰(zhàn)之一，并提出了一個聰明的解決方案。正如你在DeepMind論文中看到的那樣，算法未能學(xué)習(xí)如何去玩Montezuma’s Revenge。其原因是什么呢？正如斯坦福大學(xué)生所描述的那樣，“在稀缺回報函數(shù)的環(huán)境中，強化學(xué)習(xí)agent仍然在努力學(xué)習(xí)”。當你沒有得到足夠的“hotter”或者“colder”的提示時，你是很難找到隱藏的“鑰匙”的。斯坦福大學(xué)的學(xué)生基礎(chǔ)性地教導(dǎo)系統(tǒng)去了解和回應(yīng)自然語言提示，例如“climb down the ladder”或“get the key”，從而使該系統(tǒng)成為OpenAI gym中的最高評分算法。 可以點擊 算法視頻 觀看算法演示。

（http://mp.weixinbridge.com/mp/wapredirect?url=https%3A%2F%2Fdrive.google.com%2Ffile%2Fd%2F0B2ZTvWzKa5PHSkJvQVlsb0FLYzQ%2Fview&action=appmsg_redirect&uin=Nzk3MTk3MzIw&biz=MzA5MzQwMDk4Mg==&mid=2651042109&idx=1&type=1&scene=0）

•觀看這個關(guān)于強化學(xué)習(xí)的算法，好好學(xué)習(xí)，然后像一個大boss一樣去玩超級馬里奧吧。

理查德•薩頓和安德魯•巴托寫了關(guān)于強化學(xué)習(xí)的書。你也可以點擊查看第二版草稿。 http://incompleteideas.net/sutton/book/the-book-1st.html