假設(shè)你是一名工程師，接到一項從頭開始設(shè)計計算機的任務(wù)。某天，你在工作室工作，設(shè)計邏輯電路，構(gòu)建AND門，OR門等等時，老板帶著壞消息進來：客戶剛剛添加了一個奇特的設(shè)計需求：整個計算機的線路的深度必須只有兩層：

你驚呆了，跟老板說道：“這貨瘋掉了吧！”

老板說：“我也認為他們瘋了，但是客戶的需求比天大，我們要滿足它。”

實際上，在某種程度上看，他們的客戶并沒有太瘋狂。假設(shè)你可以使用某種特殊的邏輯門，它讓你對任意多的輸入做AND運算。同樣也能使用多輸入的NAND門——可以對多個輸入做AND運算并取負的門。有了這類特殊的門，構(gòu)建出來的兩層深度的電路可以計算任何函數(shù)。

但是僅僅因為某件事是理論上可能的，并不代表這是一個好的想法。在實踐中，在解決線路設(shè)計問題（或者大多數(shù)的其他算法問題）時，我們通常考慮如何解決子問題，然后逐步地集成這些子問題的解。換句話說，我們通過多層的抽象來獲得最終的解答。

例如，假設(shè)我們來設(shè)計一個邏輯線路來做兩個數(shù)的乘法。我們希望在已經(jīng)有了計算兩個數(shù)加法的子線路基礎(chǔ)上創(chuàng)建這個邏輯線路。計算兩個數(shù)和的子線路也是構(gòu)建在用于兩個比特相加的子子線路上的。粗略地講我們的線路看起來像這個樣子：

最終的線路包含至少三層線路的基本部分。實際上，這個線路很可能會超過三層，因為我們可以將子任務(wù)分解成比上述更小的單元。但是基本思想就是這樣。

因此深度線路讓這樣的設(shè)計過程變得更加簡單。但是這對于設(shè)計本身幫助并不大。其實，數(shù)學證明對于某些函數(shù)設(shè)計的?常淺的線路可能需要指數(shù)級的線路單元來計算。例如，在1980 年代早期的一系列著名的論文已經(jīng)給出了計算比特的集合的奇偶性通過淺的線路來計算需要指數(shù)級的門。另一當面，如果你使?更深的線路，那么可以使用規(guī)模很小的線路來計算奇偶性：僅僅需要計算比特的對的奇偶性，然后使用這些結(jié)果來計算比特對的對的奇偶性，以此類推，構(gòu)建出總共的奇偶性。深度線路這樣就能從本質(zhì)上獲得超過淺線路的更強的能力。

幾乎我們遇到的所有的網(wǎng)絡(luò)就只包括一層隱藏神經(jīng)元（另外還有輸入輸出層）：

這些簡單的網(wǎng)絡(luò)已經(jīng)非常有用了：在前面的章節(jié)中，我們使用這樣的網(wǎng)絡(luò)可以進行準確率高達98% 的手寫數(shù)字的識別！而且，憑直覺地看，我們期望擁有更多隱藏層的神經(jīng)網(wǎng)絡(luò)能夠變的更加強大：

這樣的網(wǎng)絡(luò)可以使用中間層構(gòu)建出多層的抽象，正如我們在布爾線路中做的那樣。例如，如果我們在進行視覺模式識別，那么在***層的神經(jīng)元可能學會識別邊，在第二層的神經(jīng)元可以在邊的基礎(chǔ)上學會識別出更加復雜的形狀，例如三?形或者矩形。第三層將能夠識別更加復雜的形狀。以此類推。這些多層的抽象看起來能夠賦予深度網(wǎng)絡(luò)一種學習解決復雜模式識別問題的能力。然后，正如線路的示例中看到的那樣，存在著理論上的研究結(jié)果告訴我們深度網(wǎng)絡(luò)在本質(zhì)上比淺層網(wǎng)絡(luò)更加強大。