[[208646]]

本文是問(wèn)題“那些深度學(xué)習(xí)《面試》你可能需要知道的”的回答。

1.列舉常見(jiàn)的一些范數(shù)及其應(yīng)用場(chǎng)景，如L0，L1，L2，L∞，F(xiàn)robenius范數(shù)

答：p39-p40 ;還有p230-p236有regularization的應(yīng)用

2.簡(jiǎn)單介紹一下貝葉斯概率與頻率派概率，以及在統(tǒng)計(jì)中對(duì)于真實(shí)參數(shù)的假設(shè)。

答：p55

3.概率密度的***近似器

答：p67：3.10上面那一段

4.簡(jiǎn)單介紹一下sigmoid，relu，softplus，tanh，RBF及其應(yīng)用場(chǎng)景

答：sigmoid和softplus在p67頁(yè);全部的在p193-p197

5.Jacobian，Hessian矩陣及其在深度學(xué)習(xí)中的重要性

答：p86-p92

6.KL散度在信息論中度量的是那個(gè)直觀量

答：p74

7.數(shù)值計(jì)算中的計(jì)算上溢與下溢問(wèn)題，如softmax中的處理方式

答：p80-p81

8.與矩陣的特征值相關(guān)聯(lián)的條件數(shù)(病態(tài)條件)指什么，與梯度爆炸與梯度彌散的關(guān)系

答：p82;

9.在基于梯度的優(yōu)化問(wèn)題中，如何判斷一個(gè)梯度為0的零界點(diǎn)為局部極大值/全局極小值還是鞍點(diǎn)，Hessian矩陣的條件數(shù)與梯度下降法的關(guān)系

答：p86-p92

10.KTT方法與約束優(yōu)化問(wèn)題，活躍約束的定義

答：p93-p95

11.模型容量，表示容量，有效容量，***容量概念

答：p111;p113;p114;p115

12.正則化中的權(quán)重衰減與加入先驗(yàn)知識(shí)在某些條件下的等價(jià)性

答：p119;p138

13.高斯分布的廣泛應(yīng)用的緣由

答：p63-p64

14.***似然估計(jì)中最小化KL散度與最小化分布之間的交叉熵的關(guān)系

答：p132

15.在線(xiàn)性回歸問(wèn)題，具有高斯先驗(yàn)權(quán)重的MAP貝葉斯推斷與權(quán)重衰減的關(guān)系，與正則化的關(guān)系

答:p138-p139

16.稀疏表示，低維表示，獨(dú)立表示

答：p147

17.列舉一些無(wú)法基于地圖(梯度?)的優(yōu)化來(lái)最小化的代價(jià)函數(shù)及其具有的特點(diǎn)

答：p155 最頂一段

18.在深度神經(jīng)網(wǎng)絡(luò)中，引入了隱藏層，放棄了訓(xùn)練問(wèn)題的凸性，其意義何在

答：p191-192

19.函數(shù)在某個(gè)區(qū)間的飽和與平滑性對(duì)基于梯度的學(xué)習(xí)的影響

答：p160

20.梯度爆炸的一些解決辦法

答：p302

21.MLP的***近似性質(zhì)

答：p198

22.在前饋網(wǎng)絡(luò)中，深度與寬度的關(guān)系及表示能力的差異

答：p200-p201

23.為什么交叉熵?fù)p失可以提高具有sigmoid和softmax輸出的模型的性能，而使用均方誤差損失則會(huì)存在很多問(wèn)題。分段線(xiàn)性隱藏層代替sigmoid的利弊

答：p226;p226

24.表示學(xué)習(xí)的發(fā)展的初衷?并介紹其典型例子:自編碼器

答：p3-p4;p4

25.在做正則化過(guò)程中，為什么只對(duì)權(quán)重做正則懲罰，而不對(duì)偏置做權(quán)重懲罰

答：p230

26.在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中，所有的層中考慮使用相同的權(quán)重衰減的利弊

答：p230

27.正則化過(guò)程中，權(quán)重衰減與Hessian矩陣中特征值的一些關(guān)系，以及與梯度彌散，梯度爆炸的關(guān)系

答：p231-234

28.L1/L2正則化與高斯先驗(yàn)/對(duì)數(shù)先驗(yàn)的MAP貝葉斯推斷的關(guān)系

答：p234-p237

29.什么是欠約束，為什么大多數(shù)的正則化可以使欠約束下的欠定問(wèn)題在迭代過(guò)程中收斂

答：p239

30.為什么考慮在模型訓(xùn)練時(shí)對(duì)輸入(隱藏單元/權(quán)重)添加方差較小的噪聲，與正則化的關(guān)系

答：p240-p243

31.共享參數(shù)的概念及在深度學(xué)習(xí)中的廣泛影響

答：p245;p253

32.Dropout與Bagging集成方法的關(guān)系，以及Dropout帶來(lái)的意義與其強(qiáng)大的原因

答：p258-p268

33.批量梯度下降法更新過(guò)程中，批量的大小與各種更新的穩(wěn)定性關(guān)系

答：p279

34.如何避免深度學(xué)習(xí)中的病態(tài)，鞍點(diǎn)，梯度爆炸，梯度彌散

答：p282-p293

35.SGD以及學(xué)習(xí)率的選擇方法，帶動(dòng)量的SGD對(duì)于Hessian矩陣病態(tài)條件及隨機(jī)梯度方差的影響

答：p294;p296-p300

36.初始化權(quán)重過(guò)程中，權(quán)重大小在各種網(wǎng)絡(luò)結(jié)構(gòu)中的影響，以及一些初始化的方法；偏置的初始化

答：初始化權(quán)重：p301-p305;偏置初始化：p305-p306

37.自適應(yīng)學(xué)習(xí)率算法:AdaGrad，RMSProp，Adam等算法的做法

答：AdaGrad:p307; RMSProp:p307-p308; Adam:p308-p309

38.二階近似方法:牛頓法，共軛梯度，BFGS等的做法

答：牛頓法：p310-p313; 共軛梯度:p313-p316; BFGS:p316-p317

39.Hessian的標(biāo)準(zhǔn)化對(duì)于高階優(yōu)化算法的意義

答：p318-p321

40.卷積網(wǎng)絡(luò)中的平移等變性的原因，常見(jiàn)的一些卷積形式

答：平移等變性：p338-p339;常見(jiàn)的一些卷積形式：p347-p358

41.pooling的做法的意義

答：p342-p347

42.循環(huán)神經(jīng)網(wǎng)絡(luò)常見(jiàn)的一些依賴(lài)循環(huán)關(guān)系，常見(jiàn)的一些輸入輸出，以及對(duì)應(yīng)的應(yīng)用場(chǎng)景

答：p378-p395

43.seq2seq，gru，lstm等相關(guān)的原理

答：seq2seq:p396-p397; gru:p411-p412; lstm:p408-p411

44.采樣在深度學(xué)習(xí)中的意義

答：p469-p471

45.自編碼器與線(xiàn)性因子模型，PCA，ICA等的關(guān)系

答：自編碼器與線(xiàn)性因子模型:p489-p490;PCA:p490-p491;ICA:p491-p493

46.自編碼器在深度學(xué)習(xí)中的意義，以及一些常見(jiàn)的變形與應(yīng)用

答：意義:p502-p503; 常見(jiàn)變形:p503-p508;p509-p512; p521-p524應(yīng)用:p515-p520;p524-p525

47.受限玻爾茲曼機(jī)廣泛應(yīng)用的原因

答：p460:想特別了解的人注意這句話(huà)： See Mohamed et al. (2012b) for an analysis of reasons for the success of these models.

48.穩(wěn)定分布與馬爾可夫鏈

答：p595-p598

49.Gibbs采樣的原理

答：p599

50.配分函數(shù)通常難以計(jì)算的解決方案

答：p605,p606***段

51.幾種參數(shù)估計(jì)的聯(lián)系與區(qū)別:MLE/MAP/貝葉斯

答：P134-P139

52.半監(jiān)督的思想以及在深度學(xué)習(xí)中的應(yīng)用

答：p541-p546

53.舉例CNN中的channel在不同數(shù)據(jù)源中的含義

答：p360-p362

54.深度學(xué)習(xí)在NLP，語(yǔ)音，圖像等領(lǐng)域的應(yīng)用及常用的一些模型

答：p452-p485

55.word2vec與glove的比較

答：How is GloVe different from word2vec? ; GloVe以及Word2vec能稱(chēng)為deep learning么?這倆模型的層次其實(shí)很淺的 ;http://clic.cimec.unitn.it/marco/publications/acl2014/baroni-etal-countpredict-acl2014.pdf 這個(gè)問(wèn)題沒(méi)找到答案，我去找了quora和知乎上的相關(guān)問(wèn)題以及quora一個(gè)回答提及的論文。 (若有人在書(shū)中找到，請(qǐng)批評(píng)指正)

56.注意力機(jī)制在深度學(xué)習(xí)的某些場(chǎng)景中為何會(huì)被大量使用，其幾種不同的情形

答：p475-p476

57.wide&deep模型中的wide和deep介紹

答：https://arxiv.org/pdf/1606.07792.pdf 此問(wèn)題答案未在書(shū)中找到，為此我去找了原論文，論文圖1有詳細(xì)的介紹。 (若有人在書(shū)中找到，請(qǐng)批評(píng)指正)

58.核回歸與RBF網(wǎng)絡(luò)的關(guān)系

答：p142

59.LSTM結(jié)構(gòu)推導(dǎo)，為什么比RNN好?

答：p408-p411

60.過(guò)擬合在深度學(xué)習(xí)中的常見(jiàn)的一些解決方案或結(jié)構(gòu)設(shè)計(jì)

答：p230-p268;包括：Parameter Norm Penalties( 參數(shù)范數(shù)懲罰); Dataset Augmentation (數(shù)據(jù)集增強(qiáng)); Early Stopping(提前終止); Parameter Tying and Parameter Sharing (參數(shù)綁定與參數(shù)共享); Bagging and Other Ensemble Methods(Bagging 和其他集成方法);Dropout. 另外還有Batch Normalization。

61.怎么理解貝葉斯模型的有效參數(shù)數(shù)據(jù)會(huì)根據(jù)數(shù)據(jù)集的規(guī)模自動(dòng)調(diào)整

答：關(guān)于非參數(shù)模型：p115-p116 ;非參數(shù)模型不依賴(lài)于特定的概率模型，它的參數(shù)是無(wú)窮維的，數(shù)據(jù)集的規(guī)模的大小影響著模型使用更多或者更少的參數(shù)來(lái)對(duì)其進(jìn)行建模。(并未在書(shū)中找到準(zhǔn)確的答案，若有更好的回答，請(qǐng)聯(lián)系我改正)