簡(jiǎn)單來說，如果你沒有足夠的機(jī)器資源和時(shí)間，那么就跑到你預(yù)期的epoch，只需要保證驗(yàn)證集預(yù)期的準(zhǔn)確率或其他指標(biāo)滿足要求即可。

局部極小值和鞍點(diǎn)

如果你想追求極致的loss下降，那么你需要了解兩個(gè)知識(shí)點(diǎn)——局部極小值和鞍點(diǎn)。

一般我們的loss降不了，是因?yàn)樵撐恢玫膮?shù)對(duì)損失的微分為零，導(dǎo)致梯度下降不再更新參數(shù)了，那么此時(shí)loss也就不會(huì)繼續(xù)下降。

那么提到梯度為零的時(shí)候，我們一般想象到的是局部極小值。其實(shí)也沒錯(cuò)，因?yàn)槌霈F(xiàn)局部極小值，那么梯度=0。但有些情況，是有可能既不是局部極大值 or 局部極小值，但梯度還是=0，這個(gè)情況我們成為鞍點(diǎn)（因?yàn)槁潼c(diǎn)的形狀像馬鞍，稱鞍點(diǎn)）。

那鞍點(diǎn)的情況是梯度雖然為零，但還不是極小值的情況，那證明還有下降空間，只要我們逃離鞍點(diǎn)，就可以繼續(xù)讓loss下降。

確定是鞍點(diǎn)還是局部極小值

參考資料: 李宏毅-《機(jī)器學(xué)習(xí)》(??https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php??)

本文轉(zhuǎn)載自??沐白AI筆記??，作者：楊沐白