今天我們來講一講神經(jīng)網(wǎng)絡的參數(shù)到底是如何更新的！

    我們先來看看如下神經(jīng)網(wǎng)絡中的最后一個參數(shù)b3是怎樣進行更新的。后面的章節(jié)再來講w1 w2 w3 b1 b2是如何更新的。

    我們先假設(shè)w1 w2 w3 b1 b2參數(shù)均已得到最優(yōu)解，分別如上圖中綠色數(shù)據(jù)所示。假設(shè)我們要擬合的曲線如下圖所示：

    我們先給b3賦一個默認的初始值0。假設(shè)最上面的綠色曲線是我們要擬合的真實曲線，最下面的綠色曲線是當前的預測曲線。

    我們先來求一個殘差平方和，即對于所有的輸入值，求出真實值-預測值的平方之和。

如下是殘差平方和公式：

    然后我們可以看到對于不同的b3，我們可以得到不同的預測曲線也就能得到不同的殘差平方和。SSR是殘差平方和，每個b3得到的預測曲線和殘差平方和的對應關(guān)系如下圖所示。

    我們可以得到一個b3和殘差平方和的曲線，這時我們根據(jù)梯度下降法，對這條曲線進行求導，當斜率無限逼近0時，預測曲線最接近真實曲線的時候，此時的b3就是最優(yōu)解。

本文轉(zhuǎn)載自 ??人工智能訓練營??，作者： 小A學習