前向傳播之-損失函數(shù)

損失函數(shù)：在前面一節(jié)咱們介紹了得分函數(shù)，就是給定一個(gè)輸入，對(duì)于所有類(lèi)別都要給出這個(gè)輸入屬于該類(lèi)別的一個(gè)分值，如上圖所示，對(duì)于每一個(gè)輸入咱們都有了它屬于三個(gè)類(lèi)別的得分，但是咱們光有這個(gè)得分卻不知道如何來(lái)評(píng)判現(xiàn)在的一個(gè)分類(lèi)效果，這節(jié)課咱們就要用損失函數(shù)來(lái)評(píng)估分類(lèi)效果的好壞，而且不光是好壞還要表現(xiàn)出來(lái)有多好有多壞!

我們接下來(lái)就拿SVM的損失函數(shù)來(lái)說(shuō)事吧。什么?你不知道SVM是啥?沒(méi)關(guān)系，我會(huì)用很簡(jiǎn)單的語(yǔ)言來(lái)說(shuō)這個(gè)損失函數(shù)的。對(duì)于SVM來(lái)說(shuō)它的損失函數(shù)如上圖的公式所示，我們要算的就是對(duì)于一個(gè)輸入樣本，這個(gè)樣本的正確分類(lèi)的分值和其他所有錯(cuò)誤分類(lèi)的分值的差值，再把這些所有的差值進(jìn)行求和。我們拿這個(gè)小貓來(lái)舉例吧，就是用它正確分類(lèi)的分3.2與其它錯(cuò)誤分類(lèi)的得分5.1和-1.7求差值，再把求得的差值和0進(jìn)行對(duì)比，如果大于0就加在最終的LOSS值上。細(xì)心的同學(xué)可能發(fā)現(xiàn)了上面的公式還加了一個(gè)數(shù)值1，那么這個(gè)數(shù)值代表著什么呢?它的意思啊就是說(shuō)咱們求出的得分差異值還要去和咱們的滿意程度進(jìn)行比較，這個(gè)1就代表了咱們的滿意程度有多大，這個(gè)值越大呢就說(shuō)明咱們的要求越高。

圖中紅色的區(qū)域就是咱們的滿意程度，一旦錯(cuò)誤分類(lèi)的得分(綠色區(qū)域)超過(guò)了紅色值，就是說(shuō)沒(méi)達(dá)到咱們?cè)O(shè)定的滿意程度值，LOSS值就要開(kāi)始增加了。

正則化：假設(shè)有一個(gè)樣本x=[1,1,1,1]，現(xiàn)在咱們有兩組權(quán)重參數(shù)W1和W2如上圖所示，這樣對(duì)于得分值WX，兩組權(quán)重參數(shù)得出的結(jié)果都一樣，但是分值一樣能說(shuō)明這兩個(gè)參數(shù)模型的分類(lèi)效果一模一樣嗎?接下來(lái)就引入了咱們的正則化項(xiàng)來(lái)解決這個(gè)問(wèn)題，正則化就是對(duì)權(quán)重參數(shù)進(jìn)行懲罰，目的就是找到一組更平滑的參數(shù)項(xiàng)。正則化項(xiàng)的結(jié)果就是對(duì)于不同權(quán)重參數(shù)W進(jìn)行不同力度的懲罰，懲罰也就是增加其LOSS值。正則化對(duì)于整個(gè)分類(lèi)模型來(lái)說(shuō)非常重要，可以很有效的抑制了過(guò)擬合現(xiàn)象。

LOSS***版：由LOSS最終版的公式可以看到。LOSS是由兩部分組成的，一部分是得分函數(shù)對(duì)應(yīng)的LOSS值另一個(gè)部分是正則化懲罰項(xiàng)的LOSS值。