前向傳播之-softmax

softmax：這個分類器可以說是咱們深度學(xué)習(xí)領(lǐng)域最常見的一個分類器了，如果大家對邏輯回歸有基礎(chǔ)的話那么這個softmax分類器可以當成一個多分類的邏輯回歸。

sigmoid:上圖就是咱們這個sigmoid函數(shù)了，這個函數(shù)很重要無論在softmax還是在咱們之后會講到的激活函數(shù)上，所以咱們先來看看這個函數(shù)是干什么用的，首先咱們先來看它的自變量X得到取值范圍，可以看到咱們的X可以取正無窮到負無窮的一切實數(shù)，那么對應(yīng)的Y也就是值域的范圍是從0到1的。那么對于一個任意的輸入X1我們都可以得到一個對應(yīng)的值Y1，這個Y1是在0到1之間的一個數(shù)，也就是我們可以把所有的值都壓縮到0到1這個區(qū)間內(nèi)，結(jié)合咱們之前的得分函數(shù)，一個輸入對于每一個類別的得分X，我們都可以把這個得分映射到[0,1]區(qū)間內(nèi)，也就是把我們的得分數(shù)值轉(zhuǎn)成了相應(yīng)的概率值。

softmax-loss計算：這一系列的公式其實就告訴了咱們一件事咱們這個分類器最終的LOSS值是如何計算出來的，首先咱們對應(yīng)于一個輸入計算出了它屬于每一個類別的得分數(shù)值，然后再用上面講的sigmoid函數(shù)把所有的得分數(shù)值映射成一個概率值，有了概率值之后loss的計算就是對最終正確分類所占的概率求一個LOG值再取負號就OK了。

動手算：咱們現(xiàn)在就來動手算一下這個LOSS值是什么計算的，首先對每個得分數(shù)值計算其指數(shù)次冪，然后對于得到的所有值再做一個歸一化的操作，***把正確分類的那個概率值帶到LOSS計算公式中就性啦。

SVM和SOFTMA對比：從圖中可以到最明顯的區(qū)別就是LOSS值的計算方式，SVM是計算的分值的一個差值情況，SOFTMAX看的則是分類的準確率。這里就不詳細推導(dǎo)他們優(yōu)缺點了，可以告訴大家的是SOFTMAX對錯誤的分類敏感程度更高，其實SOFTMAX是一個永不滿足的分類器，它的LOSS始終存在的，感興趣的同學(xué)可以自己算一算LOSS的流程就知道了，所以在深度學(xué)習(xí)領(lǐng)域我們使用的更多的是SOFTMAX分類器。

【本文是51CTO專欄作者唐宇迪的原創(chuàng)稿件，轉(zhuǎn)載請注明出處】

戳這里，看該作者更多好文