[[394678]]

問題背景

假設(shè)有這樣的一個(gè)需求：判斷某一朵花是不是鳶尾花。我們知道不同品種的花，其長(zhǎng)得是不一樣，所以我們可以通過花的若干外觀特征(花萼長(zhǎng)度、花萼寬度、花瓣長(zhǎng)度、花瓣寬度等)來表示這一朵花。基于這個(gè)思路，我們采集N朵花并對(duì)其標(biāo)注，得到以下的數(shù)據(jù)集。圖片

考慮最簡(jiǎn)單的一種情形，Y(是否為鳶尾花)，與特征X線性相關(guān)，W定義為相關(guān)系數(shù)，即模型F可以用下面公式表述：

化簡(jiǎn)寫成向量化形式：

圖片也就是線性回歸：

現(xiàn)在問題來了，是和否是兩種狀態(tài)，在計(jì)算機(jī)科學(xué)上我們常用1/0開關(guān)量來表述，但是從表示式的值域上看數(shù)學(xué)公式：

能取任意值，這是沒辦法直接成表述0/1開關(guān)量。那如何解決這個(gè)問題呢?通過一個(gè)轉(zhuǎn)換函數(shù)(又稱為激活函數(shù))，將線性回歸轉(zhuǎn)換邏輯回歸。

建模思路

并不是任意函數(shù)都可以作激活函數(shù)使用的，激活函數(shù)具有以下幾種良好的性質(zhì)：

非線性，線性函數(shù)的復(fù)合線性函數(shù)仍是線性函數(shù)，故線性激活函數(shù)不能帶來非線性的變換，使用這樣激活函數(shù)不能增強(qiáng)模型的表達(dá)能力，如此一來就沒辦法擬合復(fù)雜的實(shí)現(xiàn)問題了，所以激活函數(shù)必須非線性的。

連續(xù)可微，如果函數(shù)不可微分，就沒辦法通過梯度下降法來迭代優(yōu)化，以得到近似的最優(yōu)解了。如果激活函數(shù)不可微，可能需要其他各復(fù)雜的數(shù)學(xué)工具來求解，一是未必會(huì)有解，二是計(jì)算成本太高，難以實(shí)現(xiàn)和落地。

單調(diào)性，線性函數(shù)本身是單調(diào)，這個(gè)本身是一定的物理意義的，所以經(jīng)過激活函數(shù)轉(zhuǎn)換后也保持這個(gè)性質(zhì)，不能改變其單調(diào)性。滿足

直接轉(zhuǎn)換

通過一個(gè)分段函數(shù)，把f(x)直接映射成0或1，如公式所示：

但是，這個(gè)分段函數(shù)不連續(xù)不可微不單調(diào)，還帶一個(gè)額外的參數(shù)k，所以這種分段函數(shù)并不適合作激活函數(shù)使用。

間接映射

不直接映射成0或1，而是將f(x)的值域壓縮到(0,1)之間，如公式所示：

這就是sigmoid函數(shù)了，下圖為sigmoid函數(shù)的圖像。

顯然是這個(gè)函數(shù)是具有上面提到的激活函數(shù)的三種優(yōu)良性質(zhì)。同時(shí)將輸出壓縮到(0,1)區(qū)間上，有一個(gè)很直觀感受是，我們可以把這個(gè)輸出值理解為一種概率，在這個(gè)問題上指的是鳶尾花的概率，當(dāng)這個(gè)概率值大于0.5，說明鳶尾花概率大即1，反之則不是鳶尾花即0，這就能實(shí)現(xiàn)分類的判別了。

實(shí)現(xiàn)邏輯

那既然現(xiàn)在有了sigmoid激活函數(shù)，我們?cè)撊绾卫盟?xùn)練模型呢?模型之所以能訓(xùn)練是依賴于兩個(gè)神器:損失函數(shù)和梯度下降，前者能量化我們模型預(yù)測(cè)與真實(shí)結(jié)果的誤差、確定優(yōu)化的目標(biāo)函數(shù)，后者能知道如何去減少誤差、具體地優(yōu)化目標(biāo)函數(shù)。

損失函數(shù)

sigmoid激活函數(shù)輸出值可以看作是概率，具體地我們可以把這個(gè)概率，看成是預(yù)測(cè)結(jié)果為是的概率。

我們需要預(yù)測(cè)的分類結(jié)果要么為是要么為否，只有兩種情況，顯然樣本X是服從伯努利(0-1)分布。假定樣本X，當(dāng)分類標(biāo)簽真值y為1時(shí)，我們就看y_pred也是sigmoid的輸出值(模型預(yù)測(cè)為是的概率)，0是1的互斥事件，當(dāng)分類標(biāo)簽真值為0時(shí)，我們就看1-y_pred(模型預(yù)測(cè)為否的概率)，所以條件概率P(Y|X)可以量化出模型預(yù)測(cè)的準(zhǔn)確程度了。

合并化簡(jiǎn)，整合成統(tǒng)一形式

P(Y|X)就是模型預(yù)測(cè)結(jié)果，顯然P(Y|X)的值越接近于1，說明模型預(yù)測(cè)結(jié)果越準(zhǔn)。一個(gè)數(shù)據(jù)集有N個(gè)樣本，每個(gè)樣本之間獨(dú)立的，所以在模型在整個(gè)數(shù)據(jù)上好壞，可以這樣定義：

顯然，要使得模型的效果最佳，則得找到一個(gè)最佳參數(shù)

使得

能取到最大值，這個(gè)就是最優(yōu)化方法里面的極大使然估計(jì)(MLE)了，我們找到損失函數(shù)了。

接下來，我們得看看如何轉(zhuǎn)換這個(gè)損失函數(shù)：加負(fù)號(hào)(最大值問題轉(zhuǎn)化最小值問題，梯度下降能找最小值)，取對(duì)數(shù)(不改單調(diào)性，把復(fù)雜的連乘變成簡(jiǎn)單的連加)

梯度下降

確定了目標(biāo)函數(shù)之后，接下來就可以利用梯度下降，用迭代更新參數(shù)W，使其不斷逼近目標(biāo)函數(shù)的極值點(diǎn)。

梯度推導(dǎo)：

聯(lián)立式②③可見

由此可見，t+1時(shí)刻模型預(yù)測(cè)誤差總會(huì)比在t時(shí)刻更小，通過這樣迭代，模型就能不斷學(xué)習(xí)和調(diào)整，一直到偏導(dǎo)數(shù)為0的(局部)最優(yōu)極值點(diǎn)，這時(shí)候參數(shù)便無法再繼續(xù)調(diào)整了，模型也就停止再訓(xùn)練了。

結(jié)語(yǔ)

邏輯回歸(Logistic Regression)是機(jī)器學(xué)習(xí)上面一個(gè)最簡(jiǎn)單、最基礎(chǔ)的模型框架和基本范式，不夸張地說它是機(jī)器學(xué)習(xí)奠基石之一，后續(xù)的機(jī)器學(xué)習(xí)模型，很多都是立足于這個(gè)基礎(chǔ)的模型框架上，提出各種形式拓展與改進(jìn)。

深刻地理解邏輯回歸模型，梳理邏輯回歸模型背后建模思路、因果緣由、實(shí)現(xiàn)邏輯，能讓我們對(duì)機(jī)器學(xué)習(xí)的方法論有一個(gè)更全面更清晰的認(rèn)知。