[[335033]]

從決策樹(shù)到神經(jīng)網(wǎng)絡(luò)

TL; DR：熵是對(duì)系統(tǒng)中混沌的一種度量。 因?yàn)樗戎T如準(zhǔn)確性甚至均方誤差之類的其他更嚴(yán)格的度量標(biāo)準(zhǔn)更具動(dòng)態(tài)性，所以使用熵來(lái)優(yōu)化從決策樹(shù)到深度神經(jīng)網(wǎng)絡(luò)的算法已顯示出可以提高速度和性能。

它在機(jī)器學(xué)習(xí)中無(wú)處不在：從決策樹(shù)的構(gòu)建到深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，熵是機(jī)器學(xué)習(xí)中必不可少的度量。

熵源于物理學(xué)-它是系統(tǒng)中無(wú)序或不可預(yù)測(cè)性的量度。 例如，在一個(gè)盒子里考慮兩種氣體：一開(kāi)始，系統(tǒng)的熵很低，因?yàn)檫@兩種氣體是完全可分離的。 但是，一段時(shí)間后，氣體混合在一起，系統(tǒng)的熵增加。 有人說(shuō)，在一個(gè)孤立的系統(tǒng)中，熵永遠(yuǎn)不會(huì)減小，沒(méi)有外力，混沌就不會(huì)減弱。

例如，考慮一次拋硬幣-如果拋硬幣四次而發(fā)生事件[尾巴，頭，頭，尾]。 如果您(或機(jī)器學(xué)習(xí)算法)要預(yù)測(cè)下一次硬幣翻轉(zhuǎn)，則可以確定地預(yù)測(cè)結(jié)果-系統(tǒng)包含高熵。 另一方面，具有事件[尾巴，尾巴，尾巴，尾巴]的加權(quán)硬幣的熵極低，并且根據(jù)當(dāng)前信息，我們幾乎可以肯定地說(shuō)下一個(gè)結(jié)果將是尾巴。

適用于數(shù)據(jù)科學(xué)的大多數(shù)情況都介于天文學(xué)的高熵和極低的熵之間。 高熵意味著低信息增益，而低熵意味著高信息增益。 可以將信息獲取視為系統(tǒng)中的純凈性：系統(tǒng)中可用的純凈知識(shí)量。

決策樹(shù)在其構(gòu)造中使用熵：為了盡可能有效地將一系列條件下的輸入定向到正確的結(jié)果，將熵較低(信息增益較高)的特征拆分(條件)放在樹(shù)上較高位置。

為了說(shuō)明低熵條件和高熵條件的概念，請(qǐng)考慮假設(shè)類特征，其類別用顏色(紅色或藍(lán)色)標(biāo)記，而拆分用垂直虛線標(biāo)記。

決策樹(shù)計(jì)算特征的熵并對(duì)其進(jìn)行排列，以使模型的總熵最小(并使信息增益比較大)。 從數(shù)學(xué)上講，這意味著將最低熵條件放在頂部，以便它可以幫助降低其下方的拆分節(jié)點(diǎn)的熵。

決策樹(shù)訓(xùn)練中使用的信息增益和相對(duì)熵定義為兩個(gè)概率質(zhì)量分布p(x)和q(x)之間的"距離"。 也稱為Kullback-Leibler(KL)散度或Earth Mover的距離，用于訓(xùn)練對(duì)抗性網(wǎng)絡(luò)以評(píng)估生成的圖像與原始數(shù)據(jù)集中的圖像相比的性能。

神經(jīng)網(wǎng)絡(luò)最喜歡的損失函數(shù)之一是交叉熵。 無(wú)論是分類的，稀疏的還是二進(jìn)制的交叉熵，該度量標(biāo)準(zhǔn)都是高性能神經(jīng)網(wǎng)絡(luò)的默認(rèn)損耗函數(shù)之一。 它也可以用于幾乎所有分類算法的優(yōu)化，例如邏輯回歸。 像熵的其他應(yīng)用(例如聯(lián)合熵和條件熵)一樣，交叉熵是對(duì)熵進(jìn)行嚴(yán)格定義的多種口味之一，適合于獨(dú)特的應(yīng)用。

像Kullback-Lieber發(fā)散(KLD)一樣，交叉熵也處理兩個(gè)分布p和q之間的關(guān)系，分別表示真實(shí)分布p和近似分布q。 但是，KLD衡量?jī)蓚€(gè)分布之間的相對(duì)熵，而交叉熵衡量?jī)蓚€(gè)分布之間的"總熵"。

度量定義為使用模型分布q對(duì)來(lái)自分布p的源的數(shù)據(jù)進(jìn)行編碼所需的平均位數(shù)。 如果考慮目標(biāo)分布p和近似值q，我們希望減少使用q而不是p表示事件所需的位數(shù)。 另一方面，相對(duì)熵(KLD)衡量從分布q中的p表示事件所需的額外位數(shù)。

交叉熵似乎是衡量模型性能的一種回旋方式，但是有幾個(gè)優(yōu)點(diǎn)：

• 基于準(zhǔn)確性/錯(cuò)誤的指標(biāo)存在多個(gè)問(wèn)題，包括對(duì)訓(xùn)練數(shù)據(jù)順序的極端敏感性，不考慮置信度，并且對(duì)可能導(dǎo)致錯(cuò)誤結(jié)果的各種數(shù)據(jù)屬性缺乏魯棒性。 它們是非常粗略的績(jī)效指標(biāo)(至少在培訓(xùn)期間)。
• 交叉熵可以衡量信息內(nèi)容，因此比簡(jiǎn)單強(qiáng)調(diào)所有復(fù)選框的度量標(biāo)準(zhǔn)更具動(dòng)態(tài)性和可靠性。 預(yù)測(cè)和目標(biāo)被視為分布，而不是等待回答的問(wèn)題列表。
• 它與概率的性質(zhì)密切相關(guān)，并且特別適用于S型和SoftMax激活(即使它們僅用于最后一個(gè)神經(jīng)元)，有助于減少消失的梯度問(wèn)題。 邏輯回歸可以視為二進(jìn)制交叉熵的一種形式。

盡管熵并不總是最佳的損失函數(shù)(尤其是在目標(biāo)函數(shù)p尚未明確定義的情況下)，但熵通常表現(xiàn)為性能增強(qiáng)，這說(shuō)明了熵在任何地方都存在。

通過(guò)在機(jī)器學(xué)習(xí)中使用熵，它的核心組成部分(不確定性和概率)可以通過(guò)交叉熵，相對(duì)熵和信息增益等思想得到很好的體現(xiàn)。 熵對(duì)于處理未知數(shù)非常明確，這在模型構(gòu)建中非常需要。 當(dāng)模型在熵上進(jìn)行優(yōu)化時(shí)，它們能夠以增強(qiáng)的知識(shí)和目標(biāo)意識(shí)在不可預(yù)測(cè)的平原上徘徊。