有許多指標(biāo)可用來衡量模型的性能，具體取決于您要進(jìn)行的機(jī)器學(xué)習(xí)的類型。 在本文中，我們將研究分類和回歸模型的性能指標(biāo)，并討論哪種指標(biāo)可以進(jìn)行更好的優(yōu)化。 有時要看的指標(biāo)會根據(jù)最初要解決的問題而有所不同。

機(jī)器學(xué)習(xí)指標(biāo)的示例

分類問題的優(yōu)化

分類表示例

1.真實肯定(召回)

真實肯定率(也稱為召回率)是二進(jìn)制/非二進(jìn)制分類問題中的首選性能指標(biāo)。 在大多數(shù)情況下(即使不是所有時間)，我們只對正確預(yù)測一個類感興趣。 例如，如果您正在預(yù)測糖尿病，則比起預(yù)測此人沒有糖尿病，您將更關(guān)心預(yù)測此人是否患有糖尿病。 在這種情況下，陽性類別為"此人患有糖尿病"，陰性類別為"此人未患有糖尿病"。 這只是預(yù)測肯定類別的準(zhǔn)確性(這不是準(zhǔn)確性性能指標(biāo)。有關(guān)更多詳細(xì)信息，請參見下面的數(shù)字4)

2. ROC曲線(接收機(jī)工作特性曲線)

ROC曲線顯示分類模型在不同閾值(分類到特定類的可能性)下的性能。 它繪制了真假陽性率和假陽性率。 降低閾值將增加您的真實肯定率，但會犧牲您的錯誤肯定率，反之亦然。

3. AUC(曲線下面積)

AUC也稱為" ROC曲線下的面積"。 簡單地說，AUC會告訴您正確分類的可能性。 較高的AUC代表更好的模型。

4.準(zhǔn)確性

默認(rèn)情況下，精度是第一要注意的事情。 但是，真正的數(shù)據(jù)科學(xué)家知道準(zhǔn)確性太誤導(dǎo)了。 一種更好的稱呼方法是預(yù)測所有類別的平均準(zhǔn)確性。 就像我在True True Rate中提到的那樣，它是最理想的指標(biāo)。 準(zhǔn)確度將取"真正值"和"真負(fù)值"之和的平均值。 在不平衡分類問題中，大多數(shù)情況下，否定類比肯定類的代表更多，因此您更有可能具有很高的真實否定率。 然后，準(zhǔn)確度將偏向負(fù)面類別的準(zhǔn)確預(yù)測，這可能不會引起任何人的興趣。

機(jī)器學(xué)習(xí)中的回歸優(yōu)化

回歸圖示例

5.錯誤

該錯誤通常會在R旁邊被忽略，它告訴我們更多有關(guān)擬合值相對于回歸線(即擬合值與優(yōu)秀擬合線之間的平均距離)的精度的信息。 在計算模型的置信度和預(yù)測間隔時，這一點(diǎn)尤為重要。 由于使用響應(yīng)變量的自然單位，因此更易于解釋，而R沒有單位，并且僅在0到1之間。

誤差有不同類型，例如"均值絕對誤差"和"均方根誤差"。每種誤差都有其優(yōu)缺點(diǎn)，必須單獨(dú)對待以評估模型。

6. R2

現(xiàn)在，盡管"標(biāo)準(zhǔn)誤差"很重要，但R已成為良好回歸模型的實際度量。 它告訴我們模型解釋了因變量和自變量之間的差異。 較高的R會給出更好的模型，但是，如果過高(接近99%)有時會導(dǎo)致過度擬合的風(fēng)險。 由于相關(guān)性與因果關(guān)系的爭論可能會給R帶來不合邏輯的高R，因此R可能會產(chǎn)生誤導(dǎo)。

用戶的目標(biāo)會影響模型的性能，因此請謹(jǐn)慎選擇

精度并非始終是分類問題中的優(yōu)秀度量，R對于回歸而言可能并非最佳。 無疑，它們都是最容易理解的，尤其是對于非技術(shù)利益相關(guān)者而言(這也許是首先構(gòu)建模型的較大原因)。 比較好的方法可能是考慮各種性能指標(biāo)并考慮您的初始目標(biāo)。 模型的性能始終取決于用戶的目標(biāo)。 從一個人的角度來看，表現(xiàn)不佳對于另一個人而言可能并非如此。