[[417825]]

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

還在學(xué)師階段的研究生以及從業(yè)新手們，想在機器學(xué)習(xí)研究中少走彎路嗎？

或許下面這篇論文可以幫到你：

《如何避免機器學(xué)習(xí)研究中的陷阱？一本給學(xué)術(shù)研究人員的指南》

作者是英國赫瑞-瓦特大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院的副教授，同時也是愛丁堡機器人中心的成員，博士畢業(yè)已經(jīng)十多年，這篇17頁的論文主要介紹了機器學(xué)習(xí)學(xué)術(shù)研究中的一些常犯錯誤，以及如何避免。

指南共涵蓋了機器學(xué)習(xí)過程的五大方面：建模前如何準(zhǔn)備，如何建出可靠的模型，如何穩(wěn)健地評估模型，如何公平地比較模型以及如何報告結(jié)果。

一位已經(jīng)從業(yè)的機器學(xué)習(xí)研究員稱贊該論文很有價值，因為文中提到的所有錯誤他在博士學(xué)習(xí)和工作期間中都遇到很多次。他準(zhǔn)備讓后面所有新入職的工程師都好好看看。

不少人則認(rèn)為該指南的意見可能并不受歡迎，因為很多都是研究人員本該知道的基本常識，比如多次重復(fù)實驗并報告平均值和方差進行嚴(yán)格比較，但他們就是為了方便或者讓數(shù)據(jù)更好看而選擇性忽視。

下面就詳細(xì)看看作者都提了哪些常見錯誤。

建模前的準(zhǔn)備

為了得到符合預(yù)期用途的模型、可以順利發(fā)表論文的結(jié)果，建模之前你需要做好以下6點準(zhǔn)備：

1、確?；〞r間研究你要用的數(shù)據(jù)集，來源可靠、質(zhì)量有保證。

2、但不要查看測試數(shù)據(jù)，防止先入為主做出某些假設(shè)導(dǎo)致最終模型通用性差。

3、保證數(shù)據(jù)量足夠大，當(dāng)然保證不了也是常有的事兒，解決辦法：

比如評估模型時交叉驗證數(shù)據(jù)、采用數(shù)據(jù)擴充技術(shù)（數(shù)據(jù)集中某類數(shù)據(jù)不夠時也可采用）。

但總的來說，數(shù)據(jù)不夠模型就不能設(shè)計得太復(fù)雜，不然分分鐘給你過擬合。

4、要和相關(guān)領(lǐng)域?qū)＜艺務(wù)?，防止研究脫離實際，并且他們也可以幫助你向最合適的期刊/受眾發(fā)表。

5、搜遍相關(guān)文獻，雖然發(fā)現(xiàn)別人已經(jīng)研究過了很沮喪，但是寫論文時你該怎么解釋為什么要覆蓋相同的領(lǐng)域。

6、一定要提前考慮模型部署的問題：大部分學(xué)術(shù)研究最終都是要落地吧？好好考慮落地場景的資源、時間限制等問題來設(shè)計模型。

如何建出可靠的模型

1、不要讓測試數(shù)據(jù)參與到訓(xùn)練過程中（這點前面也已強調(diào)過）。

2、嘗試不同的ML模型，別套用，具體問題具體分析找出最適合解決你的問題的那個。

“湊合”的例子包括將期望分類特征的模型應(yīng)用于由數(shù)字特征組成的數(shù)據(jù)集、將假定變量之間沒有依賴關(guān)系的模型應(yīng)用于時間序列數(shù)據(jù)，或者只相信最新的模型（舊的不一定不合適）。

3、一定要優(yōu)化模型的超參數(shù)。使用某種超參數(shù)優(yōu)化策略比較好，這樣在寫論文時也好整。除了數(shù)據(jù)挖掘?qū)嵺`之外，可以使用AutoML技術(shù)優(yōu)化模型及其超參數(shù)的配置。

4、在執(zhí)行超參數(shù)優(yōu)化和特征選擇要小心：防止測試集“泄漏”，不要在模型訓(xùn)練開始之前對整個數(shù)據(jù)集進行特征選擇。理想情況下應(yīng)使用與訓(xùn)練模型所用數(shù)據(jù)完全相同的數(shù)據(jù)。

實現(xiàn)這一點的常用技術(shù)是嵌套交叉驗證（也稱為雙交叉驗證）。

如何穩(wěn)健地評估模型

對模型進行不公平的評估，很容易讓學(xué)術(shù)研究的水變渾濁。

作者一共提了5點：

1、一個模型在訓(xùn)練集上的表現(xiàn)幾乎毫無意義，保證測試集與訓(xùn)練集之間的獨立。

2、在連續(xù)迭代多個模型，用前面的數(shù)據(jù)指導(dǎo)下一個的配置時使用驗證集，千萬不要讓測試集參與進來?？梢愿鶕?jù)驗證集對模型進行測量：當(dāng)分?jǐn)?shù)開始下降時，停止訓(xùn)練，因為這表明模型開始過擬合。

3、對模型多次評估，防止低估/高估性能。十次交叉驗證是最標(biāo)準(zhǔn)的做法，對很小的數(shù)據(jù)類進行層化也很重要；需要報告多個評估的平均值和標(biāo)準(zhǔn)偏差；也建議保留單個分?jǐn)?shù)記錄，以防以后使用統(tǒng)計測試來比較模型。

4、保留一些測試數(shù)據(jù)以無偏評估最終的模型實例。

5、不要對不平衡的數(shù)據(jù)集使用準(zhǔn)確度（accuracy）指標(biāo)。這個指標(biāo)常用于分類模型，不平衡數(shù)據(jù)集應(yīng)采用kappa系數(shù)或馬修斯相關(guān)系數(shù)（MCC）指標(biāo)。

如何公平地比較模型

這是非常重要的一環(huán)，但很驚訝的是很多人都比不對，作者表示一定要確保在同一環(huán)境中評估不同的模型，探索多個視角，并正確使用統(tǒng)計測試。

1、一個更大的數(shù)字不意味著一個更好的模型。應(yīng)將每個模型優(yōu)化到同等程度，進行多次評估，然后使用統(tǒng)計測試確定性能差異是否顯著。

2、要想讓人相信你的模型好，一定要做統(tǒng)計測試。

3、進行多重比較時進行校正：如果你以95%的置信水平做20個成對測試，其中一個可能會給你錯誤的答案。這被稱為多重性效應(yīng)。最常見的解決方法是Bonferroni校正。

4、不要總是相信公共基準(zhǔn)測試的結(jié)果。

使用基準(zhǔn)數(shù)據(jù)集來評估新的ML模型已變得司空見慣，你以為這會讓結(jié)果更透明，實際上：

如果測試集的訪問不受限，你沒法確保別人沒有在訓(xùn)練過程中使用它；被多次使用的公共測試集上的許多模型可能會與之過度匹配；最終都會導(dǎo)致結(jié)果樂觀。

5、考慮組合模型。

如何報告結(jié)果

學(xué)術(shù)研究的目的不是自我膨脹，而是一個貢獻知識的機會。為了有效地貢獻你的想法，你需要提供研究的全貌，包括哪些有效哪些無效。

1、保持你所做所發(fā)現(xiàn)的成果透明，這會方便其他人更容易地在你的工作基礎(chǔ)上擴展。共享你的代碼也會讓你在coding的時候更認(rèn)真。

2、提供多個測試集上的報告，為每個數(shù)據(jù)集報告多個度量指標(biāo)（如果你報告F值，請明確這是F1得分還是精度和召回率之間的其他平衡；如果報告AUC，請指出這是ROC曲線下的面積還是PR下的）；

3、不要在結(jié)果之外泛化，不要夸大，意識到數(shù)據(jù)的局限性。

4、報告統(tǒng)計顯著性時一定要小心：統(tǒng)計人員越來越多地認(rèn)為，最好不要使用閾值，而只報告p值，讓讀者來解釋這些值。

除了統(tǒng)計意義之外，另一件需要考慮的事是兩個模型之間的差異是否真正重要。

5、最后，再回過頭完整的看一眼你的模型，除了報告性能指標(biāo)，看看它能解決多少實際問題。

以上就是所有的內(nèi)容，作者表示，部分意見可能有爭議，內(nèi)文也并非詳盡無遺，因此提供了很多參考鏈接供大家進一步參考。

另外理論總是落后于實踐，我們今天認(rèn)為正確的東西明天可能不正確，因此大家都要以開放的心態(tài)面對機器學(xué)習(xí)，緊跟最新技術(shù)進展，謙虛地接受新知識。

更多意見歡迎在評論區(qū)補充。

指南地址：
https://arxiv.org/abs/2108.02497