在數(shù)據(jù)科學家入門階段，你不可避免會踩到一些雷區(qū)。這篇文章介紹了 Sébastien Foucaud 博士總結(jié)的新手數(shù)據(jù)科學家最容易犯的 5 個錯誤。博士已經(jīng)有 20 多年帶領(lǐng)學術(shù)界和應用行業(yè)年輕數(shù)據(jù)科學家的經(jīng)驗，可以幫讀者朋友少走些彎路，為你的實際工作提供一些指導和幫助。話不多說，上清單！

[[234938]]

1. 熱衷于 Kaggle 競賽

資料來源：kaggle.com

參加 Kaggle 競賽可以鍛煉你的數(shù)據(jù)科學職業(yè)技能。如果你懂決策樹和神經(jīng)網(wǎng)絡那再好不過了。但實話告訴你吧，數(shù)據(jù)科學家的實際工作中用不著創(chuàng)建那么多的模型。請記住，一般情況下，你將花費 80％的時間對數(shù)據(jù)進行預處理，只有剩下的 20％用于構(gòu)建模型。

數(shù)據(jù)科學家工作時間分布

參加 Kaggle 競賽在很多方面都會對你很有幫助。但是，參加競賽的時候，通常數(shù)據(jù)會被完美地清理干凈，所以你可以花很多時間去調(diào)整模型。而在現(xiàn)實工作中很少出現(xiàn)這種情況，你必須從不同格式和命名的不同來源收集數(shù)據(jù)。

不要害怕臟活累活，一定要好好練習數(shù)據(jù)預處理技能，因為它將占據(jù)你 80％的工作時間。比如爬取圖像或從 API 收集這些圖像數(shù)據(jù)；從 Genius 收集歌詞數(shù)據(jù)等。準備好解決特定問題所需的數(shù)據(jù)，然后將其輸入你的筆記本并訓練機器學習生命周期。精通數(shù)據(jù)預處理無疑將幫助你成為真正的數(shù)據(jù)科學家，并對你的公司產(chǎn)生直接影響。

2. 神經(jīng)網(wǎng)絡是“萬能金丹”

深度學習模型在計算機視覺或自然語言處理領(lǐng)域優(yōu)于其他機器學習模型。但他們也有明顯的缺點。

神經(jīng)網(wǎng)絡對數(shù)據(jù)十分依賴。如果樣本較少，通常用決策樹或邏輯回歸模型結(jié)果會更好。神經(jīng)網(wǎng)絡還是一個黑匣子。眾所周知，它們難以解釋和說明。如果產(chǎn)品所有者或管理者開始質(zhì)疑模型的輸出，你必須能夠解釋清楚模型的原理。這對于傳統(tǒng)模型來說更容易一點。

正如 James Le 在這篇優(yōu)秀文章中所說（https://towardsdatascience.com/a-tour-of-the-top-10-algorithms-for-machine-learning-newbies-dde4edffae11 ），我們有很多很棒的統(tǒng)計學習模型。自學這些知識，了解它們的優(yōu)缺點，并根據(jù)用例的條件應用這些模型。除非你在計算機視覺或自然語音識別專業(yè)領(lǐng)域工作，否則很有可能傳統(tǒng)機器學習算法才是最好用的模型。你很快就會發(fā)現(xiàn)，最簡單的模型，如 Logistic 回歸，才是最好用的模型。

來源： scikit-learn.org 算法備忘單

3. 機器學習是產(chǎn)品

機器學習在過去的十年中都被過度炒作，太多的創(chuàng)業(yè)公司吹噓機器學習能夠解決任何存在的問題。

來源：過去 5 年 Google 機器學習趨勢

機器學習本身不應該是產(chǎn)品。機器學習是創(chuàng)建滿足客戶需求的產(chǎn)品的強有力的工具。在客戶接收精準商品推薦方面，機器學習可以有所幫助。如果客戶需要準確識別圖像中的對象，機器學習也有用。企業(yè)通過向用戶展示有價值的廣告而獲益，機器學習同樣可以提供幫助。

作為數(shù)據(jù)科學家，你所制定的項目需要以客戶的目標為主要優(yōu)先事項。只有這樣，你才能評估機器學習是否會幫到客戶。

4. 混淆因果關(guān)系

大約 90％的數(shù)據(jù)是在過去幾年中涌現(xiàn)的。隨著大數(shù)據(jù)的出現(xiàn)，機器學習從業(yè)者能夠接觸到大量廣泛的數(shù)據(jù)。有了這么多要評估的數(shù)據(jù)，學習模型發(fā)現(xiàn)隨機相關(guān)性的概率隨之增加。

資料來源：http://www.tylervigen.com/spurious-correlations

上面的圖片顯示了美國小姐的年齡以及由蒸汽、熱蒸氣和發(fā)熱物體導致的謀殺的總數(shù)?；谶@些數(shù)據(jù)，算法將學習到美國小姐的年齡與特定物體導致的謀殺數(shù)量之間會互相影響的關(guān)系模型。然而，兩個數(shù)據(jù)點實際上毫無關(guān)系，并且這兩個變量對彼此都絕對沒有任何可預測的影響。

在發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系時，將你的領(lǐng)域知識應用進去。這可能是相關(guān)性還是因果關(guān)系？回答這些問題是根據(jù)數(shù)據(jù)采取行動的關(guān)鍵。

5. 優(yōu)化錯誤的參數(shù)

開發(fā)機器學習模型有一個敏捷的生命周期。首先，你要定義你的想法和關(guān)鍵參數(shù)。其次，你需要創(chuàng)建一個結(jié)果的原型。第三，你不斷優(yōu)化參數(shù)，直到你對它感到滿意。

在構(gòu)建機器學習模型時，請記住要手動進行錯誤分析。雖然這個過程乏味并耗力，但它會幫助你在接下來的迭代中有效地改進模型。請參閱吳恩達的深度學習專項課程，以獲得更多優(yōu)化模型的技巧。

https://www.coursera.org/learn/machine-learning-projectshttps://towardsdatascience.com/structuring-your-machine-learning-project-course-summary-in-1-picture-and-22-nuggets-of-wisdom-95b051a6c9dd

要點總結(jié)

• 練習數(shù)據(jù)管理技能
• 研究不同模型的優(yōu)缺點
• 盡可能簡化模型
• 檢查你結(jié)論中的因果關(guān)系和相關(guān)性
• 優(yōu)化最有用的參數(shù)

年輕數(shù)據(jù)科學家為公司創(chuàng)造了巨大的價值。他們剛剛學完在線課程，可以立刻為公司提供幫助。他們很多人通常是自學成才，因為很少有大學提供數(shù)據(jù)科學課程和學位，因此他們對此表現(xiàn)出巨大的決心和好奇心。他們對自己選擇的領(lǐng)域充滿熱情，并渴望了解更多信息。但是，在熱情滿滿的時候也不要盲目學習，謹防以上數(shù)據(jù)科學家新手會掉落的陷阱，會幫你少走很多彎路。