數(shù)據(jù)科學(xué)家新手快速上道謹(jǐn)防5個陷阱

在數(shù)據(jù)科學(xué)家入門階段，你不可避免會踩到一些雷區(qū)。這篇文章介紹了 Sébastien Foucaud 博士總結(jié)的新手?jǐn)?shù)據(jù)科學(xué)家最容易犯的 5 個錯誤。博士已經(jīng)有 20 多年帶領(lǐng)學(xué)術(shù)界和應(yīng)用行業(yè)年輕數(shù)據(jù)科學(xué)家的經(jīng)驗，可以幫讀者朋友少走些彎路，為你的實際工作提供一些指導(dǎo)和幫助。話不多說，上清單！
1. 熱衷于 Kaggle 競賽

資料來源：kaggle.com

參加 Kaggle 競賽可以鍛煉你的數(shù)據(jù)科學(xué)職業(yè)技能。如果你懂決策樹和神經(jīng)網(wǎng)絡(luò)那再好不過了。但實話告訴你吧，數(shù)據(jù)科學(xué)家的實際工作中用不著創(chuàng)建那么多的模型。請記住，一般情況下，你將花費 80％的時間對數(shù)據(jù)進(jìn)行預(yù)處理，只有剩下的 20％用于構(gòu)建模型。

數(shù)據(jù)科學(xué)家工作時間分布

參加 Kaggle 競賽在很多方面都會對你很有幫助。但是，參加競賽的時候，通常數(shù)據(jù)會被完美地清理干凈，所以你可以花很多時間去調(diào)整模型。而在現(xiàn)實工作中很少出現(xiàn)這種情況，你必須從不同格式和命名的不同來源收集數(shù)據(jù)。

不要害怕臟活累活，一定要好好練習(xí)數(shù)據(jù)預(yù)處理技能，因為它將占據(jù)你 80％的工作時間。比如爬取圖像或從 API 收集這些圖像數(shù)據(jù)；從 Genius 收集歌詞數(shù)據(jù)等。準(zhǔn)備好解決特定問題所需的數(shù)據(jù)，然后將其輸入你的筆記本并訓(xùn)練機(jī)器學(xué)習(xí)生命周期。精通數(shù)據(jù)預(yù)處理無疑將幫助你成為真正的數(shù)據(jù)科學(xué)家，并對你的公司產(chǎn)生直接影響。

2. 神經(jīng)網(wǎng)絡(luò)是“萬能金丹”

深度學(xué)習(xí)模型在計算機(jī)視覺或自然語言處理領(lǐng)域優(yōu)于其他機(jī)器學(xué)習(xí)模型。但他們也有明顯的缺點。

神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)十分依賴。如果樣本較少，通常用決策樹或邏輯回歸模型結(jié)果會更好。神經(jīng)網(wǎng)絡(luò)還是一個黑匣子。眾所周知，它們難以解釋和說明。如果產(chǎn)品所有者或管理者開始質(zhì)疑模型的輸出，你必須能夠解釋清楚模型的原理。這對于傳統(tǒng)模型來說更容易一點。

我們有很多很棒的統(tǒng)計學(xué)習(xí)模型。自學(xué)這些知識，了解它們的優(yōu)缺點，并根據(jù)用例的條件應(yīng)用這些模型。除非你在計算機(jī)視覺或自然語音識別專業(yè)領(lǐng)域工作，否則很有可能傳統(tǒng)機(jī)器學(xué)習(xí)算法才是最好用的模型。你很快就會發(fā)現(xiàn)，最簡單的模型，如 Logistic 回歸，才是最好用的模型。

來源： scikit-learn.org 算法備忘單

3. 機(jī)器學(xué)習(xí)是產(chǎn)品

機(jī)器學(xué)習(xí)在過去的十年中都被過度炒作，太多的創(chuàng)業(yè)公司吹噓機(jī)器學(xué)習(xí)能夠解決任何存在的問題。

來源：過去 5 年 Google 機(jī)器學(xué)習(xí)趨勢

機(jī)器學(xué)習(xí)本身不應(yīng)該是產(chǎn)品。機(jī)器學(xué)習(xí)是創(chuàng)建滿足客戶需求的產(chǎn)品的強有力的工具。在客戶接收精準(zhǔn)商品推薦方面，機(jī)器學(xué)習(xí)可以有所幫助。如果客戶需要準(zhǔn)確識別圖像中的對象，機(jī)器學(xué)習(xí)也有用。企業(yè)通過向用戶展示有價值的廣告而獲益，機(jī)器學(xué)習(xí)同樣可以提供幫助。

作為數(shù)據(jù)科學(xué)家，你所制定的項目需要以客戶的目標(biāo)為主要優(yōu)先事項。只有這樣，你才能評估機(jī)器學(xué)習(xí)是否會幫到客戶。

4. 混淆因果關(guān)系

大約 90％的數(shù)據(jù)是在過去幾年中涌現(xiàn)的。隨著大數(shù)據(jù)的出現(xiàn)，機(jī)器學(xué)習(xí)從業(yè)者能夠接觸到大量廣泛的數(shù)據(jù)。有了這么多要評估的數(shù)據(jù)，學(xué)習(xí)模型發(fā)現(xiàn)隨機(jī)相關(guān)性的概率隨之增加。

上面的圖片顯示了美國小姐的年齡以及由蒸汽、熱蒸氣和發(fā)熱物體導(dǎo)致的謀殺的總數(shù)?；谶@些數(shù)據(jù)，算法將學(xué)習(xí)到美國小姐的年齡與特定物體導(dǎo)致的謀殺數(shù)量之間會互相影響的關(guān)系模型。然而，兩個數(shù)據(jù)點實際上毫無關(guān)系，并且這兩個變量對彼此都絕對沒有任何可預(yù)測的影響。

在發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系時，將你的領(lǐng)域知識應(yīng)用進(jìn)去。這可能是相關(guān)性還是因果關(guān)系？回答這些問題是根據(jù)數(shù)據(jù)采取行動的關(guān)鍵。

5. 優(yōu)化錯誤的參數(shù)

開發(fā)機(jī)器學(xué)習(xí)模型有一個敏捷的生命周期。首先，你要定義你的想法和關(guān)鍵參數(shù)。其次，你需要創(chuàng)建一個結(jié)果的原型。第三，你不斷優(yōu)化參數(shù)，直到你對它感到滿意。

在構(gòu)建機(jī)器學(xué)習(xí)模型時，請記住要手動進(jìn)行錯誤分析。雖然這個過程乏味并耗力，但它會幫助你在接下來的迭代中有效地改進(jìn)模型。

要點總結(jié)

? 練習(xí)數(shù)據(jù)管理技能
? 研究不同模型的優(yōu)缺點
? 盡可能簡化模型
? 檢查你結(jié)論中的因果關(guān)系和相關(guān)性
? 優(yōu)化最有用的參數(shù)

年輕數(shù)據(jù)科學(xué)家為公司創(chuàng)造了巨大的價值。他們剛剛學(xué)完在線課程，可以立刻為公司提供幫助。他們很多人通常是自學(xué)成才，因為很少有大學(xué)提供數(shù)據(jù)科學(xué)課程和學(xué)位，因此他們對此表現(xiàn)出巨大的決心和好奇心。他們對自己選擇的領(lǐng)域充滿熱情，并渴望了解更多信息。但是，在熱情滿滿的時候也不要盲目學(xué)習(xí)，謹(jǐn)防以上數(shù)據(jù)科學(xué)家新手會掉落的陷阱，會幫你少走很多彎路。