避免五大誤區(qū)丨數(shù)據(jù)科學家新手進階之路

你為成為數(shù)據(jù)科學家做好了充分的準備。你參加Kaggle比賽，看了大量的Coursera課程。你感覺已經(jīng)準備好了，但數(shù)據(jù)科學家的實際工作將與你的預期大不相同。

本文探討了數(shù)據(jù)科學家新手的5個常見誤區(qū)。這是我在Sébastien Foucaud博士的幫助下一起總結的，他在學術界和行業(yè)領域指導年輕數(shù)據(jù)科學家有超過20年的經(jīng)驗。本文旨在幫助你更好地走向數(shù)據(jù)科學家進階之路。

誤區(qū)1 熱衷參加Kaggle比賽

你通過參與Kaggle比賽練習了數(shù)據(jù)科學技能。如果你掌握決策樹和神經(jīng)網(wǎng)絡那就更好了。但其實作為數(shù)據(jù)科學家，你不需要完成那么多模型融合。通常，你將花80％的時間進行數(shù)據(jù)預處理，剩下20％的時間用于構建模型。

參加Kaggle比賽的好處在于，給出的數(shù)據(jù)都很干凈，從而你有更多的時間調(diào)整模型。但是在實際工作中很少出現(xiàn)這種情況，你需要使用不同的格式和命名方式來匯總不同來源的數(shù)據(jù)。

你需要做的是，熟練掌握你大部分時間將要做的事，即數(shù)據(jù)預處理。例如抓取圖像或從API收集圖像；從Genius收集歌詞數(shù)據(jù)等。為解決特定問題準備所需的數(shù)據(jù)，然后將其輸入到計算機中開始機器學習生命周期。精通數(shù)據(jù)預處理無疑將大大幫助你成為一名出色的數(shù)據(jù)科學家，從而讓你在公司制定決策中起到關鍵作用。

誤區(qū)2 神經(jīng)網(wǎng)絡能搞定一切

深度學習模型在計算機視覺和自然語言處理領域優(yōu)于其他機器學習模型，但也有明顯的缺點。

神經(jīng)網(wǎng)絡需要大量數(shù)據(jù)。如果樣本較少，那么使用決策樹或邏輯回歸模型效果會更好。眾所周知，神經(jīng)網(wǎng)絡難以說明和解釋，因此也被稱為”黑匣子“。當產(chǎn)品負責人或主管對模型輸出產(chǎn)生質(zhì)疑時，你需要進行解釋，而傳統(tǒng)的模型更容易解釋。

有很多出色的統(tǒng)計學習模型，你需要了解其優(yōu)缺點，并根據(jù)具體任務應用相關模型。除非是用于計算機視覺或自然語音識別等專業(yè)領域，否則傳統(tǒng)的機器學習算法的成功率會更高。你很快就會發(fā)現(xiàn)，像邏輯回歸等簡單模型是最好的模型。

來源：來自scikit-learn.org的算法表

誤區(qū)3 機器學習是產(chǎn)品

在過去十年里，機器學習大受吹捧，許多創(chuàng)業(yè)公司都認為機器學習能解決任何存在的問題。

來源：過去5年中機器學習的谷歌指數(shù)趨勢

機器學習永遠不應該是產(chǎn)品。機器學習是強大的工具，用于生產(chǎn)滿足客戶需求的產(chǎn)品。機器學習可以用于讓客戶收到精準的商品推薦；準確識別圖像中的對象；幫助企業(yè)向用戶展示有價值的廣告。

作為數(shù)據(jù)科學家，你必須以滿足客戶需求為目標制定計劃，在此基礎上你才能充分利用機器學習。

誤區(qū)4 混淆因果關系與相關性

大約90％的數(shù)據(jù)是在過去幾年中產(chǎn)生的。隨著大數(shù)據(jù)的出現(xiàn)，機器學習從業(yè)者能夠獲得大量數(shù)據(jù)。由于有大量的數(shù)據(jù)需要分析評估，學習模型也更容易發(fā)現(xiàn)隨機的相關性。

來源：http://www.tylervigen.com/spurious-correlations

上圖顯示了美國小姐的年齡與蒸汽、熱蒸汽和發(fā)熱物體導致的謀殺總數(shù)。根據(jù)這些數(shù)據(jù)，算法會發(fā)現(xiàn)美國小姐的年齡與某些物體導致謀殺間的模式。然而，這些數(shù)據(jù)點實際上是無關的，并且這兩個變量對其他變量沒有任何預測作用。

當在數(shù)據(jù)中發(fā)現(xiàn)模式時，要應用你的專業(yè)知識。當中是相關性還是因果關系？回答這些問題是從數(shù)據(jù)中得出分析見解的關鍵。

誤區(qū)5 優(yōu)化錯誤的指標

開發(fā)機器學習模型遵循敏捷的生命周期。首先，你定義概念和關鍵指標。然后，將結果原型化。接著，不斷進行改進直到指標令你滿意。

在構建機器學習模型時，記得要進行手動錯誤分析。雖然這個過程繁瑣且費時費力，但可以幫助你在迭代中有效地改進模型。

結語

年輕的數(shù)據(jù)科學家能為公司提供巨大價值。他們通常是自學成才，因為很少有大學設有數(shù)據(jù)科學學位。同時他們具有強烈的好奇心，并且對自己選擇的領域充滿熱情，并渴望了解更多的知識。對于剛入行的數(shù)據(jù)科學家來說，一定要注意以上提到的誤區(qū)。

注意以下幾點：

· 練習數(shù)據(jù)管理

· 研究不同模型的優(yōu)缺點

· 讓模型盡可能簡單

· 檢查結論中的因果性和相關性

· 優(yōu)化最有希望的指標