避免五大誤區(qū)丨數(shù)據(jù)科學(xué)家新手進(jìn)階之路

你為成為數(shù)據(jù)科學(xué)家做好了充分的準(zhǔn)備。你參加Kaggle比賽，看了大量的Coursera課程。你感覺已經(jīng)準(zhǔn)備好了，但數(shù)據(jù)科學(xué)家的實(shí)際工作將與你的預(yù)期大不相同。

本文探討了數(shù)據(jù)科學(xué)家新手的5個(gè)常見誤區(qū)。這是我在Sébastien Foucaud博士的幫助下一起總結(jié)的，他在學(xué)術(shù)界和行業(yè)領(lǐng)域指導(dǎo)年輕數(shù)據(jù)科學(xué)家有超過20年的經(jīng)驗(yàn)。本文旨在幫助你更好地走向數(shù)據(jù)科學(xué)家進(jìn)階之路。

誤區(qū)1 熱衷參加Kaggle比賽

你通過參與Kaggle比賽練習(xí)了數(shù)據(jù)科學(xué)技能。如果你掌握決策樹和神經(jīng)網(wǎng)絡(luò)那就更好了。但其實(shí)作為數(shù)據(jù)科學(xué)家，你不需要完成那么多模型融合。通常，你將花80％的時(shí)間進(jìn)行數(shù)據(jù)預(yù)處理，剩下20％的時(shí)間用于構(gòu)建模型。

參加Kaggle比賽的好處在于，給出的數(shù)據(jù)都很干凈，從而你有更多的時(shí)間調(diào)整模型。但是在實(shí)際工作中很少出現(xiàn)這種情況，你需要使用不同的格式和命名方式來匯總不同來源的數(shù)據(jù)。

你需要做的是，熟練掌握你大部分時(shí)間將要做的事，即數(shù)據(jù)預(yù)處理。例如抓取圖像或從API收集圖像；從Genius收集歌詞數(shù)據(jù)等。為解決特定問題準(zhǔn)備所需的數(shù)據(jù)，然后將其輸入到計(jì)算機(jī)中開始機(jī)器學(xué)習(xí)生命周期。精通數(shù)據(jù)預(yù)處理無疑將大大幫助你成為一名出色的數(shù)據(jù)科學(xué)家，從而讓你在公司制定決策中起到關(guān)鍵作用。

誤區(qū)2 神經(jīng)網(wǎng)絡(luò)能搞定一切

深度學(xué)習(xí)模型在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域優(yōu)于其他機(jī)器學(xué)習(xí)模型，但也有明顯的缺點(diǎn)。

神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)。如果樣本較少，那么使用決策樹或邏輯回歸模型效果會更好。眾所周知，神經(jīng)網(wǎng)絡(luò)難以說明和解釋，因此也被稱為”黑匣子“。當(dāng)產(chǎn)品負(fù)責(zé)人或主管對模型輸出產(chǎn)生質(zhì)疑時(shí)，你需要進(jìn)行解釋，而傳統(tǒng)的模型更容易解釋。

有很多出色的統(tǒng)計(jì)學(xué)習(xí)模型，你需要了解其優(yōu)缺點(diǎn)，并根據(jù)具體任務(wù)應(yīng)用相關(guān)模型。除非是用于計(jì)算機(jī)視覺或自然語音識別等專業(yè)領(lǐng)域，否則傳統(tǒng)的機(jī)器學(xué)習(xí)算法的成功率會更高。你很快就會發(fā)現(xiàn)，像邏輯回歸等簡單模型是最好的模型。

來源：來自scikit-learn.org的算法表

誤區(qū)3 機(jī)器學(xué)習(xí)是產(chǎn)品

在過去十年里，機(jī)器學(xué)習(xí)大受吹捧，許多創(chuàng)業(yè)公司都認(rèn)為機(jī)器學(xué)習(xí)能解決任何存在的問題。

來源：過去5年中機(jī)器學(xué)習(xí)的谷歌指數(shù)趨勢

機(jī)器學(xué)習(xí)永遠(yuǎn)不應(yīng)該是產(chǎn)品。機(jī)器學(xué)習(xí)是強(qiáng)大的工具，用于生產(chǎn)滿足客戶需求的產(chǎn)品。機(jī)器學(xué)習(xí)可以用于讓客戶收到精準(zhǔn)的商品推薦；準(zhǔn)確識別圖像中的對象；幫助企業(yè)向用戶展示有價(jià)值的廣告。

作為數(shù)據(jù)科學(xué)家，你必須以滿足客戶需求為目標(biāo)制定計(jì)劃，在此基礎(chǔ)上你才能充分利用機(jī)器學(xué)習(xí)。

誤區(qū)4 混淆因果關(guān)系與相關(guān)性

大約90％的數(shù)據(jù)是在過去幾年中產(chǎn)生的。隨著大數(shù)據(jù)的出現(xiàn)，機(jī)器學(xué)習(xí)從業(yè)者能夠獲得大量數(shù)據(jù)。由于有大量的數(shù)據(jù)需要分析評估，學(xué)習(xí)模型也更容易發(fā)現(xiàn)隨機(jī)的相關(guān)性。

來源：http://www.tylervigen.com/spurious-correlations

上圖顯示了美國小姐的年齡與蒸汽、熱蒸汽和發(fā)熱物體導(dǎo)致的謀殺總數(shù)。根據(jù)這些數(shù)據(jù)，算法會發(fā)現(xiàn)美國小姐的年齡與某些物體導(dǎo)致謀殺間的模式。然而，這些數(shù)據(jù)點(diǎn)實(shí)際上是無關(guān)的，并且這兩個(gè)變量對其他變量沒有任何預(yù)測作用。

當(dāng)在數(shù)據(jù)中發(fā)現(xiàn)模式時(shí)，要應(yīng)用你的專業(yè)知識。當(dāng)中是相關(guān)性還是因果關(guān)系？回答這些問題是從數(shù)據(jù)中得出分析見解的關(guān)鍵。

誤區(qū)5 優(yōu)化錯(cuò)誤的指標(biāo)

開發(fā)機(jī)器學(xué)習(xí)模型遵循敏捷的生命周期。首先，你定義概念和關(guān)鍵指標(biāo)。然后，將結(jié)果原型化。接著，不斷進(jìn)行改進(jìn)直到指標(biāo)令你滿意。

在構(gòu)建機(jī)器學(xué)習(xí)模型時(shí)，記得要進(jìn)行手動錯(cuò)誤分析。雖然這個(gè)過程繁瑣且費(fèi)時(shí)費(fèi)力，但可以幫助你在迭代中有效地改進(jìn)模型。

結(jié)語

年輕的數(shù)據(jù)科學(xué)家能為公司提供巨大價(jià)值。他們通常是自學(xué)成才，因?yàn)楹苌儆写髮W(xué)設(shè)有數(shù)據(jù)科學(xué)學(xué)位。同時(shí)他們具有強(qiáng)烈的好奇心，并且對自己選擇的領(lǐng)域充滿熱情，并渴望了解更多的知識。對于剛?cè)胄械臄?shù)據(jù)科學(xué)家來說，一定要注意以上提到的誤區(qū)。

注意以下幾點(diǎn)：

· 練習(xí)數(shù)據(jù)管理

· 研究不同模型的優(yōu)缺點(diǎn)

· 讓模型盡可能簡單

· 檢查結(jié)論中的因果性和相關(guān)性

· 優(yōu)化最有希望的指標(biāo)