數(shù)據(jù)科學(xué)家新手快速上道謹(jǐn)防5個(gè)陷阱

在數(shù)據(jù)科學(xué)家入門階段，你不可避免會(huì)踩到一些雷區(qū)。這篇文章介紹了 Sébastien Foucaud 博士總結(jié)的新手?jǐn)?shù)據(jù)科學(xué)家最容易犯的 5 個(gè)錯(cuò)誤。博士已經(jīng)有 20 多年帶領(lǐng)學(xué)術(shù)界和應(yīng)用行業(yè)年輕數(shù)據(jù)科學(xué)家的經(jīng)驗(yàn)，可以幫讀者朋友少走些彎路，為你的實(shí)際工作提供一些指導(dǎo)和幫助。話不多說，上清單！
1. 熱衷于 Kaggle 競(jìng)賽

資料來源：kaggle.com

參加 Kaggle 競(jìng)賽可以鍛煉你的數(shù)據(jù)科學(xué)職業(yè)技能。如果你懂決策樹和神經(jīng)網(wǎng)絡(luò)那再好不過了。但實(shí)話告訴你吧，數(shù)據(jù)科學(xué)家的實(shí)際工作中用不著創(chuàng)建那么多的模型。請(qǐng)記住，一般情況下，你將花費(fèi) 80％的時(shí)間對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，只有剩下的 20％用于構(gòu)建模型。

數(shù)據(jù)科學(xué)家工作時(shí)間分布

參加 Kaggle 競(jìng)賽在很多方面都會(huì)對(duì)你很有幫助。但是，參加競(jìng)賽的時(shí)候，通常數(shù)據(jù)會(huì)被完美地清理干凈，所以你可以花很多時(shí)間去調(diào)整模型。而在現(xiàn)實(shí)工作中很少出現(xiàn)這種情況，你必須從不同格式和命名的不同來源收集數(shù)據(jù)。

不要害怕臟活累活，一定要好好練習(xí)數(shù)據(jù)預(yù)處理技能，因?yàn)樗鼘⒄紦?jù)你 80％的工作時(shí)間。比如爬取圖像或從 API 收集這些圖像數(shù)據(jù)；從 Genius 收集歌詞數(shù)據(jù)等。準(zhǔn)備好解決特定問題所需的數(shù)據(jù)，然后將其輸入你的筆記本并訓(xùn)練機(jī)器學(xué)習(xí)生命周期。精通數(shù)據(jù)預(yù)處理無疑將幫助你成為真正的數(shù)據(jù)科學(xué)家，并對(duì)你的公司產(chǎn)生直接影響。

2. 神經(jīng)網(wǎng)絡(luò)是“萬能金丹”

深度學(xué)習(xí)模型在計(jì)算機(jī)視覺或自然語言處理領(lǐng)域優(yōu)于其他機(jī)器學(xué)習(xí)模型。但他們也有明顯的缺點(diǎn)。

神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)十分依賴。如果樣本較少，通常用決策樹或邏輯回歸模型結(jié)果會(huì)更好。神經(jīng)網(wǎng)絡(luò)還是一個(gè)黑匣子。眾所周知，它們難以解釋和說明。如果產(chǎn)品所有者或管理者開始質(zhì)疑模型的輸出，你必須能夠解釋清楚模型的原理。這對(duì)于傳統(tǒng)模型來說更容易一點(diǎn)。

我們有很多很棒的統(tǒng)計(jì)學(xué)習(xí)模型。自學(xué)這些知識(shí)，了解它們的優(yōu)缺點(diǎn)，并根據(jù)用例的條件應(yīng)用這些模型。除非你在計(jì)算機(jī)視覺或自然語音識(shí)別專業(yè)領(lǐng)域工作，否則很有可能傳統(tǒng)機(jī)器學(xué)習(xí)算法才是最好用的模型。你很快就會(huì)發(fā)現(xiàn)，最簡單的模型，如 Logistic 回歸，才是最好用的模型。

來源： scikit-learn.org 算法備忘單

3. 機(jī)器學(xué)習(xí)是產(chǎn)品

機(jī)器學(xué)習(xí)在過去的十年中都被過度炒作，太多的創(chuàng)業(yè)公司吹噓機(jī)器學(xué)習(xí)能夠解決任何存在的問題。

來源：過去 5 年 Google 機(jī)器學(xué)習(xí)趨勢(shì)

機(jī)器學(xué)習(xí)本身不應(yīng)該是產(chǎn)品。機(jī)器學(xué)習(xí)是創(chuàng)建滿足客戶需求的產(chǎn)品的強(qiáng)有力的工具。在客戶接收精準(zhǔn)商品推薦方面，機(jī)器學(xué)習(xí)可以有所幫助。如果客戶需要準(zhǔn)確識(shí)別圖像中的對(duì)象，機(jī)器學(xué)習(xí)也有用。企業(yè)通過向用戶展示有價(jià)值的廣告而獲益，機(jī)器學(xué)習(xí)同樣可以提供幫助。

作為數(shù)據(jù)科學(xué)家，你所制定的項(xiàng)目需要以客戶的目標(biāo)為主要優(yōu)先事項(xiàng)。只有這樣，你才能評(píng)估機(jī)器學(xué)習(xí)是否會(huì)幫到客戶。

4. 混淆因果關(guān)系

大約 90％的數(shù)據(jù)是在過去幾年中涌現(xiàn)的。隨著大數(shù)據(jù)的出現(xiàn)，機(jī)器學(xué)習(xí)從業(yè)者能夠接觸到大量廣泛的數(shù)據(jù)。有了這么多要評(píng)估的數(shù)據(jù)，學(xué)習(xí)模型發(fā)現(xiàn)隨機(jī)相關(guān)性的概率隨之增加。

上面的圖片顯示了美國小姐的年齡以及由蒸汽、熱蒸氣和發(fā)熱物體導(dǎo)致的謀殺的總數(shù)?；谶@些數(shù)據(jù)，算法將學(xué)習(xí)到美國小姐的年齡與特定物體導(dǎo)致的謀殺數(shù)量之間會(huì)互相影響的關(guān)系模型。然而，兩個(gè)數(shù)據(jù)點(diǎn)實(shí)際上毫無關(guān)系，并且這兩個(gè)變量對(duì)彼此都絕對(duì)沒有任何可預(yù)測(cè)的影響。

在發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系時(shí)，將你的領(lǐng)域知識(shí)應(yīng)用進(jìn)去。這可能是相關(guān)性還是因果關(guān)系？回答這些問題是根據(jù)數(shù)據(jù)采取行動(dòng)的關(guān)鍵。

5. 優(yōu)化錯(cuò)誤的參數(shù)

開發(fā)機(jī)器學(xué)習(xí)模型有一個(gè)敏捷的生命周期。首先，你要定義你的想法和關(guān)鍵參數(shù)。其次，你需要?jiǎng)?chuàng)建一個(gè)結(jié)果的原型。第三，你不斷優(yōu)化參數(shù)，直到你對(duì)它感到滿意。

在構(gòu)建機(jī)器學(xué)習(xí)模型時(shí)，請(qǐng)記住要手動(dòng)進(jìn)行錯(cuò)誤分析。雖然這個(gè)過程乏味并耗力，但它會(huì)幫助你在接下來的迭代中有效地改進(jìn)模型。

要點(diǎn)總結(jié)

? 練習(xí)數(shù)據(jù)管理技能
? 研究不同模型的優(yōu)缺點(diǎn)
? 盡可能簡化模型
? 檢查你結(jié)論中的因果關(guān)系和相關(guān)性
? 優(yōu)化最有用的參數(shù)

年輕數(shù)據(jù)科學(xué)家為公司創(chuàng)造了巨大的價(jià)值。他們剛剛學(xué)完在線課程，可以立刻為公司提供幫助。他們很多人通常是自學(xué)成才，因?yàn)楹苌儆写髮W(xué)提供數(shù)據(jù)科學(xué)課程和學(xué)位，因此他們對(duì)此表現(xiàn)出巨大的決心和好奇心。他們對(duì)自己選擇的領(lǐng)域充滿熱情，并渴望了解更多信息。但是，在熱情滿滿的時(shí)候也不要盲目學(xué)習(xí)，謹(jǐn)防以上數(shù)據(jù)科學(xué)家新手會(huì)掉落的陷阱，會(huì)幫你少走很多彎路。