數(shù)據(jù)科學(xué)的十大常見誤區(qū) 你中槍了嗎?

對于數(shù)據(jù)科學(xué)領(lǐng)域的新手來說，以下的十大常見誤區(qū)每一條都是血與淚的教訓(xùn)。

對于數(shù)據(jù)科學(xué)領(lǐng)域的初學(xué)者和職場小白來說，理想往往很美好，現(xiàn)實(shí)卻很骨感。理想的數(shù)據(jù)科學(xué)世界與現(xiàn)實(shí)中遇到的問題之間往往存在著鴻溝。

許多數(shù)據(jù)分析課程都旨在教授學(xué)生編程、統(tǒng)計(jì)學(xué)、數(shù)據(jù)整理等方面的基礎(chǔ)知識。然而卻極少涉及在實(shí)際的數(shù)據(jù)科學(xué)工作中會遇到的挑戰(zhàn)。

數(shù)據(jù)分析課程提供了數(shù)據(jù)和工具，并要求你得到預(yù)期的結(jié)果。而在實(shí)際工作中可能不會給你提供數(shù)據(jù)，也不會提供適當(dāng)?shù)墓ぞ撸踔敛恢李A(yù)期結(jié)果是什么。此外，公司通常有嚴(yán)格的截止日期，而且提出分析要求的人對統(tǒng)計(jì)的理解也是有限的。

為了讓你掌握完成數(shù)據(jù)分析任務(wù)的技能，大學(xué)的數(shù)據(jù)科學(xué)課程有意降低了當(dāng)中的障礙，從而讓你專注于核心的數(shù)據(jù)科學(xué)部分。隨著課程的內(nèi)容不斷豐富，介紹了統(tǒng)計(jì)分布，假設(shè)檢驗(yàn)，分類器和各種工具，比如R，SPSS，Python和RapidMiner。最后，在掌握了基本知識之后，你會得到一個非常干凈的數(shù)據(jù)集，并被要求對隨機(jī)森林和其他類型的分類器進(jìn)行對比。

當(dāng)然，這種類型的學(xué)習(xí)能夠?yàn)槟阋院蟮穆殬I(yè)生涯打下基礎(chǔ)，和任何書本知識的作用一樣。但是這些理想化的項(xiàng)目與現(xiàn)實(shí)的工作相比，需要經(jīng)過一個漫長而痛苦，并且需要不斷調(diào)整的過程。

對于數(shù)據(jù)科學(xué)領(lǐng)域的新手來說，以下數(shù)據(jù)科學(xué)的十大常見誤區(qū)每一條都是血與淚的教訓(xùn)。

1.數(shù)據(jù)是存在的

首先對特定的分析任務(wù)，假設(shè)存在可用的數(shù)據(jù)是這項(xiàng)工作的前提。似乎這是最基本的假設(shè)，但是很多情況下會發(fā)現(xiàn)，被要求分析的某些數(shù)據(jù)集并不存在，無法訪問，缺少通常的標(biāo)識符等等。

在開始任何任務(wù)之前第一個問題就是，基礎(chǔ)數(shù)據(jù)是否存在。如果盲目地開始，并接受截止日期是很不明智的。最糟糕的情況下，你會孤立無援，手上沒有任何數(shù)據(jù)，并被要求完成不可能實(shí)現(xiàn)的分析任務(wù)。

在這種情況下，你恨不得用任何與數(shù)據(jù)有關(guān)的東西來交差，但這將不可避免地導(dǎo)致錯誤的結(jié)論和工作上的指責(zé)。如果數(shù)據(jù)是完全缺失的，請?zhí)崆罢f出來。如果數(shù)據(jù)不完整，也請?zhí)岢鰜?。但不要把這個當(dāng)做萬能的借口來罷工，畢竟不可能有人幫你把數(shù)據(jù)集整理好并交到你的手上。

2.數(shù)據(jù)是可訪問的

很好，你已經(jīng)確認(rèn)所需要的數(shù)據(jù)集實(shí)際存在于某個地方，而且據(jù)說基本上是完整的?，F(xiàn)在，下一個障礙是這個數(shù)據(jù)是否能在一定的時間內(nèi)提供給你。由于法律，合同或財務(wù)等方面的原因，提供免費(fèi)而簡單的訪問渠道并不符合數(shù)據(jù)所有者的最佳利益。即使在個別公司內(nèi)部，獲得數(shù)據(jù)也不是那么簡單的，可能會遭到拒絕。一旦涉及到資金問題，特別是在數(shù)據(jù)管道中有外部參與者的情況下，有時你會發(fā)現(xiàn)一行SQL查詢都會被當(dāng)作一個大項(xiàng)目，同時也是一筆巨大的賬單。

因此，每個精明的數(shù)據(jù)科學(xué)家的目標(biāo)都是成為自己數(shù)據(jù)管道的共同管理者，從而在獲得數(shù)據(jù)方面會輕松一些。

3.數(shù)據(jù)是一致的

出于明智的考慮，最好找到一個一致的數(shù)據(jù)集，結(jié)構(gòu)良好，前后一致并且格式定義明確。發(fā)現(xiàn)一個數(shù)據(jù)文件突然從19列變成20列，或者相同數(shù)據(jù)不同版本中列的順序發(fā)生變化，這別提有多鬧心了。

就像所有不受歡迎的意外一樣，一些錯誤通常會在最后一刻出現(xiàn)。當(dāng)你在R Studio中調(diào)用read.csv（）函數(shù)來查看數(shù)據(jù)時，當(dāng)看到即使數(shù)據(jù)看起來是一致的，當(dāng)看到討厭的UTF-8字符，或者一個文件中看到日期格式從 YYYYMMDD變成MM-DD-YY之類的，此刻內(nèi)心一定是崩潰的。

要記住，尤其是當(dāng)依賴傳統(tǒng)系統(tǒng)的數(shù)據(jù)管道時，除非數(shù)據(jù)源是由數(shù)據(jù)科學(xué)家或數(shù)據(jù)工程師設(shè)計(jì)的，否則它可能會根據(jù)不同的操作出現(xiàn)各種錯誤。

4.數(shù)據(jù)是相關(guān)的

初露頭角的數(shù)據(jù)科學(xué)家可能會發(fā)現(xiàn)，他們期待已久的數(shù)據(jù)集既不是最新的，也不是分析所需的級別。

Google Analytics可以說是分析Web用戶行為中使用最廣泛的來源，但有進(jìn)行詳細(xì)分析時存在一些問題。首先，它很難識別Web用戶。其次，令人不安的是GA提供的總頁面瀏覽量是“估算值”，而不是實(shí)際的統(tǒng)計(jì)量。因此，由于不相關(guān)的數(shù)據(jù)，一些合理的要求變得難上加難。例如，當(dāng)要求用戶登錄某網(wǎng)址的預(yù)測留存率時，GA數(shù)據(jù)幾乎沒有用。

5.數(shù)據(jù)是直觀易懂的

很多時候我拿到數(shù)據(jù)集會發(fā)現(xiàn)，這個數(shù)據(jù)集就像古代文字一樣很難破譯。領(lǐng)域特定的代碼，截斷的文本字段，缺少的查詢表，缺少或命名錯誤的標(biāo)頭字段都會導(dǎo)致數(shù)據(jù)的難以理解。

“垃圾進(jìn)，垃圾出”(garbage in，garbage out)的做法往往會導(dǎo)致難以理解的數(shù)據(jù)在輸出結(jié)果中被忽略。而最壞的情況下，當(dāng)你在尋找所謂的HEADER_1文件時，會帶來一系列的不必要問題。除非在分析中有對數(shù)據(jù)的詳細(xì)描述，否則你可能不知道測量的究竟為何物。

6.數(shù)據(jù)可以被處理

有一個600MB的CSV文件，你需要在一臺老舊的低配筆記本電腦上，使用Excel VLOOKUP函數(shù)與另一個600MB的CSV文件進(jìn)行對比。對于數(shù)據(jù)科學(xué)家新手，尤其是那些在大型企業(yè)工作的來說，會驚訝的發(fā)現(xiàn)，數(shù)據(jù)科學(xué)工具被認(rèn)為與IT領(lǐng)域的其他軟件應(yīng)用程序沒有區(qū)別。

開源工具有時不受歡迎，沒有安裝權(quán)限，任何工具必須符合一些不為所知的IT安全認(rèn)證。IT工作者有時需要為很完善的軟件包提供詳細(xì)的安全審計(jì)。還有一些功能完善、先進(jìn)的軟件應(yīng)用因?yàn)楣?yīng)商“太便宜”或者“沒有指定的某某供應(yīng)商”，被IT行業(yè)的老板拒絕。

除了處理大數(shù)據(jù)集的簡單技術(shù)問題之外，IT行業(yè)存在一些規(guī)則，讓你獲得需要的工具來處理手頭的任務(wù)。有人被迫使用Excel來執(zhí)行V-Lookups，用來連接兩個數(shù)據(jù)集，因?yàn)闆]有人提供更好的工具。這種短期的IT限制會導(dǎo)致，處理單個文件就需要好幾個小時。然而若給出一些代碼和并行操作，這只需幾分鐘就可以自動完成。

7.分析可以輕松地重新執(zhí)行

“你還記得三個月前幫我做的分析嗎？這是最新的市場數(shù)據(jù)，你能幫我重新運(yùn)行嗎？謝了！”

這類似于有人給你一塊拼圖，并要求你在很短的時間內(nèi)重新拼好，因?yàn)槟阒耙呀?jīng)拼過了?；蛘哳愃葡胱〉轿７坷?，因?yàn)樵谶^去這是很宜居的。

除非你明確地設(shè)置了分析可以重新執(zhí)行，并且保持?jǐn)?shù)據(jù)源是當(dāng)前的狀態(tài)，否則后續(xù)更新和重新導(dǎo)入內(nèi)容去獲得更新的分析是萬分痛苦的。這還沒考慮到使用的數(shù)據(jù)是否是靜態(tài)的，或者數(shù)據(jù)庫模式是否改變。

因此，如果你被要求執(zhí)行一個聽起來很大型的分析任務(wù)工作，設(shè)計(jì)一下bugger，從而能夠很容易地重新運(yùn)行，這樣能夠盡可能減少自己的工作量。

8.不需要加密

你已經(jīng)完成了分析，編寫好了報告和幻燈片，現(xiàn)在需要將數(shù)據(jù)發(fā)送給其他人審查。接著將所有客戶資料的數(shù)據(jù)以純文本格式粘貼到電子郵件中，那么會出現(xiàn)什么問題呢？如果郵件發(fā)送地址填錯的話，很可能發(fā)錯人，最慘地是把公司的詳細(xì)的財務(wù)分析錯誤地發(fā)給了競爭對手！

對發(fā)送的任何數(shù)據(jù)加密是有道理的。安全是第一考慮要素，做好善后工作是第二個原因，除此之外還有很多其他原因。

在將任何東西發(fā)送給任何人之前，首先就需要對訪問原始數(shù)據(jù)和分析結(jié)果進(jìn)行一定程度的加密。如果你無法安裝某些GPG客戶端（因?yàn)檫@會違反安全條款），那么必須通過加密的文件格式進(jìn)行加密，比如受密碼保護(hù)的Excel或加密的zip。

9.分析輸出很容易分享和理解

面對現(xiàn)實(shí)吧，大多數(shù)看到你分析結(jié)果的人幾乎沒有任何分析基礎(chǔ)。他們可能會不懂裝懂，要求你在分析中加上更多的功能來，聲稱在使用之前需要被數(shù)學(xué)驗(yàn)證過。有些人只尋找某些特定p值，有些人則僅憑直覺，結(jié)果是你的分析被各種質(zhì)疑。

因此，你需要將結(jié)果轉(zhuǎn)化為更容易被他人理解。

10.你要找的答案就在那里

有點(diǎn)像尋找復(fù)活節(jié)彩蛋，即暗示任何數(shù)據(jù)科學(xué)項(xiàng)目的預(yù)期目標(biāo)都是可以實(shí)現(xiàn)的，只要給出一定時間和一些工具。然而，沒有好心人會幫你在數(shù)據(jù)中加料，從而得出有用的結(jié)論。

想知道為什么網(wǎng)站的點(diǎn)擊率在這個月下降了？想知道為什么清楚顧客更喜歡產(chǎn)品A而不是產(chǎn)品B？這些分析需求中預(yù)先帶有預(yù)期結(jié)果，這往往不利于正確的科學(xué)研究。