數(shù)據(jù)科學(xué)的十大常見(jiàn)誤區(qū) 你中槍了嗎?

對(duì)于數(shù)據(jù)科學(xué)領(lǐng)域的新手來(lái)說(shuō)，以下的十大常見(jiàn)誤區(qū)每一條都是血與淚的教訓(xùn)。

對(duì)于數(shù)據(jù)科學(xué)領(lǐng)域的初學(xué)者和職場(chǎng)小白來(lái)說(shuō)，理想往往很美好，現(xiàn)實(shí)卻很骨感。理想的數(shù)據(jù)科學(xué)世界與現(xiàn)實(shí)中遇到的問(wèn)題之間往往存在著鴻溝。

許多數(shù)據(jù)分析課程都旨在教授學(xué)生編程、統(tǒng)計(jì)學(xué)、數(shù)據(jù)整理等方面的基礎(chǔ)知識(shí)。然而卻極少涉及在實(shí)際的數(shù)據(jù)科學(xué)工作中會(huì)遇到的挑戰(zhàn)。

數(shù)據(jù)分析課程提供了數(shù)據(jù)和工具，并要求你得到預(yù)期的結(jié)果。而在實(shí)際工作中可能不會(huì)給你提供數(shù)據(jù)，也不會(huì)提供適當(dāng)?shù)墓ぞ?，甚至不知道預(yù)期結(jié)果是什么。此外，公司通常有嚴(yán)格的截止日期，而且提出分析要求的人對(duì)統(tǒng)計(jì)的理解也是有限的。

為了讓你掌握完成數(shù)據(jù)分析任務(wù)的技能，大學(xué)的數(shù)據(jù)科學(xué)課程有意降低了當(dāng)中的障礙，從而讓你專(zhuān)注于核心的數(shù)據(jù)科學(xué)部分。隨著課程的內(nèi)容不斷豐富，介紹了統(tǒng)計(jì)分布，假設(shè)檢驗(yàn)，分類(lèi)器和各種工具，比如R，SPSS，Python和RapidMiner。最后，在掌握了基本知識(shí)之后，你會(huì)得到一個(gè)非常干凈的數(shù)據(jù)集，并被要求對(duì)隨機(jī)森林和其他類(lèi)型的分類(lèi)器進(jìn)行對(duì)比。

當(dāng)然，這種類(lèi)型的學(xué)習(xí)能夠?yàn)槟阋院蟮穆殬I(yè)生涯打下基礎(chǔ)，和任何書(shū)本知識(shí)的作用一樣。但是這些理想化的項(xiàng)目與現(xiàn)實(shí)的工作相比，需要經(jīng)過(guò)一個(gè)漫長(zhǎng)而痛苦，并且需要不斷調(diào)整的過(guò)程。

對(duì)于數(shù)據(jù)科學(xué)領(lǐng)域的新手來(lái)說(shuō)，以下數(shù)據(jù)科學(xué)的十大常見(jiàn)誤區(qū)每一條都是血與淚的教訓(xùn)。

1.數(shù)據(jù)是存在的

首先對(duì)特定的分析任務(wù)，假設(shè)存在可用的數(shù)據(jù)是這項(xiàng)工作的前提。似乎這是最基本的假設(shè)，但是很多情況下會(huì)發(fā)現(xiàn)，被要求分析的某些數(shù)據(jù)集并不存在，無(wú)法訪問(wèn)，缺少通常的標(biāo)識(shí)符等等。

在開(kāi)始任何任務(wù)之前第一個(gè)問(wèn)題就是，基礎(chǔ)數(shù)據(jù)是否存在。如果盲目地開(kāi)始，并接受截止日期是很不明智的。最糟糕的情況下，你會(huì)孤立無(wú)援，手上沒(méi)有任何數(shù)據(jù)，并被要求完成不可能實(shí)現(xiàn)的分析任務(wù)。

在這種情況下，你恨不得用任何與數(shù)據(jù)有關(guān)的東西來(lái)交差，但這將不可避免地導(dǎo)致錯(cuò)誤的結(jié)論和工作上的指責(zé)。如果數(shù)據(jù)是完全缺失的，請(qǐng)?zhí)崆罢f(shuō)出來(lái)。如果數(shù)據(jù)不完整，也請(qǐng)?zhí)岢鰜?lái)。但不要把這個(gè)當(dāng)做萬(wàn)能的借口來(lái)罷工，畢竟不可能有人幫你把數(shù)據(jù)集整理好并交到你的手上。

2.數(shù)據(jù)是可訪問(wèn)的

很好，你已經(jīng)確認(rèn)所需要的數(shù)據(jù)集實(shí)際存在于某個(gè)地方，而且據(jù)說(shuō)基本上是完整的?，F(xiàn)在，下一個(gè)障礙是這個(gè)數(shù)據(jù)是否能在一定的時(shí)間內(nèi)提供給你。由于法律，合同或財(cái)務(wù)等方面的原因，提供免費(fèi)而簡(jiǎn)單的訪問(wèn)渠道并不符合數(shù)據(jù)所有者的最佳利益。即使在個(gè)別公司內(nèi)部，獲得數(shù)據(jù)也不是那么簡(jiǎn)單的，可能會(huì)遭到拒絕。一旦涉及到資金問(wèn)題，特別是在數(shù)據(jù)管道中有外部參與者的情況下，有時(shí)你會(huì)發(fā)現(xiàn)一行SQL查詢都會(huì)被當(dāng)作一個(gè)大項(xiàng)目，同時(shí)也是一筆巨大的賬單。

因此，每個(gè)精明的數(shù)據(jù)科學(xué)家的目標(biāo)都是成為自己數(shù)據(jù)管道的共同管理者，從而在獲得數(shù)據(jù)方面會(huì)輕松一些。

3.數(shù)據(jù)是一致的

出于明智的考慮，最好找到一個(gè)一致的數(shù)據(jù)集，結(jié)構(gòu)良好，前后一致并且格式定義明確。發(fā)現(xiàn)一個(gè)數(shù)據(jù)文件突然從19列變成20列，或者相同數(shù)據(jù)不同版本中列的順序發(fā)生變化，這別提有多鬧心了。

就像所有不受歡迎的意外一樣，一些錯(cuò)誤通常會(huì)在最后一刻出現(xiàn)。當(dāng)你在R Studio中調(diào)用read.csv（）函數(shù)來(lái)查看數(shù)據(jù)時(shí)，當(dāng)看到即使數(shù)據(jù)看起來(lái)是一致的，當(dāng)看到討厭的UTF-8字符，或者一個(gè)文件中看到日期格式從 YYYYMMDD變成MM-DD-YY之類(lèi)的，此刻內(nèi)心一定是崩潰的。

要記住，尤其是當(dāng)依賴傳統(tǒng)系統(tǒng)的數(shù)據(jù)管道時(shí)，除非數(shù)據(jù)源是由數(shù)據(jù)科學(xué)家或數(shù)據(jù)工程師設(shè)計(jì)的，否則它可能會(huì)根據(jù)不同的操作出現(xiàn)各種錯(cuò)誤。

4.數(shù)據(jù)是相關(guān)的

初露頭角的數(shù)據(jù)科學(xué)家可能會(huì)發(fā)現(xiàn)，他們期待已久的數(shù)據(jù)集既不是最新的，也不是分析所需的級(jí)別。

Google Analytics可以說(shuō)是分析Web用戶行為中使用最廣泛的來(lái)源，但有進(jìn)行詳細(xì)分析時(shí)存在一些問(wèn)題。首先，它很難識(shí)別Web用戶。其次，令人不安的是GA提供的總頁(yè)面瀏覽量是“估算值”，而不是實(shí)際的統(tǒng)計(jì)量。因此，由于不相關(guān)的數(shù)據(jù)，一些合理的要求變得難上加難。例如，當(dāng)要求用戶登錄某網(wǎng)址的預(yù)測(cè)留存率時(shí)，GA數(shù)據(jù)幾乎沒(méi)有用。

5.數(shù)據(jù)是直觀易懂的

很多時(shí)候我拿到數(shù)據(jù)集會(huì)發(fā)現(xiàn)，這個(gè)數(shù)據(jù)集就像古代文字一樣很難破譯。領(lǐng)域特定的代碼，截?cái)嗟奈谋?a href='/map/ziduan/' style='color:#000;font-size:inherit;'>字段，缺少的查詢表，缺少或命名錯(cuò)誤的標(biāo)頭字段都會(huì)導(dǎo)致數(shù)據(jù)的難以理解。

“垃圾進(jìn)，垃圾出”(garbage in，garbage out)的做法往往會(huì)導(dǎo)致難以理解的數(shù)據(jù)在輸出結(jié)果中被忽略。而最壞的情況下，當(dāng)你在尋找所謂的HEADER_1文件時(shí)，會(huì)帶來(lái)一系列的不必要問(wèn)題。除非在分析中有對(duì)數(shù)據(jù)的詳細(xì)描述，否則你可能不知道測(cè)量的究竟為何物。

6.數(shù)據(jù)可以被處理

有一個(gè)600MB的CSV文件，你需要在一臺(tái)老舊的低配筆記本電腦上，使用Excel VLOOKUP函數(shù)與另一個(gè)600MB的CSV文件進(jìn)行對(duì)比。對(duì)于數(shù)據(jù)科學(xué)家新手，尤其是那些在大型企業(yè)工作的來(lái)說(shuō)，會(huì)驚訝的發(fā)現(xiàn)，數(shù)據(jù)科學(xué)工具被認(rèn)為與IT領(lǐng)域的其他軟件應(yīng)用程序沒(méi)有區(qū)別。

開(kāi)源工具有時(shí)不受歡迎，沒(méi)有安裝權(quán)限，任何工具必須符合一些不為所知的IT安全認(rèn)證。IT工作者有時(shí)需要為很完善的軟件包提供詳細(xì)的安全審計(jì)。還有一些功能完善、先進(jìn)的軟件應(yīng)用因?yàn)楣?yīng)商“太便宜”或者“沒(méi)有指定的某某供應(yīng)商”，被IT行業(yè)的老板拒絕。

除了處理大數(shù)據(jù)集的簡(jiǎn)單技術(shù)問(wèn)題之外，IT行業(yè)存在一些規(guī)則，讓你獲得需要的工具來(lái)處理手頭的任務(wù)。有人被迫使用Excel來(lái)執(zhí)行V-Lookups，用來(lái)連接兩個(gè)數(shù)據(jù)集，因?yàn)闆](méi)有人提供更好的工具。這種短期的IT限制會(huì)導(dǎo)致，處理單個(gè)文件就需要好幾個(gè)小時(shí)。然而若給出一些代碼和并行操作，這只需幾分鐘就可以自動(dòng)完成。

7.分析可以輕松地重新執(zhí)行

“你還記得三個(gè)月前幫我做的分析嗎？這是最新的市場(chǎng)數(shù)據(jù)，你能幫我重新運(yùn)行嗎？謝了！”

這類(lèi)似于有人給你一塊拼圖，并要求你在很短的時(shí)間內(nèi)重新拼好，因?yàn)槟阒耙呀?jīng)拼過(guò)了。或者類(lèi)似想住到危房里，因?yàn)樵谶^(guò)去這是很宜居的。

除非你明確地設(shè)置了分析可以重新執(zhí)行，并且保持?jǐn)?shù)據(jù)源是當(dāng)前的狀態(tài)，否則后續(xù)更新和重新導(dǎo)入內(nèi)容去獲得更新的分析是萬(wàn)分痛苦的。這還沒(méi)考慮到使用的數(shù)據(jù)是否是靜態(tài)的，或者數(shù)據(jù)庫(kù)模式是否改變。

因此，如果你被要求執(zhí)行一個(gè)聽(tīng)起來(lái)很大型的分析任務(wù)工作，設(shè)計(jì)一下bugger，從而能夠很容易地重新運(yùn)行，這樣能夠盡可能減少自己的工作量。

8.不需要加密

你已經(jīng)完成了分析，編寫(xiě)好了報(bào)告和幻燈片，現(xiàn)在需要將數(shù)據(jù)發(fā)送給其他人審查。接著將所有客戶資料的數(shù)據(jù)以純文本格式粘貼到電子郵件中，那么會(huì)出現(xiàn)什么問(wèn)題呢？如果郵件發(fā)送地址填錯(cuò)的話，很可能發(fā)錯(cuò)人，最慘地是把公司的詳細(xì)的財(cái)務(wù)分析錯(cuò)誤地發(fā)給了競(jìng)爭(zhēng)對(duì)手！

對(duì)發(fā)送的任何數(shù)據(jù)加密是有道理的。安全是第一考慮要素，做好善后工作是第二個(gè)原因，除此之外還有很多其他原因。

在將任何東西發(fā)送給任何人之前，首先就需要對(duì)訪問(wèn)原始數(shù)據(jù)和分析結(jié)果進(jìn)行一定程度的加密。如果你無(wú)法安裝某些GPG客戶端（因?yàn)檫@會(huì)違反安全條款），那么必須通過(guò)加密的文件格式進(jìn)行加密，比如受密碼保護(hù)的Excel或加密的zip。

9.分析輸出很容易分享和理解

面對(duì)現(xiàn)實(shí)吧，大多數(shù)看到你分析結(jié)果的人幾乎沒(méi)有任何分析基礎(chǔ)。他們可能會(huì)不懂裝懂，要求你在分析中加上更多的功能來(lái)，聲稱(chēng)在使用之前需要被數(shù)學(xué)驗(yàn)證過(guò)。有些人只尋找某些特定p值，有些人則僅憑直覺(jué)，結(jié)果是你的分析被各種質(zhì)疑。

因此，你需要將結(jié)果轉(zhuǎn)化為更容易被他人理解。

10.你要找的答案就在那里

有點(diǎn)像尋找復(fù)活節(jié)彩蛋，即暗示任何數(shù)據(jù)科學(xué)項(xiàng)目的預(yù)期目標(biāo)都是可以實(shí)現(xiàn)的，只要給出一定時(shí)間和一些工具。然而，沒(méi)有好心人會(huì)幫你在數(shù)據(jù)中加料，從而得出有用的結(jié)論。

想知道為什么網(wǎng)站的點(diǎn)擊率在這個(gè)月下降了？想知道為什么清楚顧客更喜歡產(chǎn)品A而不是產(chǎn)品B？這些分析需求中預(yù)先帶有預(yù)期結(jié)果，這往往不利于正確的科學(xué)研究。