作為一個(gè)在數(shù)據(jù)科學(xué)領(lǐng)域工作了十多年的人，看到人們預(yù)言該領(lǐng)域?qū)⒃?0年內(nèi)如何滅絕是令人沮喪的。給出的典型原因是emergingAutoMLtools將如何消除從業(yè)者開發(fā)自己算法的需求。

我發(fā)現(xiàn)這樣的觀點(diǎn)特別令人沮喪，因?yàn)樗柚沽顺鯇W(xué)者足夠認(rèn)真地對(duì)待數(shù)據(jù)科學(xué)，從而在它方面出類拔萃。坦率地說，對(duì)于一個(gè)需求只會(huì)進(jìn)一步增加的領(lǐng)域，看到這樣的預(yù)言是對(duì)數(shù)據(jù)科學(xué)界的傷害！

為什么任何一個(gè)理智的人會(huì)投入有限的時(shí)間和精力去學(xué)習(xí)即將滅絕的東西？

給你點(diǎn)東西。如果有一個(gè)領(lǐng)域你最有可能真正退休，那就是數(shù)據(jù)科學(xué)。我將給出數(shù)據(jù)科學(xué)不會(huì)很快滅絕的四個(gè)關(guān)鍵原因。然后我也會(huì)給你我的建議，以確保你在10年后保持在數(shù)據(jù)科學(xué)的正確一邊。

數(shù)據(jù)科學(xué)不會(huì)滅絕，但如果你不跟上它的步伐，你的技能可能會(huì)滅絕。我們潛水吧。

1。數(shù)據(jù)科學(xué)已經(jīng)存在了幾個(gè)世紀(jì)

讓我們從科學(xué)開始。我不必讓你相信科學(xué)已經(jīng)存在了幾個(gè)世紀(jì)。科學(xué)的本質(zhì)是從數(shù)據(jù)中學(xué)習(xí)。我們觀察世界上的事物（收集數(shù)據(jù)），然后我們創(chuàng)建一個(gè)模型（傳統(tǒng)上稱為理論），可以總結(jié)和解釋這些觀察。我們創(chuàng)建這些模型來幫助我們解決問題。

數(shù)據(jù)科學(xué)的本質(zhì)也正是如此。收集數(shù)據(jù)，通過創(chuàng)建模型從中學(xué)習(xí)，然后使用那些模型解決問題。多年來，不同的學(xué)科已經(jīng)開發(fā)和完善了幾個(gè)工具來實(shí)現(xiàn)這一點(diǎn)。根據(jù)該領(lǐng)域的重點(diǎn)，使用不同的名稱來描述這組工具和過程。術(shù)語是Data Science。

然而，以前的時(shí)代與現(xiàn)在的不同之處在于數(shù)據(jù)量和我們可用的計(jì)算能力。當(dāng)我們只有幾個(gè)數(shù)據(jù)點(diǎn)和幾個(gè)維度時(shí)，手工將它們放在紙上并擬合一條直線（回歸）或識(shí)別模式是可能的。現(xiàn)在，我們可以廉價(jià)地從多個(gè)來源（多個(gè)特性）收集大量數(shù)據(jù)。當(dāng)你有大量的數(shù)據(jù)點(diǎn)和維度時(shí)，擬合一條直線（或集群）是不可能的，也是不可行的。

如果收集數(shù)據(jù)并開發(fā)模型來解釋它的做法已經(jīng)存在了幾個(gè)世紀(jì)，為什么你認(rèn)為它會(huì)在未來10年內(nèi)滅絕？

如果有什么不同的話，我們將收集更多種類的數(shù)據(jù)，我們將需要?jiǎng)?chuàng)造性地將它們結(jié)合起來解決問題的新方法。

2。開發(fā)模型只是實(shí)際項(xiàng)目的一小部分

在“自動(dòng)機(jī)器學(xué)習(xí)”的保護(hù)傘下的幾種工具正在獲得吸引力，其中一些可能會(huì)導(dǎo)致數(shù)據(jù)科學(xué)的民主化。但是，大多數(shù)這樣的工具將有助于加快對(duì)cleaned數(shù)據(jù)輸入的不同算法的測試和實(shí)現(xiàn)。

但是向模型中獲取干凈數(shù)據(jù)的能力一點(diǎn)也不簡單。

事實(shí)上，一些與數(shù)據(jù)科學(xué)相關(guān)的調(diào)查已經(jīng)指出，任何數(shù)據(jù)科學(xué)家在收集和清理數(shù)據(jù)上花費(fèi)的時(shí)間都是不成比例的。例如，Anaconda的年度調(diào)查（數(shù)據(jù)科學(xué)家使用的領(lǐng)先分布之一）指出，數(shù)據(jù)科學(xué)家將66%的時(shí)間用于數(shù)據(jù)加載、清理和可視化，只有23%的時(shí)間用于模型訓(xùn)練、選擇和評(píng)分。我在這個(gè)領(lǐng)域工作了十多年的個(gè)人經(jīng)歷也是類似的。

學(xué)習(xí)算法如何在底層工作并理解它們的細(xì)微差別一點(diǎn)也不簡單，許多在線課程花時(shí)間解釋這些都是正確的。然而，這種對(duì)算法的關(guān)注只會(huì)造成一種錯(cuò)誤的錯(cuò)覺，好像數(shù)據(jù)科學(xué)就是關(guān)于模型的。許多有經(jīng)驗(yàn)的實(shí)踐者開始看到以數(shù)據(jù)清理為代價(jià)對(duì)模型的過度強(qiáng)調(diào)。Andrew Ng（該領(lǐng)域的領(lǐng)先專家）一直鼓勵(lì)數(shù)據(jù)科學(xué)界轉(zhuǎn)向以數(shù)據(jù)為中心的方法，而不是我們大多數(shù)人目前在數(shù)據(jù)科學(xué)項(xiàng)目中采用的以模型為中心的方法。在他的《收入通訊》中，他說：

這是一個(gè)常見的笑話，80%的機(jī)器學(xué)習(xí)實(shí)際上是數(shù)據(jù)清理，好像這是一個(gè)較小的任務(wù)。我的觀點(diǎn)是，如果我們80%的工作是數(shù)據(jù)準(zhǔn)備，那么確保數(shù)據(jù)質(zhì)量就是機(jī)器學(xué)習(xí)團(tuán)隊(duì)的重要工作。

像Kaggle這樣的網(wǎng)站進(jìn)一步加劇了這種情況，在這些網(wǎng)站上，參與者可以獲得干凈的數(shù)據(jù)，任務(wù)僅限于開發(fā)不同的模型，目的是最大化預(yù)先確定的性能指標(biāo)。（Kaggle真棒！）

一個(gè)真實(shí)的項(xiàng)目處理幾個(gè)問題，而這些問題并不是從仔細(xì)清理的數(shù)據(jù)或定義的問題開始的。在大多數(shù)項(xiàng)目中，我們先驗(yàn)地不一定知道哪些特性是相關(guān)的，收集數(shù)據(jù)的頻率如何，以及需要回答的正確問題是什么。歡迎來到現(xiàn)實(shí)世界！

新的自動(dòng)化工具的出現(xiàn)將繼續(xù)使不同模型的實(shí)現(xiàn)變得容易和可訪問。然而，它無法對(duì)現(xiàn)實(shí)世界項(xiàng)目中更具挑戰(zhàn)性的問題進(jìn)行分類。許多這樣的問題依賴于上下文，自動(dòng)化的時(shí)機(jī)還不成熟。

3.現(xiàn)實(shí)世界的數(shù)據(jù)科學(xué)項(xiàng)目需要迭代開發(fā)

也許是受到關(guān)于數(shù)據(jù)科學(xué)的炒作的驅(qū)使，我遇到過這樣的情況，人們接近我，告訴我他們有數(shù)據(jù)，并希望我應(yīng)用“數(shù)據(jù)科學(xué)”來解決他們的問題（這可能也不一定是明確定義的）。我敢打賭，許多不是數(shù)據(jù)科學(xué)家的人認(rèn)為它是某種魔力（一個(gè)可以在一邊輸入數(shù)據(jù)，另一端獲得輸出的工具）。

恰恰相反，真正的項(xiàng)目有需要平衡的權(quán)衡。這需要一種迭代方法，首先部署初始模型，然后在收集更多數(shù)據(jù)以進(jìn)一步改進(jìn)時(shí)監(jiān)視性能。

任何部署的模型只有在按預(yù)期使用時(shí)才有用。這是不能保證的。需要有一個(gè)熟練的人員元素，可以繼續(xù)監(jiān)視和診斷已部署模型的使用，并提出適當(dāng)?shù)慕鉀Q方案來改進(jìn)它。然而，監(jiān)測部分不一定要自動(dòng)化，甚至不一定要定量。可能會(huì)發(fā)生你無法預(yù)料的非常意外和奇怪的事情。

倫敦大都會(huì)面部識(shí)別系統(tǒng)

不久前，倫敦大都會(huì)警察局測試了一個(gè)實(shí)時(shí)面部識(shí)別系統(tǒng)。該系統(tǒng)有攝像頭，可以掃描購物中心和公共廣場上的人，提取各種面部特征，然后將這些特征與觀察名單中的嫌疑人進(jìn)行比較。然后，該系統(tǒng)將顯示任何匹配，供官員審查并決定是否需要阻止任何嫌疑人（在某些情況下，逮捕）。關(guān)于該系統(tǒng)運(yùn)作的一項(xiàng)獨(dú)立聲明提出了重大關(guān)切，并強(qiáng)調(diào)了幾個(gè)限制。在經(jīng)過6次審判確定的42名嫌疑人中，只有8名（僅19%）證明是正確的匹配。

有許多數(shù)據(jù)科學(xué)算法被歪曲的例子，使它們不夠充分，需要進(jìn)一步發(fā)展。就目前的情況來看，我們甚至還沒有處于模型被廣泛部署和使用的階段。因此，我們甚至沒有足夠的模型漂移或出錯(cuò)的用例來進(jìn)一步自動(dòng)化此類工具。到目前為止，我們所擁有的最好的方法是在模型部署時(shí)識(shí)別問題（例如，銀行、醫(yī)療保健、警務(wù)）。

這是最先進(jìn)的。我們開發(fā)和部署模型，但結(jié)果證明它們是不夠的，不適合目的。我們正處在一個(gè)階段，我們只看到使用不合適的模型的早期后果。有沒有自動(dòng)化的解決方案來處理這個(gè)問題？一個(gè)都沒有！

即使是手動(dòng)，我們也在受到挑戰(zhàn)！

4。數(shù)據(jù)科學(xué)是科學(xué)是有原因的

這是我最喜歡的一點(diǎn)。一段時(shí)間以來，平凡的、重復(fù)的、非認(rèn)知要求的任務(wù)一直處于自動(dòng)化的風(fēng)險(xiǎn)之中。然而，這種干擾只會(huì)導(dǎo)致更多需要人類創(chuàng)造力和解決問題的工作。我們的記憶很糟糕，但我們，人類，在識(shí)別模式以解決問題時(shí)，卻異常出色。

“你的頭腦是用來有想法的，而不是拿著它們?！贝笮l(wèi)·艾倫

數(shù)據(jù)科學(xué)是科學(xué)是有原因的。而是解決問題。我們面臨的問題，需要?jiǎng)?chuàng)造性的、巧妙的解決方案。我們正是在這一點(diǎn)上大放異彩，這是一種非常令人向往的技能。數(shù)據(jù)科學(xué)的用例只會(huì)增加。這僅僅是因?yàn)槲覀冋谑占嗟臄?shù)據(jù)，我們有更多的計(jì)算能力在小芯片上實(shí)現(xiàn)復(fù)雜的數(shù)學(xué)運(yùn)算。

讓我向您展示實(shí)現(xiàn)當(dāng)今最著名的機(jī)器學(xué)習(xí)算法是多么的微不足道。

假設(shè)您已經(jīng)仔細(xì)清理了輸入變量(x)和輸出變量(y)，準(zhǔn)備進(jìn)入模型。使用ingscikit-learn（Python中一個(gè)著名的開源機(jī)器學(xué)習(xí)庫），我們可以用以下兩行代碼實(shí)現(xiàn)決策樹：

from sklearn import tree
tree.DecisionTreeClassifier.fit(X,Y)

我們可以用以下兩行代碼實(shí)現(xiàn)支持向量機(jī)：

from sklearn import svm
svm.SVC.fit(X,y)

你看到圖案了嗎？我們所需要做的就是改變函數(shù)名，然后你就有了模型。真正的數(shù)據(jù)科學(xué)家不會(huì)坐著從頭開始重新實(shí)現(xiàn)這些算法。他們最終將使用行業(yè)中成熟的庫，如Scikit-learn。

但你真的認(rèn)為大多數(shù)數(shù)據(jù)科學(xué)家都在這樣做，并因這項(xiàng)技能而被雇傭嗎？改變模型中的一個(gè)單詞，然后運(yùn)行，然后報(bào)告結(jié)果？不！

然而，作為一名數(shù)據(jù)科學(xué)家，如果這是你關(guān)注的全部，那么對(duì)這種技能的需求很快就會(huì)消失。

實(shí)現(xiàn)一個(gè)模型是大多數(shù)人可以做的事情，如果他們知道工具，而且很容易讓人接受培訓(xùn)。硬的部分是：

• 知道何時(shí)使用某個(gè)工具
• 為什么某個(gè)工具不能很好地執(zhí)行
• 哪些步驟可能有助于提高性能
• 在給定的問題中，哪些權(quán)衡是重要的
• 有洞察力和能力將以上所有內(nèi)容與總體目標(biāo)聯(lián)系起來
• 具備與領(lǐng)域?qū)＜覝贤ǖ募寄?/em>