
作為一個(gè)在數(shù)據(jù)科學(xué)領(lǐng)域工作了十多年的人,看到人們預(yù)言該領(lǐng)域?qū)⒃?0年內(nèi)如何滅絕是令人沮喪的。給出的典型原因是emergingAutoMLtools將如何消除從業(yè)者開發(fā)自己算法的需求。
我發(fā)現(xiàn)這樣的觀點(diǎn)特別令人沮喪,因?yàn)樗柚沽顺鯇W(xué)者足夠認(rèn)真地對待數(shù)據(jù)科學(xué),從而在它方面出類拔萃。坦率地說,對于一個(gè)需求只會(huì)進(jìn)一步增加的領(lǐng)域,看到這樣的預(yù)言是對數(shù)據(jù)科學(xué)界的傷害!
為什么任何一個(gè)理智的人會(huì)投入有限的時(shí)間和精力去學(xué)習(xí)即將滅絕的東西?
給你點(diǎn)東西。如果有一個(gè)領(lǐng)域你最有可能真正退休,那就是數(shù)據(jù)科學(xué)。我將給出數(shù)據(jù)科學(xué)不會(huì)很快滅絕的四個(gè)關(guān)鍵原因。然后我也會(huì)給你我的建議,以確保你在10年后保持在數(shù)據(jù)科學(xué)的正確一邊。
數(shù)據(jù)科學(xué)不會(huì)滅絕,但如果你不跟上它的步伐,你的技能可能會(huì)滅絕。我們潛水吧。
讓我們從科學(xué)開始。我不必讓你相信科學(xué)已經(jīng)存在了幾個(gè)世紀(jì)??茖W(xué)的本質(zhì)是從數(shù)據(jù)中學(xué)習(xí)。我們觀察世界上的事物(收集數(shù)據(jù)),然后我們創(chuàng)建一個(gè)模型(傳統(tǒng)上稱為理論),可以總結(jié)和解釋這些觀察。我們創(chuàng)建這些模型來幫助我們解決問題。
數(shù)據(jù)科學(xué)的本質(zhì)也正是如此。收集數(shù)據(jù),通過創(chuàng)建模型從中學(xué)習(xí),然后使用那些模型解決問題。多年來,不同的學(xué)科已經(jīng)開發(fā)和完善了幾個(gè)工具來實(shí)現(xiàn)這一點(diǎn)。根據(jù)該領(lǐng)域的重點(diǎn),使用不同的名稱來描述這組工具和過程。術(shù)語是Data Science。
然而,以前的時(shí)代與現(xiàn)在的不同之處在于數(shù)據(jù)量和我們可用的計(jì)算能力。當(dāng)我們只有幾個(gè)數(shù)據(jù)點(diǎn)和幾個(gè)維度時(shí),手工將它們放在紙上并擬合一條直線(回歸)或識(shí)別模式是可能的。現(xiàn)在,我們可以廉價(jià)地從多個(gè)來源(多個(gè)特性)收集大量數(shù)據(jù)。當(dāng)你有大量的數(shù)據(jù)點(diǎn)和維度時(shí),擬合一條直線(或集群)是不可能的,也是不可行的。
如果收集數(shù)據(jù)并開發(fā)模型來解釋它的做法已經(jīng)存在了幾個(gè)世紀(jì),為什么你認(rèn)為它會(huì)在未來10年內(nèi)滅絕?
如果有什么不同的話,我們將收集更多種類的數(shù)據(jù),我們將需要?jiǎng)?chuàng)造性地將它們結(jié)合起來解決問題的新方法。
在“自動(dòng)機(jī)器學(xué)習(xí)”的保護(hù)傘下的幾種工具正在獲得吸引力,其中一些可能會(huì)導(dǎo)致數(shù)據(jù)科學(xué)的民主化。但是,大多數(shù)這樣的工具將有助于加快對cleaned數(shù)據(jù)輸入的不同算法的測試和實(shí)現(xiàn)。
但是向模型中獲取干凈數(shù)據(jù)的能力一點(diǎn)也不簡單。
事實(shí)上,一些與數(shù)據(jù)科學(xué)相關(guān)的調(diào)查已經(jīng)指出,任何數(shù)據(jù)科學(xué)家在收集和清理數(shù)據(jù)上花費(fèi)的時(shí)間都是不成比例的。例如,Anaconda的年度調(diào)查(數(shù)據(jù)科學(xué)家使用的領(lǐng)先分布之一)指出,數(shù)據(jù)科學(xué)家將66%的時(shí)間用于數(shù)據(jù)加載、清理和可視化,只有23%的時(shí)間用于模型訓(xùn)練、選擇和評(píng)分。我在這個(gè)領(lǐng)域工作了十多年的個(gè)人經(jīng)歷也是類似的。
學(xué)習(xí)算法如何在底層工作并理解它們的細(xì)微差別一點(diǎn)也不簡單,許多在線課程花時(shí)間解釋這些都是正確的。然而,這種對算法的關(guān)注只會(huì)造成一種錯(cuò)誤的錯(cuò)覺,好像數(shù)據(jù)科學(xué)就是關(guān)于模型的。許多有經(jīng)驗(yàn)的實(shí)踐者開始看到以數(shù)據(jù)清理為代價(jià)對模型的過度強(qiáng)調(diào)。Andrew Ng(該領(lǐng)域的領(lǐng)先專家)一直鼓勵(lì)數(shù)據(jù)科學(xué)界轉(zhuǎn)向以數(shù)據(jù)為中心的方法,而不是我們大多數(shù)人目前在數(shù)據(jù)科學(xué)項(xiàng)目中采用的以模型為中心的方法。在他的《收入通訊》中,他說:
這是一個(gè)常見的笑話,80%的機(jī)器學(xué)習(xí)實(shí)際上是數(shù)據(jù)清理,好像這是一個(gè)較小的任務(wù)。我的觀點(diǎn)是,如果我們80%的工作是數(shù)據(jù)準(zhǔn)備,那么確保數(shù)據(jù)質(zhì)量就是機(jī)器學(xué)習(xí)團(tuán)隊(duì)的重要工作。
像Kaggle這樣的網(wǎng)站進(jìn)一步加劇了這種情況,在這些網(wǎng)站上,參與者可以獲得干凈的數(shù)據(jù),任務(wù)僅限于開發(fā)不同的模型,目的是最大化預(yù)先確定的性能指標(biāo)。(Kaggle真棒?。?/em>
一個(gè)真實(shí)的項(xiàng)目處理幾個(gè)問題,而這些問題并不是從仔細(xì)清理的數(shù)據(jù)或定義的問題開始的。在大多數(shù)項(xiàng)目中,我們先驗(yàn)地不一定知道哪些特性是相關(guān)的,收集數(shù)據(jù)的頻率如何,以及需要回答的正確問題是什么。歡迎來到現(xiàn)實(shí)世界!
新的自動(dòng)化工具的出現(xiàn)將繼續(xù)使不同模型的實(shí)現(xiàn)變得容易和可訪問。然而,它無法對現(xiàn)實(shí)世界項(xiàng)目中更具挑戰(zhàn)性的問題進(jìn)行分類。許多這樣的問題依賴于上下文,自動(dòng)化的時(shí)機(jī)還不成熟。
也許是受到關(guān)于數(shù)據(jù)科學(xué)的炒作的驅(qū)使,我遇到過這樣的情況,人們接近我,告訴我他們有數(shù)據(jù),并希望我應(yīng)用“數(shù)據(jù)科學(xué)”來解決他們的問題(這可能也不一定是明確定義的)。我敢打賭,許多不是數(shù)據(jù)科學(xué)家的人認(rèn)為它是某種魔力(一個(gè)可以在一邊輸入數(shù)據(jù),另一端獲得輸出的工具)。
恰恰相反,真正的項(xiàng)目有需要平衡的權(quán)衡。這需要一種迭代方法,首先部署初始模型,然后在收集更多數(shù)據(jù)以進(jìn)一步改進(jìn)時(shí)監(jiān)視性能。
任何部署的模型只有在按預(yù)期使用時(shí)才有用。這是不能保證的。需要有一個(gè)熟練的人員元素,可以繼續(xù)監(jiān)視和診斷已部署模型的使用,并提出適當(dāng)?shù)慕鉀Q方案來改進(jìn)它。然而,監(jiān)測部分不一定要自動(dòng)化,甚至不一定要定量??赡軙?huì)發(fā)生你無法預(yù)料的非常意外和奇怪的事情。
不久前,倫敦大都會(huì)警察局測試了一個(gè)實(shí)時(shí)面部識(shí)別系統(tǒng)。該系統(tǒng)有攝像頭,可以掃描購物中心和公共廣場上的人,提取各種面部特征,然后將這些特征與觀察名單中的嫌疑人進(jìn)行比較。然后,該系統(tǒng)將顯示任何匹配,供官員審查并決定是否需要阻止任何嫌疑人(在某些情況下,逮捕)。關(guān)于該系統(tǒng)運(yùn)作的一項(xiàng)獨(dú)立聲明提出了重大關(guān)切,并強(qiáng)調(diào)了幾個(gè)限制。在經(jīng)過6次審判確定的42名嫌疑人中,只有8名(僅19%)證明是正確的匹配。
有許多數(shù)據(jù)科學(xué)算法被歪曲的例子,使它們不夠充分,需要進(jìn)一步發(fā)展。就目前的情況來看,我們甚至還沒有處于模型被廣泛部署和使用的階段。因此,我們甚至沒有足夠的模型漂移或出錯(cuò)的用例來進(jìn)一步自動(dòng)化此類工具。到目前為止,我們所擁有的最好的方法是在模型部署時(shí)識(shí)別問題(例如,銀行、醫(yī)療保健、警務(wù))。
這是最先進(jìn)的。我們開發(fā)和部署模型,但結(jié)果證明它們是不夠的,不適合目的。我們正處在一個(gè)階段,我們只看到使用不合適的模型的早期后果。有沒有自動(dòng)化的解決方案來處理這個(gè)問題?一個(gè)都沒有!
即使是手動(dòng),我們也在受到挑戰(zhàn)!
這是我最喜歡的一點(diǎn)。一段時(shí)間以來,平凡的、重復(fù)的、非認(rèn)知要求的任務(wù)一直處于自動(dòng)化的風(fēng)險(xiǎn)之中。然而,這種干擾只會(huì)導(dǎo)致更多需要人類創(chuàng)造力和解決問題的工作。我們的記憶很糟糕,但我們,人類,在識(shí)別模式以解決問題時(shí),卻異常出色。
“你的頭腦是用來有想法的,而不是拿著它們?!贝笮l(wèi)·艾倫
數(shù)據(jù)科學(xué)是科學(xué)是有原因的。而是解決問題。我們面臨的問題,需要?jiǎng)?chuàng)造性的、巧妙的解決方案。我們正是在這一點(diǎn)上大放異彩,這是一種非常令人向往的技能。數(shù)據(jù)科學(xué)的用例只會(huì)增加。這僅僅是因?yàn)槲覀冋谑占嗟臄?shù)據(jù),我們有更多的計(jì)算能力在小芯片上實(shí)現(xiàn)復(fù)雜的數(shù)學(xué)運(yùn)算。
讓我向您展示實(shí)現(xiàn)當(dāng)今最著名的機(jī)器學(xué)習(xí)算法是多么的微不足道。
假設(shè)您已經(jīng)仔細(xì)清理了輸入變量(x)和輸出變量(y),準(zhǔn)備進(jìn)入模型。使用ingscikit-learn(Python中一個(gè)著名的開源機(jī)器學(xué)習(xí)庫),我們可以用以下兩行代碼實(shí)現(xiàn)決策樹:
from sklearn import tree tree.DecisionTreeClassifier.fit(X,Y)
我們可以用以下兩行代碼實(shí)現(xiàn)支持向量機(jī):
from sklearn import svm svm.SVC.fit(X,y)
你看到圖案了嗎?我們所需要做的就是改變函數(shù)名,然后你就有了模型。真正的數(shù)據(jù)科學(xué)家不會(huì)坐著從頭開始重新實(shí)現(xiàn)這些算法。他們最終將使用行業(yè)中成熟的庫,如Scikit-learn。
但你真的認(rèn)為大多數(shù)數(shù)據(jù)科學(xué)家都在這樣做,并因這項(xiàng)技能而被雇傭嗎?改變模型中的一個(gè)單詞,然后運(yùn)行,然后報(bào)告結(jié)果?不!
然而,作為一名數(shù)據(jù)科學(xué)家,如果這是你關(guān)注的全部,那么對這種技能的需求很快就會(huì)消失。
實(shí)現(xiàn)一個(gè)模型是大多數(shù)人可以做的事情,如果他們知道工具,而且很容易讓人接受培訓(xùn)。硬的部分是:
上面提到的技能是通過在現(xiàn)實(shí)世界中工作而獲得的,具有挑戰(zhàn)性的項(xiàng)目。它們需要時(shí)間,學(xué)習(xí)過程需要認(rèn)知能力。然而,隨著我們收集更多的數(shù)據(jù),面對獨(dú)特的行業(yè)挑戰(zhàn),面臨更多的競爭(而不是更少?。@些技能將變得越來越重要。
我上面列出的技能屬于解決問題和創(chuàng)造力的永恒領(lǐng)域。這些技能將繼續(xù)備受追捧,因?yàn)樗鼈儾荒茏詣?dòng)化。
無論如何,你應(yīng)該有一個(gè)你學(xué)習(xí)的工具,變得熟練,并理解來龍去脈,因?yàn)槟愕玫搅烁嗟慕?jīng)驗(yàn)。但是,要確保你能利用那些讓你在挑戰(zhàn)性項(xiàng)目中工作的機(jī)會(huì),在這些項(xiàng)目中你可以鍛煉你的創(chuàng)造性和解決問題的技能。
不要擔(dān)心數(shù)據(jù)科學(xué)很快就會(huì)滅絕。這樣的擔(dān)心只會(huì)分散你享受旅程的注意力,你會(huì)帶著半心半意的信念接近這個(gè)領(lǐng)域。如果你相信這樣的末日預(yù)言,你將無法利用有希望的機(jī)會(huì),讓你的技能停滯不前。事實(shí)上,你的需求將會(huì)消失!
“無論你認(rèn)為你能,還是你認(rèn)為你不能,你都是對的?!焙嗬じL?
但是,如果您繼續(xù)從事具有挑戰(zhàn)性的數(shù)據(jù)科學(xué)項(xiàng)目(從數(shù)據(jù)收集到模型部署),10年后您將處于該領(lǐng)域的正確一邊,您的需求只會(huì)增加!
選擇權(quán)在你。對此,作者提出了建議
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03