CDA數(shù)據(jù)分析師 出品

作者：Darshil Parmar

編譯：Mika

【導(dǎo)讀】

數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)工程到底有什么區(qū)別？本文帶你看懂。

數(shù)據(jù)科學(xué)是一個(gè)廣泛的領(lǐng)域。

因?yàn)樗侨绱说亩鄻踊?，我們很難具體定義數(shù)據(jù)科學(xué)家要做些什么。但最重要的是，我們要認(rèn)識(shí)到，數(shù)據(jù)科學(xué)是一個(gè)過(guò)程，而不僅僅是一個(gè)職位名稱。

數(shù)據(jù)科學(xué)可以應(yīng)用于許多不同的領(lǐng)域，可以用來(lái)做許多不同的事情。

如今數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)工程正在以非常快的速度發(fā)展。

2011-2027年全球大數(shù)據(jù)市場(chǎng)規(guī)模預(yù)測(cè)

數(shù)據(jù)來(lái)源：Statista

隨著數(shù)據(jù)領(lǐng)域的發(fā)展速度加快，許多人對(duì)這些領(lǐng)域的概念也有一些錯(cuò)誤的認(rèn)識(shí)。

在本文中，我們將帶你了解一下數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師之間的區(qū)別。

讓我們先了解一下完整的數(shù)據(jù)項(xiàng)目包括哪些環(huán)節(jié)。

公司通過(guò)各種渠道從客戶處收集數(shù)據(jù)，例如亞馬遜，他們可能會(huì)收集用戶的電子郵件、姓名、年齡、位置等數(shù)據(jù)。

以及關(guān)于用戶購(gòu)買歷史和訂單的數(shù)據(jù)，用戶搜索關(guān)鍵字和最近查看的項(xiàng)目等。

如今，這些數(shù)據(jù)有各種形式和格式，數(shù)據(jù)可能位于不同的表和不同的位置。

任何數(shù)據(jù)項(xiàng)目的出發(fā)點(diǎn)無(wú)一例外，都是為了從數(shù)據(jù)中提取價(jià)值，從而幫助企業(yè)做出決策，并改進(jìn)其產(chǎn)品和服務(wù)。

這里可以看到一個(gè)案例——亞馬遜建立的推薦系統(tǒng)，當(dāng)中將用用戶經(jīng)常購(gòu)買的產(chǎn)品排列在一起，并根據(jù)產(chǎn)品的性能進(jìn)行排名。

任何數(shù)據(jù)項(xiàng)目的第一步都是理解。

企業(yè)真正需要什么

假設(shè)，我們想針對(duì)會(huì)從已購(gòu)商品中進(jìn)行回購(gòu)的客戶建立一個(gè)分類器。

我們對(duì)所需的最終結(jié)果進(jìn)行定義，可能會(huì)根據(jù)可用數(shù)據(jù)而改變，但假設(shè)現(xiàn)在一切準(zhǔn)備就緒，開(kāi)始項(xiàng)目開(kāi)發(fā)。

這時(shí)數(shù)據(jù)工程師們就派上用場(chǎng)了。

在數(shù)據(jù)項(xiàng)目工作中，數(shù)據(jù)工程師將從各種來(lái)源提取數(shù)據(jù)并編寫(xiě)查詢，或使用ETL工具將所有數(shù)據(jù)集中到一個(gè)地方。

數(shù)據(jù)被儲(chǔ)存為各種格式，比如SQL表、CSV文件、JSON文件等。

因此，數(shù)據(jù)工程師要做的就是對(duì)這些數(shù)據(jù)進(jìn)行轉(zhuǎn)換，并將所有東西整合在一起。并負(fù)責(zé)建立數(shù)據(jù)庫(kù)模型、模式、表、架構(gòu)以及數(shù)據(jù)的整體結(jié)構(gòu)。

一旦數(shù)據(jù)準(zhǔn)備妥當(dāng)，數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師或BI人員就要上場(chǎng)了。

為了便于理解，這里我們用數(shù)據(jù)科學(xué)家來(lái)概括這些角色，因?yàn)閿?shù)據(jù)科學(xué)是一個(gè)非常廣泛的領(lǐng)域，他們所做的工作內(nèi)容包羅萬(wàn)象。

現(xiàn)在，數(shù)據(jù)科學(xué)人員有了正確格式的數(shù)據(jù)，而數(shù)據(jù)科學(xué)家對(duì)業(yè)務(wù)有很好理解，他很清楚需要做些什么來(lái)完成工作。

數(shù)據(jù)科學(xué)家需要負(fù)責(zé)的工作內(nèi)容有：

• 提取業(yè)務(wù)需要的數(shù)據(jù)；
• 為機(jī)器學(xué)習(xí)模型清理數(shù)據(jù)；
• 定義訓(xùn)練模型所需的特征；
• 建立儀表盤或可視化以更好地理解數(shù)據(jù)；
• 為機(jī)器學(xué)習(xí)模型準(zhǔn)備數(shù)據(jù)等等。

由于數(shù)據(jù)項(xiàng)目需要團(tuán)隊(duì)協(xié)作，因此有許多人會(huì)參與到這個(gè)過(guò)程。

不是每個(gè)人都會(huì)清理數(shù)據(jù)或構(gòu)建數(shù)據(jù)可視化，這完全取決于數(shù)據(jù)人員的技能和角色。

接著就需要機(jī)器學(xué)習(xí)工程師，他們同時(shí)擁有軟件工程和數(shù)據(jù)科學(xué)方面的知識(shí)。

他們使用大數(shù)據(jù)工具和編程框架，確保從數(shù)據(jù)管道中收集的原始數(shù)據(jù)被重新定義為數(shù)據(jù)科學(xué)模型，并根據(jù)需要進(jìn)行擴(kuò)展。

在這個(gè)推薦系統(tǒng)的項(xiàng)目中，我們可能需要實(shí)時(shí)預(yù)測(cè)的模型，也需要通過(guò)調(diào)用API來(lái)提供預(yù)測(cè)的模型。

機(jī)器學(xué)習(xí)工程師的職責(zé)是建立機(jī)器學(xué)習(xí)模型，對(duì)其進(jìn)行適當(dāng)調(diào)整，確保模型產(chǎn)生良好的結(jié)果，在產(chǎn)品中部署模型。

機(jī)器學(xué)習(xí)工程師使機(jī)器能夠在自己的編程數(shù)據(jù)中識(shí)別模式，并教會(huì)自己理解命令。

結(jié)語(yǔ)

現(xiàn)在這三個(gè)領(lǐng)域相互依賴，沒(méi)有哪一個(gè)更好的比較，每個(gè)領(lǐng)域都有自己的角色、責(zé)任和所需的技能，完全取決于你選擇哪一個(gè)。

現(xiàn)在，這三種職業(yè)相互依賴，沒(méi)有哪個(gè)職業(yè)更好的說(shuō)法。在工作項(xiàng)目中，這三者分別都有不同的角色擔(dān)當(dāng)，責(zé)任和技能要求，選擇從事哪一種完全取決于你自己的興趣。

如果你喜歡構(gòu)建管道，數(shù)據(jù)模型和模式，那么成為數(shù)據(jù)工程師是不錯(cuò)的選擇。

如果你更喜歡清理數(shù)據(jù)、數(shù)據(jù)可視化和構(gòu)建儀表盤，那么你可以選擇成為一名數(shù)據(jù)科學(xué)家，或者機(jī)器學(xué)習(xí)工程師，前提是你有完成工作所需的知識(shí)和技能。

因此不妨問(wèn)問(wèn)自己，你更適合哪一種？數(shù)據(jù)工程師，數(shù)據(jù)科學(xué)家，還是機(jī)器學(xué)習(xí)工程師？歡迎給我們留言哦。