介紹

我最近讀到一篇文章，將數(shù)據(jù)科學(xué)描述為一個(gè)過飽和的領(lǐng)域。文章預(yù)測(cè)ML工程師將在未來幾年取代數(shù)據(jù)科學(xué)家。

根據(jù)這篇文章的作者，大多數(shù)公司致力于用數(shù)據(jù)科學(xué)解決非常相似的業(yè)務(wù)問題。因此，數(shù)據(jù)科學(xué)家沒有必要提出解決問題的新方法。

作者接著說，在大多數(shù)數(shù)據(jù)驅(qū)動(dòng)的組織中，為了解決問題，只需要基本的數(shù)據(jù)科學(xué)技能。這個(gè)角色很容易被機(jī)器學(xué)習(xí)工程師取代--一個(gè)擁有數(shù)據(jù)科學(xué)算法基礎(chǔ)知識(shí)的人，他也擁有部署ML模型的知識(shí)。

在過去的一年里，我讀過許多類似的文章。

其中一些人表示，數(shù)據(jù)科學(xué)家的角色將被AutoML之類的工具所取代，而另一些人則將數(shù)據(jù)科學(xué)稱為“垂死的領(lǐng)域”，很快將被數(shù)據(jù)工程和ML操作之類的角色所超越。

作為一個(gè)與數(shù)據(jù)行業(yè)不同支柱密切合作的人，我想就這個(gè)主題提供我的觀點(diǎn)，并回答以下問題：

• 數(shù)據(jù)科學(xué)是一個(gè)垂死的職業(yè)嗎，未來幾年還會(huì)有需求嗎？
• 自動(dòng)化工具會(huì)讓數(shù)據(jù)科學(xué)家失業(yè)嗎？
• 數(shù)據(jù)科學(xué)是否已經(jīng)過度飽和，在不久的將來該領(lǐng)域會(huì)被更新的角色所取代嗎？
• 數(shù)據(jù)科學(xué)家對(duì)組織有利可圖嗎？它們?nèi)绾螢槠髽I(yè)增值？

需要數(shù)據(jù)科學(xué)家嗎？

大多數(shù)組織中的數(shù)據(jù)科學(xué)工作流程非常相似。許多公司雇傭數(shù)據(jù)科學(xué)家來解決類似的商業(yè)問題。大多數(shù)建立的模型都不需要你想出新穎的解決方案。

在這些組織中，您將采用的解決數(shù)據(jù)驅(qū)動(dòng)問題的大多數(shù)方法很可能以前已經(jīng)使用過，您可以從網(wǎng)上可用的大量資源中獲得靈感。

此外，AutoML和DataRobot等自動(dòng)化工具的興起使預(yù)測(cè)建模變得更加容易。

我在一些業(yè)務(wù)用例中使用DataRobot，它是一個(gè)很好的工具。它迭代許多值，并為您的模型選擇最佳參數(shù)，以確保最終得到盡可能高精度的模型。

因此，如果預(yù)測(cè)模型隨著時(shí)間的推移變得更加容易，為什么公司仍然需要數(shù)據(jù)科學(xué)家？為什么他們不直接使用自動(dòng)化工具和ML工程師的組合來管理他們的整個(gè)數(shù)據(jù)科學(xué)工作流呢？

答案很簡(jiǎn)單：

首先，數(shù)據(jù)科學(xué)從來不是關(guān)于重新發(fā)明輪子或構(gòu)建高度復(fù)雜的算法。

數(shù)據(jù)科學(xué)家的角色是用數(shù)據(jù)為組織增加價(jià)值。在大多數(shù)公司中，只有很小一部分涉及到構(gòu)建ML算法。

其次，總會(huì)有自動(dòng)化工具無法解決的問題。這些工具有一組固定的算法，您可以從中選擇，如果您確實(shí)發(fā)現(xiàn)了一個(gè)需要結(jié)合使用多種方法來解決的問題，您將需要手動(dòng)完成。

雖然這種情況并不經(jīng)常發(fā)生，但仍然會(huì)發(fā)生--作為一個(gè)組織，你需要雇傭足夠熟練的人來做到這一點(diǎn)。此外，像DataRobot這樣的工具不能進(jìn)行數(shù)據(jù)預(yù)處理，也不能進(jìn)行建模之前的任何繁重工作。

人情味

作為一個(gè)為初創(chuàng)企業(yè)和大公司創(chuàng)建數(shù)據(jù)驅(qū)動(dòng)解決方案的人，這種情況與處理Kaggle數(shù)據(jù)集的情況非常不同。

沒有固定的問題。通常，您有一個(gè)數(shù)據(jù)集，然后給您一個(gè)業(yè)務(wù)問題。如何利用客戶數(shù)據(jù)來最大限度地提高公司的銷售額取決于您。

這意味著數(shù)據(jù)科學(xué)家需要的不僅僅是技術(shù)或建模技能。您將需要將數(shù)據(jù)與手頭的問題連接起來。您需要決定可以優(yōu)化解決方案的外部數(shù)據(jù)源。

數(shù)據(jù)預(yù)處理是漫長(zhǎng)而艱苦的，不僅因?yàn)樗枰軓?qiáng)的編程技能，還因?yàn)槟枰囼?yàn)不同的變量及其與手頭問題的相關(guān)性。

您需要將模型精確度與轉(zhuǎn)換率之類的指標(biāo)聯(lián)系起來。

模型構(gòu)建并不總是這個(gè)過程的一部分。有時(shí)，一個(gè)簡(jiǎn)單的計(jì)算可能足以執(zhí)行像客戶排名這樣的任務(wù)。只有一些問題需要你做出預(yù)測(cè)。

歸根結(jié)底，數(shù)據(jù)科學(xué)家為組織提供的價(jià)值在于他們將數(shù)據(jù)應(yīng)用于現(xiàn)實(shí)世界用例的能力。無論是建立細(xì)分模型、推薦系統(tǒng)，還是評(píng)估客戶潛力，除非結(jié)果是可解釋的，否則對(duì)組織沒有真正的好處。

只要一個(gè)數(shù)據(jù)科學(xué)家能夠在數(shù)據(jù)的幫助下解決問題，并彌合技術(shù)和業(yè)務(wù)技能之間的差距，這個(gè)角色就會(huì)繼續(xù)存在。