介紹

我最近讀到一篇文章，將數(shù)據(jù)科學描述為一個過飽和的領域。文章預測ML工程師將在未來幾年取代數(shù)據(jù)科學家。

根據(jù)這篇文章的作者，大多數(shù)公司致力于用數(shù)據(jù)科學解決非常相似的業(yè)務問題。因此，數(shù)據(jù)科學家沒有必要提出解決問題的新方法。

作者接著說，在大多數(shù)數(shù)據(jù)驅(qū)動的組織中，為了解決問題，只需要基本的數(shù)據(jù)科學技能。這個角色很容易被機器學習工程師取代--一個擁有數(shù)據(jù)科學算法基礎知識的人，他也擁有部署ML模型的知識。

在過去的一年里，我讀過許多類似的文章。

其中一些人表示，數(shù)據(jù)科學家的角色將被AutoML之類的工具所取代，而另一些人則將數(shù)據(jù)科學稱為“垂死的領域”，很快將被數(shù)據(jù)工程和ML操作之類的角色所超越。

作為一個與數(shù)據(jù)行業(yè)不同支柱密切合作的人，我想就這個主題提供我的觀點，并回答以下問題：

• 數(shù)據(jù)科學是一個垂死的職業(yè)嗎，未來幾年還會有需求嗎？
• 自動化工具會讓數(shù)據(jù)科學家失業(yè)嗎？
• 數(shù)據(jù)科學是否已經(jīng)過度飽和，在不久的將來該領域會被更新的角色所取代嗎？
• 數(shù)據(jù)科學家對組織有利可圖嗎？它們?nèi)绾螢槠髽I(yè)增值？

需要數(shù)據(jù)科學家嗎？

大多數(shù)組織中的數(shù)據(jù)科學工作流程非常相似。許多公司雇傭數(shù)據(jù)科學家來解決類似的商業(yè)問題。大多數(shù)建立的模型都不需要你想出新穎的解決方案。

在這些組織中，您將采用的解決數(shù)據(jù)驅(qū)動問題的大多數(shù)方法很可能以前已經(jīng)使用過，您可以從網(wǎng)上可用的大量資源中獲得靈感。

此外，AutoML和DataRobot等自動化工具的興起使預測建模變得更加容易。

我在一些業(yè)務用例中使用DataRobot，它是一個很好的工具。它迭代許多值，并為您的模型選擇最佳參數(shù)，以確保最終得到盡可能高精度的模型。

因此，如果預測模型隨著時間的推移變得更加容易，為什么公司仍然需要數(shù)據(jù)科學家？為什么他們不直接使用自動化工具和ML工程師的組合來管理他們的整個數(shù)據(jù)科學工作流呢？

答案很簡單：

首先，數(shù)據(jù)科學從來不是關(guān)于重新發(fā)明輪子或構(gòu)建高度復雜的算法。

數(shù)據(jù)科學家的角色是用數(shù)據(jù)為組織增加價值。在大多數(shù)公司中，只有很小一部分涉及到構(gòu)建ML算法。

其次，總會有自動化工具無法解決的問題。這些工具有一組固定的算法，您可以從中選擇，如果您確實發(fā)現(xiàn)了一個需要結(jié)合使用多種方法來解決的問題，您將需要手動完成。

雖然這種情況并不經(jīng)常發(fā)生，但仍然會發(fā)生--作為一個組織，你需要雇傭足夠熟練的人來做到這一點。此外，像DataRobot這樣的工具不能進行數(shù)據(jù)預處理，也不能進行建模之前的任何繁重工作。

人情味

作為一個為初創(chuàng)企業(yè)和大公司創(chuàng)建數(shù)據(jù)驅(qū)動解決方案的人，這種情況與處理Kaggle數(shù)據(jù)集的情況非常不同。

沒有固定的問題。通常，您有一個數(shù)據(jù)集，然后給您一個業(yè)務問題。如何利用客戶數(shù)據(jù)來最大限度地提高公司的銷售額取決于您。

這意味著數(shù)據(jù)科學家需要的不僅僅是技術(shù)或建模技能。您將需要將數(shù)據(jù)與手頭的問題連接起來。您需要決定可以優(yōu)化解決方案的外部數(shù)據(jù)源。

數(shù)據(jù)預處理是漫長而艱苦的，不僅因為它需要很強的編程技能，還因為您需要試驗不同的變量及其與手頭問題的相關(guān)性。

您需要將模型精確度與轉(zhuǎn)換率之類的指標聯(lián)系起來。

模型構(gòu)建并不總是這個過程的一部分。有時，一個簡單的計算可能足以執(zhí)行像客戶排名這樣的任務。只有一些問題需要你做出預測。

歸根結(jié)底，數(shù)據(jù)科學家為組織提供的價值在于他們將數(shù)據(jù)應用于現(xiàn)實世界用例的能力。無論是建立細分模型、推薦系統(tǒng)，還是評估客戶潛力，除非結(jié)果是可解釋的，否則對組織沒有真正的好處。

只要一個數(shù)據(jù)科學家能夠在數(shù)據(jù)的幫助下解決問題，并彌合技術(shù)和業(yè)務技能之間的差距，這個角色就會繼續(xù)存在。