由Mihail Eric著，《機器學(xué)習(xí)研究與教育》。

參加KDnuggets工作滿意度調(diào)查，部分靈感來自這個博客。

以下是受此帖子啟發(fā)的KDnuggets漫畫

數(shù)據(jù)。它無處不在，我們只會得到更多。在過去的5-10年里，數(shù)據(jù)科學(xué)吸引了來自四面八方的新來者試圖嘗到這一禁果。

但是，Data Science招聘的現(xiàn)狀是什么呢？

下面是這篇文章的要點，用兩句話寫給忙碌的讀者。

TLDR:與數(shù)據(jù)科學(xué)相比，數(shù)據(jù)工程公司的開放角色70%。當(dāng)我們培養(yǎng)下一代數(shù)據(jù)和機器學(xué)習(xí)從業(yè)者時，讓我們更加強調(diào)工程技能。

作為我為數(shù)據(jù)專業(yè)人員開發(fā)教育平臺的工作的一部分，我對數(shù)據(jù)驅(qū)動（機器學(xué)習(xí)和數(shù)據(jù)科學(xué)）角色的市場是如何發(fā)展的有很多思考。

在與數(shù)十名數(shù)據(jù)領(lǐng)域的潛在進入者（包括世界各地頂級院校的學(xué)生）的交談中，我看到了大量的困惑，即哪些技能對幫助候選人在人群中脫穎而出和為他們的職業(yè)生涯做準(zhǔn)備最重要。

仔細想想，數(shù)據(jù)科學(xué)家可以負責(zé)以下任何子集：機器學(xué)習(xí)建模、可視化、數(shù)據(jù)清理和處理（即SQL爭論）、工程和生產(chǎn)部署。

你是如何開始為新人推薦學(xué)習(xí)課程的？

數(shù)據(jù)勝于雄辯。因此，我決定對自2012年以來Y-Combinator的每家公司雇傭的數(shù)據(jù)角色進行分析。指導(dǎo)我研究的問題：

• 公司最常招聘的數(shù)據(jù)角色是什么？
• 我們經(jīng)常談?wù)摰膫鹘y(tǒng)的數(shù)據(jù)科學(xué)家有多受歡迎？
• 啟動數(shù)據(jù)革命的技能在今天是否相關(guān)？

如果你想要完整的細節(jié)和分析，請繼續(xù)閱讀。

方法論

我選擇對YC投資組合公司進行分析，這些公司聲稱將某種數(shù)據(jù)作為其價值主張的一部分。

為什么要關(guān)注YC？首先，他們很好地提供了一個易于搜索的公司目錄。

此外，作為一個特別有前瞻性的孵化器，十多年來資助了來自世界各地的公司，我覺得他們提供了一個有代表性的市場樣本，可以用來進行我的分析。話雖如此，但對我所說的半信半疑，因為我沒有分析超大型科技公司。

我搜索了2012年以來YC所有公司的主頁網(wǎng)址，產(chǎn)生了一個大約1400家公司的初始池。

為何止步于2012年？2012年是AlexNet贏得ImageNet競賽的一年，有效地啟動了我們現(xiàn)在正在經(jīng)歷的機器學(xué)習(xí)和數(shù)據(jù)建模浪潮。公平地說，這孕育了最早幾代數(shù)據(jù)第一的公司。

從這個初始池中，我執(zhí)行了關(guān)鍵字過濾，以減少我必須查看的相關(guān)公司的數(shù)量。特別是，我只考慮了網(wǎng)站至少包含以下術(shù)語之一的公司:AI、CV、NLP、自然語言處理、計算機視覺、人工智能、機器、ML、數(shù)據(jù)。我也忽略了網(wǎng)站鏈接被打破的公司。

這是否產(chǎn)生了大量的假陽性？絕對！但在這里，我試圖盡可能地優(yōu)先考慮高召回，認識到我將對相關(guān)角色的單個網(wǎng)站進行更細粒度的手動檢查。

有了這個精簡的職位庫，我瀏覽了每個網(wǎng)站，找到了招聘廣告的位置（通常是Careers、jobs或We正在招聘頁面），并記錄了標(biāo)題中包含數(shù)據(jù)、機器學(xué)習(xí)、NLP或簡歷的每個角色。這給了我一個大約70家不同的公司招聘數(shù)據(jù)角色的池。

這里有一個提示：可以想象，我錯過了一些公司，因為有些網(wǎng)站信息很少（通常是秘密的），實際上可能正在招聘。此外，有些公司沒有正式的職業(yè)頁面，但要求潛在候選人直接通過電子郵件聯(lián)系。

我忽略了這兩種類型的公司，而不是接觸他們，所以他們不是本分析的一部分。

另一件事：這項研究的大部分是在2020年的最后幾周完成的。隨著公司定期更新其頁面，打開的角色可能已經(jīng)更改。然而，我不相信這會對得出的結(jié)論產(chǎn)生重大影響。

數(shù)據(jù)從業(yè)者負責(zé)什么？

在深入研究結(jié)果之前，值得花一些時間澄清每個數(shù)據(jù)角色通常負責(zé)什么職責(zé)。下面是我們將花時間研究的四個角色，并對它們的工作進行簡短描述：

• 數(shù)據(jù)科學(xué)家:使用統(tǒng)計學(xué)和機器學(xué)習(xí)中的各種技術(shù)來處理和分析數(shù)據(jù)。通常負責(zé)構(gòu)建模型，以探索可以從某個數(shù)據(jù)源中學(xué)到什么，盡管通常是在原型而不是生產(chǎn)級別。
• data Engineer:開發(fā)一組健壯且可伸縮的數(shù)據(jù)處理工具/平臺。必須適應(yīng)SQL/NOSQL數(shù)據(jù)庫的爭論和構(gòu)建/維護ETL管道。
• 機器學(xué)習(xí)(ML)工程師:通常負責(zé)訓(xùn)練模型和生成模型。需要熟悉一些高級ML框架，并且必須能夠為模型構(gòu)建可伸縮的訓(xùn)練、推理和部署管道。
• 機器學(xué)習(xí)(ML)科學(xué)家:從事尖端研究。通常負責(zé)探索可以在學(xué)術(shù)會議上發(fā)表的新想法。通常只需要在將新的最先進的模型交給ML工程師進行生產(chǎn)之前對它們進行原型化。

有多少個數(shù)據(jù)角色？

那么，當(dāng)我們繪制公司招聘的每個數(shù)據(jù)角色的頻率時，會發(fā)生什么呢？劇情是這樣的：

與傳統(tǒng)的數(shù)據(jù)科學(xué)家相比，數(shù)據(jù)工程師的開放角色比傳統(tǒng)的數(shù)據(jù)科學(xué)家多了多少。在本例中，原始計數(shù)對應(yīng)于公司雇用的數(shù)據(jù)工程師的大約比雇用數(shù)據(jù)科學(xué)家的多55%，機器學(xué)習(xí)工程師的數(shù)量與雇用數(shù)據(jù)科學(xué)家的數(shù)量大致相同。

但我們可以做得更多。如果你看看各個角色的標(biāo)題，似乎有一些重復(fù)。

讓我們只通過角色整合來提供粗粒度的分類。換句話說，我選擇了描述大致相同的角色，并將它們合并在一個單一的標(biāo)題下。

這包括以下一組等價關(guān)系：

• NLP工程師≈CV工程師≈ML工程師≈Deep Learning工程師（雖然域可能不同，但職責(zé)大致相同）
• ML科學(xué)家≈Deep Learning研究員≈ML實習(xí)生（實習(xí)描述似乎非常注重研究）
• 數(shù)據(jù)工程師≈數(shù)據(jù)架構(gòu)師≈數(shù)據(jù)主管≈數(shù)據(jù)平臺工程師

如果我們不喜歡處理原始計數(shù)，這里有一些百分比讓我們放心：

我可能可以將ML研究工程師歸入ML科學(xué)家或ML工程師中的一個容器，但是考慮到它有點混合角色，所以我保留了它。

總的來說，合并使差異更加明顯！有~70%開放的數(shù)據(jù)工程師職位比數(shù)據(jù)科學(xué)家職位多。此外，還有~40%開放的ML工程師職位比數(shù)據(jù)科學(xué)家職位多。也只有~30%ML科學(xué)家和Data科學(xué)家職位一樣多。

外賣

與其他數(shù)據(jù)驅(qū)動的職業(yè)相比，數(shù)據(jù)工程師的需求越來越高。從某種意義上說，這代表了更廣泛領(lǐng)域的進化。

當(dāng)機器學(xué)習(xí)在5-8年前變得火熱時，公司決定他們需要能夠在數(shù)據(jù)上制作分類器的人。但后來像TensorFlowandPyTorch等框架變得非常好，使深度學(xué)習(xí)和機器學(xué)習(xí)開始的能力民主化。

這使數(shù)據(jù)建模技術(shù)商品化了。

今天，幫助公司獲得機器學(xué)習(xí)和建模對生產(chǎn)的洞察的瓶頸集中在數(shù)據(jù)問題上。

如何注釋數(shù)據(jù)？如何處理和清理數(shù)據(jù)？你怎么把它從A移到B？你是如何以最快的速度每天這樣做的？

所有這些都意味著擁有良好的工程技能。

這聽起來可能很無聊，也不性感，但老派的軟件工程傾向于數(shù)據(jù)可能是我們現(xiàn)在真正需要的。

多年來，由于酷炫的演示和媒體炒作，我們已經(jīng)迷戀上了數(shù)據(jù)專業(yè)人士的想法，他們?yōu)樵紨?shù)據(jù)注入了活力。畢竟，您最后一次看到關(guān)于ETL管道的cruncharticle是什么時候？

如果沒有別的，我相信固體工程是我們在數(shù)據(jù)科學(xué)工作培訓(xùn)或教育項目中強調(diào)不夠的東西。除了學(xué)習(xí)如何使用linear_regression.fit()之外，還要學(xué)習(xí)如何編寫單元測試！

那么這是否意味著你不應(yīng)該學(xué)習(xí)數(shù)據(jù)科學(xué)？沒有。

這意味著競爭將變得更加激烈。市場上有大量受過數(shù)據(jù)科學(xué)培訓(xùn)的新人，可供選擇的職位將會減少。

總是需要能夠有效地分析和從數(shù)據(jù)中提取可操作的見解的人。但他們必須是好的。

從Tensorflow網(wǎng)站上下載他們Iris DataSet上的預(yù)訓(xùn)練模型可能已經(jīng)不足以獲得數(shù)據(jù)科學(xué)的工作。

然而，很明顯，隨著ML Engineer的大量空缺，公司通常需要一個混合數(shù)據(jù)實踐者：能夠構(gòu)建和部署模型的人?；蛘?，更簡潔地說，有人可以使用Tensorflow但也可以從源代碼構(gòu)建它。

這里的另一個要點是，沒有那么多的ML研究職位。

機器學(xué)習(xí)研究往往會得到相當(dāng)一部分的炒作，因為這是所有尖端東西發(fā)生的地方，所有的AlphaGo、GPT-3等等。

但對于許多公司，尤其是處于早期階段的公司來說，前沿的尖端技術(shù)可能不再是他們所需要的了。獲得一個90%的模型，但可以擴展到1000+用戶，對他們來說往往更有價值。

這并不是說機器學(xué)習(xí)研究沒有重要的位置。絕對不行.

但你可能會在行業(yè)研究實驗室找到更多這類角色，它們能夠承擔(dān)長期資本密集型押注的費用，而不是在種子期初創(chuàng)企業(yè)試圖向投資者展示產(chǎn)品與市場的契合度，因為它獲得了a系列。

如果沒有別的，我相信重要的是使新來的人對數(shù)據(jù)領(lǐng)域的期望合理和校準(zhǔn)。我們必須承認數(shù)據(jù)科學(xué)現(xiàn)在已經(jīng)不同了。我希望這篇文章能夠?qū)裉斓谋荣悹顟B(tài)有所了解。只有當(dāng)我們知道我們在哪里，我們才知道我們需要去哪里。