由Mihail Eric著，《機(jī)器學(xué)習(xí)研究與教育》。

參加KDnuggets工作滿意度調(diào)查，部分靈感來自這個(gè)博客。

以下是受此帖子啟發(fā)的KDnuggets漫畫

數(shù)據(jù)。它無處不在，我們只會得到更多。在過去的5-10年里，數(shù)據(jù)科學(xué)吸引了來自四面八方的新來者試圖嘗到這一禁果。

但是，Data Science招聘的現(xiàn)狀是什么呢？

下面是這篇文章的要點(diǎn)，用兩句話寫給忙碌的讀者。

TLDR:與數(shù)據(jù)科學(xué)相比，數(shù)據(jù)工程公司的開放角色70%。當(dāng)我們培養(yǎng)下一代數(shù)據(jù)和機(jī)器學(xué)習(xí)從業(yè)者時(shí)，讓我們更加強(qiáng)調(diào)工程技能。

作為我為數(shù)據(jù)專業(yè)人員開發(fā)教育平臺的工作的一部分，我對數(shù)據(jù)驅(qū)動（機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)）角色的市場是如何發(fā)展的有很多思考。

在與數(shù)十名數(shù)據(jù)領(lǐng)域的潛在進(jìn)入者（包括世界各地頂級院校的學(xué)生）的交談中，我看到了大量的困惑，即哪些技能對幫助候選人在人群中脫穎而出和為他們的職業(yè)生涯做準(zhǔn)備最重要。

仔細(xì)想想，數(shù)據(jù)科學(xué)家可以負(fù)責(zé)以下任何子集：機(jī)器學(xué)習(xí)建模、可視化、數(shù)據(jù)清理和處理（即SQL爭論）、工程和生產(chǎn)部署。

你是如何開始為新人推薦學(xué)習(xí)課程的？

數(shù)據(jù)勝于雄辯。因此，我決定對自2012年以來Y-Combinator的每家公司雇傭的數(shù)據(jù)角色進(jìn)行分析。指導(dǎo)我研究的問題：

• 公司最常招聘的數(shù)據(jù)角色是什么？
• 我們經(jīng)常談?wù)摰膫鹘y(tǒng)的數(shù)據(jù)科學(xué)家有多受歡迎？
• 啟動數(shù)據(jù)革命的技能在今天是否相關(guān)？

如果你想要完整的細(xì)節(jié)和分析，請繼續(xù)閱讀。

方法論

我選擇對YC投資組合公司進(jìn)行分析，這些公司聲稱將某種數(shù)據(jù)作為其價(jià)值主張的一部分。

為什么要關(guān)注YC？首先，他們很好地提供了一個(gè)易于搜索的公司目錄。

此外，作為一個(gè)特別有前瞻性的孵化器，十多年來資助了來自世界各地的公司，我覺得他們提供了一個(gè)有代表性的市場樣本，可以用來進(jìn)行我的分析。話雖如此，但對我所說的半信半疑，因?yàn)槲覜]有分析超大型科技公司。

我搜索了2012年以來YC所有公司的主頁網(wǎng)址，產(chǎn)生了一個(gè)大約1400家公司的初始池。

為何止步于2012年？2012年是AlexNet贏得ImageNet競賽的一年，有效地啟動了我們現(xiàn)在正在經(jīng)歷的機(jī)器學(xué)習(xí)和數(shù)據(jù)建模浪潮。公平地說，這孕育了最早幾代數(shù)據(jù)第一的公司。

從這個(gè)初始池中，我執(zhí)行了關(guān)鍵字過濾，以減少我必須查看的相關(guān)公司的數(shù)量。特別是，我只考慮了網(wǎng)站至少包含以下術(shù)語之一的公司:AI、CV、NLP、自然語言處理、計(jì)算機(jī)視覺、人工智能、機(jī)器、ML、數(shù)據(jù)。我也忽略了網(wǎng)站鏈接被打破的公司。

這是否產(chǎn)生了大量的假陽性？絕對！但在這里，我試圖盡可能地優(yōu)先考慮高召回，認(rèn)識到我將對相關(guān)角色的單個(gè)網(wǎng)站進(jìn)行更細(xì)粒度的手動檢查。

有了這個(gè)精簡的職位庫，我瀏覽了每個(gè)網(wǎng)站，找到了招聘廣告的位置（通常是Careers、jobs或We正在招聘頁面），并記錄了標(biāo)題中包含數(shù)據(jù)、機(jī)器學(xué)習(xí)、NLP或簡歷的每個(gè)角色。這給了我一個(gè)大約70家不同的公司招聘數(shù)據(jù)角色的池。

這里有一個(gè)提示：可以想象，我錯(cuò)過了一些公司，因?yàn)橛行┚W(wǎng)站信息很少（通常是秘密的），實(shí)際上可能正在招聘。此外，有些公司沒有正式的職業(yè)頁面，但要求潛在候選人直接通過電子郵件聯(lián)系。

我忽略了這兩種類型的公司，而不是接觸他們，所以他們不是本分析的一部分。

另一件事：這項(xiàng)研究的大部分是在2020年的最后幾周完成的。隨著公司定期更新其頁面，打開的角色可能已經(jīng)更改。然而，我不相信這會對得出的結(jié)論產(chǎn)生重大影響。

數(shù)據(jù)從業(yè)者負(fù)責(zé)什么？

在深入研究結(jié)果之前，值得花一些時(shí)間澄清每個(gè)數(shù)據(jù)角色通常負(fù)責(zé)什么職責(zé)。下面是我們將花時(shí)間研究的四個(gè)角色，并對它們的工作進(jìn)行簡短描述：

• 數(shù)據(jù)科學(xué)家:使用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中的各種技術(shù)來處理和分析數(shù)據(jù)。通常負(fù)責(zé)構(gòu)建模型，以探索可以從某個(gè)數(shù)據(jù)源中學(xué)到什么，盡管通常是在原型而不是生產(chǎn)級別。
• data Engineer:開發(fā)一組健壯且可伸縮的數(shù)據(jù)處理工具/平臺。必須適應(yīng)SQL/NOSQL數(shù)據(jù)庫的爭論和構(gòu)建/維護(hù)ETL管道。
• 機(jī)器學(xué)習(xí)(ML)工程師:通常負(fù)責(zé)訓(xùn)練模型和生成模型。需要熟悉一些高級ML框架，并且必須能夠?yàn)槟Ｐ蜆?gòu)建可伸縮的訓(xùn)練、推理和部署管道。
• 機(jī)器學(xué)習(xí)(ML)科學(xué)家:從事尖端研究。通常負(fù)責(zé)探索可以在學(xué)術(shù)會議上發(fā)表的新想法。通常只需要在將新的最先進(jìn)的模型交給ML工程師進(jìn)行生產(chǎn)之前對它們進(jìn)行原型化。

有多少個(gè)數(shù)據(jù)角色？

那么，當(dāng)我們繪制公司招聘的每個(gè)數(shù)據(jù)角色的頻率時(shí)，會發(fā)生什么呢？劇情是這樣的：

與傳統(tǒng)的數(shù)據(jù)科學(xué)家相比，數(shù)據(jù)工程師的開放角色比傳統(tǒng)的數(shù)據(jù)科學(xué)家多了多少。在本例中，原始計(jì)數(shù)對應(yīng)于公司雇用的數(shù)據(jù)工程師的大約比雇用數(shù)據(jù)科學(xué)家的多55%，機(jī)器學(xué)習(xí)工程師的數(shù)量與雇用數(shù)據(jù)科學(xué)家的數(shù)量大致相同。

但我們可以做得更多。如果你看看各個(gè)角色的標(biāo)題，似乎有一些重復(fù)。

讓我們只通過角色整合來提供粗粒度的分類。換句話說，我選擇了描述大致相同的角色，并將它們合并在一個(gè)單一的標(biāo)題下。

這包括以下一組等價(jià)關(guān)系：

• NLP工程師≈CV工程師≈ML工程師≈Deep Learning工程師（雖然域可能不同，但職責(zé)大致相同）
• ML科學(xué)家≈Deep Learning研究員≈ML實(shí)習(xí)生（實(shí)習(xí)描述似乎非常注重研究）
• 數(shù)據(jù)工程師≈數(shù)據(jù)架構(gòu)師≈數(shù)據(jù)主管≈數(shù)據(jù)平臺工程師

如果我們不喜歡處理原始計(jì)數(shù)，這里有一些百分比讓我們放心：

我可能可以將ML研究工程師歸入ML科學(xué)家或ML工程師中的一個(gè)容器，但是考慮到它有點(diǎn)混合角色，所以我保留了它。

總的來說，合并使差異更加明顯！有~70%開放的數(shù)據(jù)工程師職位比數(shù)據(jù)科學(xué)家職位多。此外，還有~40%開放的ML工程師職位比數(shù)據(jù)科學(xué)家職位多。也只有~30%ML科學(xué)家和Data科學(xué)家職位一樣多。

外賣

與其他數(shù)據(jù)驅(qū)動的職業(yè)相比，數(shù)據(jù)工程師的需求越來越高。從某種意義上說，這代表了更廣泛領(lǐng)域的進(jìn)化。

當(dāng)機(jī)器學(xué)習(xí)在5-8年前變得火熱時(shí)，公司決定他們需要能夠在數(shù)據(jù)上制作分類器的人。但后來像TensorFlowandPyTorch等框架變得非常好，使深度學(xué)習(xí)和機(jī)器學(xué)習(xí)開始的能力民主化。

這使數(shù)據(jù)建模技術(shù)商品化了。

今天，幫助公司獲得機(jī)器學(xué)習(xí)和建模對生產(chǎn)的洞察的瓶頸集中在數(shù)據(jù)問題上。

如何注釋數(shù)據(jù)？如何處理和清理數(shù)據(jù)？你怎么把它從A移到B？你是如何以最快的速度每天這樣做的？

所有這些都意味著擁有良好的工程技能。

這聽起來可能很無聊，也不性感，但老派的軟件工程傾向于數(shù)據(jù)可能是我們現(xiàn)在真正需要的。

多年來，由于酷炫的演示和媒體炒作，我們已經(jīng)迷戀上了數(shù)據(jù)專業(yè)人士的想法，他們?yōu)樵紨?shù)據(jù)注入了活力。畢竟，您最后一次看到關(guān)于ETL管道的cruncharticle是什么時(shí)候？

如果沒有別的，我相信固體工程是我們在數(shù)據(jù)科學(xué)工作培訓(xùn)或教育項(xiàng)目中強(qiáng)調(diào)不夠的東西。除了學(xué)習(xí)如何使用linear_regression.fit()之外，還要學(xué)習(xí)如何編寫單元測試！

那么這是否意味著你不應(yīng)該學(xué)習(xí)數(shù)據(jù)科學(xué)？沒有。

這意味著競爭將變得更加激烈。市場上有大量受過數(shù)據(jù)科學(xué)培訓(xùn)的新人，可供選擇的職位將會減少。

總是需要能夠有效地分析和從數(shù)據(jù)中提取可操作的見解的人。但他們必須是好的。

從Tensorflow網(wǎng)站上下載他們Iris DataSet上的預(yù)訓(xùn)練模型可能已經(jīng)不足以獲得數(shù)據(jù)科學(xué)的工作。

然而，很明顯，隨著ML Engineer的大量空缺，公司通常需要一個(gè)混合數(shù)據(jù)實(shí)踐者：能夠構(gòu)建和部署模型的人?；蛘?，更簡潔地說，有人可以使用Tensorflow但也可以從源代碼構(gòu)建它。

這里的另一個(gè)要點(diǎn)是，沒有那么多的ML研究職位。

機(jī)器學(xué)習(xí)研究往往會得到相當(dāng)一部分的炒作，因?yàn)檫@是所有尖端東西發(fā)生的地方，所有的AlphaGo、GPT-3等等。

但對于許多公司，尤其是處于早期階段的公司來說，前沿的尖端技術(shù)可能不再是他們所需要的了。獲得一個(gè)90%的模型，但可以擴(kuò)展到1000+用戶，對他們來說往往更有價(jià)值。

這并不是說機(jī)器學(xué)習(xí)研究沒有重要的位置。絕對不行.

但你可能會在行業(yè)研究實(shí)驗(yàn)室找到更多這類角色，它們能夠承擔(dān)長期資本密集型押注的費(fèi)用，而不是在種子期初創(chuàng)企業(yè)試圖向投資者展示產(chǎn)品與市場的契合度，因?yàn)樗@得了a系列。

如果沒有別的，我相信重要的是使新來的人對數(shù)據(jù)領(lǐng)域的期望合理和校準(zhǔn)。我們必須承認(rèn)數(shù)據(jù)科學(xué)現(xiàn)在已經(jīng)不同了。我希望這篇文章能夠?qū)裉斓谋荣悹顟B(tài)有所了解。只有當(dāng)我們知道我們在哪里，我們才知道我們需要去哪里。