由Mihail Eric著，《機(jī)器學(xué)習(xí)研究與教育》。

參加KDnuggets工作滿意度調(diào)查，部分靈感來(lái)自這個(gè)博客。

以下是受此帖子啟發(fā)的KDnuggets漫畫(huà)

數(shù)據(jù)。它無(wú)處不在，我們只會(huì)得到更多。在過(guò)去的5-10年里，數(shù)據(jù)科學(xué)吸引了來(lái)自四面八方的新來(lái)者試圖嘗到這一禁果。

但是，Data Science招聘的現(xiàn)狀是什么呢？

下面是這篇文章的要點(diǎn)，用兩句話寫(xiě)給忙碌的讀者。

TLDR:與數(shù)據(jù)科學(xué)相比，數(shù)據(jù)工程公司的開(kāi)放角色70%。當(dāng)我們培養(yǎng)下一代數(shù)據(jù)和機(jī)器學(xué)習(xí)從業(yè)者時(shí)，讓我們更加強(qiáng)調(diào)工程技能。

作為我為數(shù)據(jù)專(zhuān)業(yè)人員開(kāi)發(fā)教育平臺(tái)的工作的一部分，我對(duì)數(shù)據(jù)驅(qū)動(dòng)（機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)）角色的市場(chǎng)是如何發(fā)展的有很多思考。

在與數(shù)十名數(shù)據(jù)領(lǐng)域的潛在進(jìn)入者（包括世界各地頂級(jí)院校的學(xué)生）的交談中，我看到了大量的困惑，即哪些技能對(duì)幫助候選人在人群中脫穎而出和為他們的職業(yè)生涯做準(zhǔn)備最重要。

仔細(xì)想想，數(shù)據(jù)科學(xué)家可以負(fù)責(zé)以下任何子集：機(jī)器學(xué)習(xí)建模、可視化、數(shù)據(jù)清理和處理（即SQL爭(zhēng)論）、工程和生產(chǎn)部署。

你是如何開(kāi)始為新人推薦學(xué)習(xí)課程的？

數(shù)據(jù)勝于雄辯。因此，我決定對(duì)自2012年以來(lái)Y-Combinator的每家公司雇傭的數(shù)據(jù)角色進(jìn)行分析。指導(dǎo)我研究的問(wèn)題：

• 公司最常招聘的數(shù)據(jù)角色是什么？
• 我們經(jīng)常談?wù)摰膫鹘y(tǒng)的數(shù)據(jù)科學(xué)家有多受歡迎？
• 啟動(dòng)數(shù)據(jù)革命的技能在今天是否相關(guān)？

如果你想要完整的細(xì)節(jié)和分析，請(qǐng)繼續(xù)閱讀。

方法論

我選擇對(duì)YC投資組合公司進(jìn)行分析，這些公司聲稱將某種數(shù)據(jù)作為其價(jià)值主張的一部分。

為什么要關(guān)注YC？首先，他們很好地提供了一個(gè)易于搜索的公司目錄。

此外，作為一個(gè)特別有前瞻性的孵化器，十多年來(lái)資助了來(lái)自世界各地的公司，我覺(jué)得他們提供了一個(gè)有代表性的市場(chǎng)樣本，可以用來(lái)進(jìn)行我的分析。話雖如此，但對(duì)我所說(shuō)的半信半疑，因?yàn)槲覜](méi)有分析超大型科技公司。

我搜索了2012年以來(lái)YC所有公司的主頁(yè)網(wǎng)址，產(chǎn)生了一個(gè)大約1400家公司的初始池。

為何止步于2012年？2012年是AlexNet贏得ImageNet競(jìng)賽的一年，有效地啟動(dòng)了我們現(xiàn)在正在經(jīng)歷的機(jī)器學(xué)習(xí)和數(shù)據(jù)建模浪潮。公平地說(shuō)，這孕育了最早幾代數(shù)據(jù)第一的公司。

從這個(gè)初始池中，我執(zhí)行了關(guān)鍵字過(guò)濾，以減少我必須查看的相關(guān)公司的數(shù)量。特別是，我只考慮了網(wǎng)站至少包含以下術(shù)語(yǔ)之一的公司:AI、CV、NLP、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、人工智能、機(jī)器、ML、數(shù)據(jù)。我也忽略了網(wǎng)站鏈接被打破的公司。

這是否產(chǎn)生了大量的假陽(yáng)性？絕對(duì)！但在這里，我試圖盡可能地優(yōu)先考慮高召回，認(rèn)識(shí)到我將對(duì)相關(guān)角色的單個(gè)網(wǎng)站進(jìn)行更細(xì)粒度的手動(dòng)檢查。

有了這個(gè)精簡(jiǎn)的職位庫(kù)，我瀏覽了每個(gè)網(wǎng)站，找到了招聘廣告的位置（通常是Careers、jobs或We正在招聘頁(yè)面），并記錄了標(biāo)題中包含數(shù)據(jù)、機(jī)器學(xué)習(xí)、NLP或簡(jiǎn)歷的每個(gè)角色。這給了我一個(gè)大約70家不同的公司招聘數(shù)據(jù)角色的池。

這里有一個(gè)提示：可以想象，我錯(cuò)過(guò)了一些公司，因?yàn)橛行┚W(wǎng)站信息很少（通常是秘密的），實(shí)際上可能正在招聘。此外，有些公司沒(méi)有正式的職業(yè)頁(yè)面，但要求潛在候選人直接通過(guò)電子郵件聯(lián)系。

我忽略了這兩種類(lèi)型的公司，而不是接觸他們，所以他們不是本分析的一部分。

另一件事：這項(xiàng)研究的大部分是在2020年的最后幾周完成的。隨著公司定期更新其頁(yè)面，打開(kāi)的角色可能已經(jīng)更改。然而，我不相信這會(huì)對(duì)得出的結(jié)論產(chǎn)生重大影響。

數(shù)據(jù)從業(yè)者負(fù)責(zé)什么？

在深入研究結(jié)果之前，值得花一些時(shí)間澄清每個(gè)數(shù)據(jù)角色通常負(fù)責(zé)什么職責(zé)。下面是我們將花時(shí)間研究的四個(gè)角色，并對(duì)它們的工作進(jìn)行簡(jiǎn)短描述：

• 數(shù)據(jù)科學(xué)家:使用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中的各種技術(shù)來(lái)處理和分析數(shù)據(jù)。通常負(fù)責(zé)構(gòu)建模型，以探索可以從某個(gè)數(shù)據(jù)源中學(xué)到什么，盡管通常是在原型而不是生產(chǎn)級(jí)別。
• data Engineer:開(kāi)發(fā)一組健壯且可伸縮的數(shù)據(jù)處理工具/平臺(tái)。必須適應(yīng)SQL/NOSQL數(shù)據(jù)庫(kù)的爭(zhēng)論和構(gòu)建/維護(hù)ETL管道。
• 機(jī)器學(xué)習(xí)(ML)工程師:通常負(fù)責(zé)訓(xùn)練模型和生成模型。需要熟悉一些高級(jí)ML框架，并且必須能夠?yàn)槟Ｐ蜆?gòu)建可伸縮的訓(xùn)練、推理和部署管道。
• 機(jī)器學(xué)習(xí)(ML)科學(xué)家:從事尖端研究。通常負(fù)責(zé)探索可以在學(xué)術(shù)會(huì)議上發(fā)表的新想法。通常只需要在將新的最先進(jìn)的模型交給ML工程師進(jìn)行生產(chǎn)之前對(duì)它們進(jìn)行原型化。

有多少個(gè)數(shù)據(jù)角色？

那么，當(dāng)我們繪制公司招聘的每個(gè)數(shù)據(jù)角色的頻率時(shí)，會(huì)發(fā)生什么呢？劇情是這樣的：

與傳統(tǒng)的數(shù)據(jù)科學(xué)家相比，數(shù)據(jù)工程師的開(kāi)放角色比傳統(tǒng)的數(shù)據(jù)科學(xué)家多了多少。在本例中，原始計(jì)數(shù)對(duì)應(yīng)于公司雇用的數(shù)據(jù)工程師的大約比雇用數(shù)據(jù)科學(xué)家的多55%，機(jī)器學(xué)習(xí)工程師的數(shù)量與雇用數(shù)據(jù)科學(xué)家的數(shù)量大致相同。

但我們可以做得更多。如果你看看各個(gè)角色的標(biāo)題，似乎有一些重復(fù)。

讓我們只通過(guò)角色整合來(lái)提供粗粒度的分類(lèi)。換句話說(shuō)，我選擇了描述大致相同的角色，并將它們合并在一個(gè)單一的標(biāo)題下。

這包括以下一組等價(jià)關(guān)系：

• NLP工程師≈CV工程師≈ML工程師≈Deep Learning工程師（雖然域可能不同，但職責(zé)大致相同）
• ML科學(xué)家≈Deep Learning研究員≈ML實(shí)習(xí)生（實(shí)習(xí)描述似乎非常注重研究）
• 數(shù)據(jù)工程師≈數(shù)據(jù)架構(gòu)師≈數(shù)據(jù)主管≈數(shù)據(jù)平臺(tái)工程師

如果我們不喜歡處理原始計(jì)數(shù)，這里有一些百分比讓我們放心：

我可能可以將ML研究工程師歸入ML科學(xué)家或ML工程師中的一個(gè)容器，但是考慮到它有點(diǎn)混合角色，所以我保留了它。

總的來(lái)說(shuō)，合并使差異更加明顯！有~70%開(kāi)放的數(shù)據(jù)工程師職位比數(shù)據(jù)科學(xué)家職位多。此外，還有~40%開(kāi)放的ML工程師職位比數(shù)據(jù)科學(xué)家職位多。也只有~30%ML科學(xué)家和Data科學(xué)家職位一樣多。

外賣(mài)

與其他數(shù)據(jù)驅(qū)動(dòng)的職業(yè)相比，數(shù)據(jù)工程師的需求越來(lái)越高。從某種意義上說(shuō)，這代表了更廣泛領(lǐng)域的進(jìn)化。

當(dāng)機(jī)器學(xué)習(xí)在5-8年前變得火熱時(shí)，公司決定他們需要能夠在數(shù)據(jù)上制作分類(lèi)器的人。但后來(lái)像TensorFlowandPyTorch等框架變得非常好，使深度學(xué)習(xí)和機(jī)器學(xué)習(xí)開(kāi)始的能力民主化。

這使數(shù)據(jù)建模技術(shù)商品化了。

今天，幫助公司獲得機(jī)器學(xué)習(xí)和建模對(duì)生產(chǎn)的洞察的瓶頸集中在數(shù)據(jù)問(wèn)題上。

如何注釋數(shù)據(jù)？如何處理和清理數(shù)據(jù)？你怎么把它從A移到B？你是如何以最快的速度每天這樣做的？

所有這些都意味著擁有良好的工程技能。

這聽(tīng)起來(lái)可能很無(wú)聊，也不性感，但老派的軟件工程傾向于數(shù)據(jù)可能是我們現(xiàn)在真正需要的。

多年來(lái)，由于酷炫的演示和媒體炒作，我們已經(jīng)迷戀上了數(shù)據(jù)專(zhuān)業(yè)人士的想法，他們?yōu)樵紨?shù)據(jù)注入了活力。畢竟，您最后一次看到關(guān)于ETL管道的cruncharticle是什么時(shí)候？

如果沒(méi)有別的，我相信固體工程是我們?cè)跀?shù)據(jù)科學(xué)工作培訓(xùn)或教育項(xiàng)目中強(qiáng)調(diào)不夠的東西。除了學(xué)習(xí)如何使用linear_regression.fit()之外，還要學(xué)習(xí)如何編寫(xiě)單元測(cè)試！

那么這是否意味著你不應(yīng)該學(xué)習(xí)數(shù)據(jù)科學(xué)？沒(méi)有。

這意味著競(jìng)爭(zhēng)將變得更加激烈。市場(chǎng)上有大量受過(guò)數(shù)據(jù)科學(xué)培訓(xùn)的新人，可供選擇的職位將會(huì)減少。

總是需要能夠有效地分析和從數(shù)據(jù)中提取可操作的見(jiàn)解的人。但他們必須是好的。

從Tensorflow網(wǎng)站上下載他們Iris DataSet上的預(yù)訓(xùn)練模型可能已經(jīng)不足以獲得數(shù)據(jù)科學(xué)的工作。

然而，很明顯，隨著ML Engineer的大量空缺，公司通常需要一個(gè)混合數(shù)據(jù)實(shí)踐者：能夠構(gòu)建和部署模型的人?；蛘撸?jiǎn)潔地說(shuō)，有人可以使用Tensorflow但也可以從源代碼構(gòu)建它。

這里的另一個(gè)要點(diǎn)是，沒(méi)有那么多的ML研究職位。

機(jī)器學(xué)習(xí)研究往往會(huì)得到相當(dāng)一部分的炒作，因?yàn)檫@是所有尖端東西發(fā)生的地方，所有的AlphaGo、GPT-3等等。

但對(duì)于許多公司，尤其是處于早期階段的公司來(lái)說(shuō)，前沿的尖端技術(shù)可能不再是他們所需要的了。獲得一個(gè)90%的模型，但可以擴(kuò)展到1000+用戶，對(duì)他們來(lái)說(shuō)往往更有價(jià)值。

這并不是說(shuō)機(jī)器學(xué)習(xí)研究沒(méi)有重要的位置。絕對(duì)不行.

但你可能會(huì)在行業(yè)研究實(shí)驗(yàn)室找到更多這類(lèi)角色，它們能夠承擔(dān)長(zhǎng)期資本密集型押注的費(fèi)用，而不是在種子期初創(chuàng)企業(yè)試圖向投資者展示產(chǎn)品與市場(chǎng)的契合度，因?yàn)樗@得了a系列。

如果沒(méi)有別的，我相信重要的是使新來(lái)的人對(duì)數(shù)據(jù)領(lǐng)域的期望合理和校準(zhǔn)。我們必須承認(rèn)數(shù)據(jù)科學(xué)現(xiàn)在已經(jīng)不同了。我希望這篇文章能夠?qū)裉斓谋荣悹顟B(tài)有所了解。只有當(dāng)我們知道我們?cè)谀睦?，我們才知道我們需要去哪里?