2017年，這兩個大數(shù)據(jù)崗位一定會火

討論哪個大數(shù)據(jù)崗位會火之前，我們先來簡單的分析一下大數(shù)據(jù)領(lǐng)域的行情，這里重點說一下當(dāng)前的情況。

2016年，互聯(lián)網(wǎng)行業(yè)遇到了資本寒冬，拋開大公司不說，一些中小型的公司不斷的縮減預(yù)算，因為很難融到錢。

但是從大數(shù)據(jù)這個角度出發(fā)去看的話，會發(fā)現(xiàn)即使其他類型的技術(shù)崗位行情不太好，但大數(shù)據(jù)領(lǐng)域一直還是不錯的，這一方面國內(nèi)大數(shù)據(jù)政策推動的原因，另一方面是中小型的公司想拿到錢那必須有可談的技術(shù)故事，是的，那就是數(shù)據(jù)，或者說數(shù)據(jù)驅(qū)動。

所以，不管怎么說，17年，整體大數(shù)據(jù)領(lǐng)域的整體市場需求還是偏良性的(相對于其他技術(shù)類型來說)。

但是，受14年開始，大數(shù)據(jù)培訓(xùn)市場批量水流線生產(chǎn)大數(shù)據(jù)工程師的影響，目前大數(shù)據(jù)需求市場會有些小混亂，所謂混亂是指技術(shù)水平參差不齊，包括大量打著大數(shù)據(jù)旗號的傳統(tǒng)數(shù)據(jù)庫工程師(這個很大一部分原因也是培訓(xùn)機構(gòu)造成的)；企業(yè)需求招聘不清晰、對大數(shù)據(jù)崗位定位混亂。

這種亂象，從身邊獲取的簡歷，各種招聘現(xiàn)象，以及各種大數(shù)據(jù)討論社群的相關(guān)話題討論中可以看出。

并且這種亂象會持續(xù)比較長的一段時間，直到接受正統(tǒng)知識體系教育科班大數(shù)據(jù)工程師們充斥需求市場，降低大數(shù)據(jù)速成工種比例，以及企業(yè)公司對大數(shù)據(jù)有足夠的認知之后，才會逐漸消失，市場價格才會逐漸趨于良性(當(dāng)然，那個時候大數(shù)據(jù)領(lǐng)域的技術(shù)福利就會下降了)。

還是以2017年說事，受大數(shù)據(jù)培訓(xùn)市場進一步影響，以及受各大院校16年開始往大數(shù)據(jù)市場池子投放正規(guī)軍的影響，低門檻的大數(shù)據(jù)開發(fā)，以及相對基礎(chǔ)要求較低的數(shù)據(jù)分析類的大數(shù)據(jù)職位會有一些影響。

總體表現(xiàn)就是薪酬好像不會像以前那般好談了，然后就是缺口也在慢慢的變小，因為市場上絕大部分的號稱大數(shù)據(jù)工程師的都是處于這種階段的。

當(dāng)然，能夠上升到諸如大數(shù)據(jù)架構(gòu)師這種級別的人，依然是市場的香饃饃。

基于以上這些情況，在大數(shù)據(jù)領(lǐng)域中，還是有些崗位需求量會走高的。

是的，2017年一定會火的。

算法以及數(shù)據(jù)挖掘

當(dāng)然，這里指的算法以及數(shù)據(jù)挖掘與傳統(tǒng)的可能還是有所區(qū)別的，不管是模式還是所使用的工具，或者各種工程化的形式，區(qū)別還是蠻大的，可能不變就是算法的原理了。

國內(nèi)四五年的大數(shù)據(jù)發(fā)展落地，拋開大些的公司不說，就絕大部分一般公司來說，在基本數(shù)據(jù)處理，數(shù)據(jù)淺層價值的挖掘(最典型如報表價值的輸出)這塊已經(jīng)有足夠的累積了。

那必然會往更高層級去演化，諸如挖掘數(shù)據(jù)中的個性化，做一些更深層次的預(yù)測，以及研究內(nèi)容的深層價值，文本挖掘、NLP等，甚至是深度學(xué)習(xí)，人工智能AI的層級。

這些領(lǐng)域除了比較新的深度學(xué)習(xí)、AI等，其他其實在更早的時候都有人在研究，那在這里為何把他列到這里來說，那是因為個人數(shù)據(jù)挖掘與大數(shù)據(jù)關(guān)聯(lián)之后，很多東西都有其獨特性。

包括數(shù)據(jù)各個階段處理的模式，應(yīng)用場景的不同，實際工業(yè)生產(chǎn)中算法設(shè)計的模式(最典型如大數(shù)據(jù)模式下，偏愛于統(tǒng)計分析即樣本數(shù)對結(jié)果影響較大的算法)，甚至是算法最終工程化的模式，使用到的工具，都有很大差別。

最起碼，我個人認為，傳統(tǒng)的數(shù)據(jù)挖掘工程師與我這里所說的數(shù)據(jù)挖掘工程師還是兩類人。

但是，我們也知道，學(xué)校里是很難有大數(shù)據(jù)挖掘這種專業(yè)存在的，所以，這個崗位的人才來源有兩種：

懂算法以及數(shù)據(jù)挖掘相關(guān)東西，補充大數(shù)據(jù)相關(guān)知識結(jié)構(gòu)體系，逐漸適應(yīng)大數(shù)據(jù)模式下的挖掘模式。

在大數(shù)據(jù)領(lǐng)域摸爬滾打足夠多的年份，逐漸從實操中補充數(shù)據(jù)挖掘相關(guān)知識體系結(jié)構(gòu)。

前一種人理論知識足夠豐富，但是在工程化的能力上以及實際應(yīng)用場景的映射上稍弱，一不留神只能在大公司能找到角色定位，因為中小公司養(yǎng)不起不能實際工程化只會理論的純算法工程師。

后一種人實操能力會比較強，理論相對比較薄弱，但能根據(jù)實際業(yè)務(wù)場景設(shè)計算法模型，還能負責(zé)工程化業(yè)務(wù)化，這種人在中小型公司吃得開，在大公司估計只能淪為純算法研究工程師的工程化助手。

但不管哪種，在2017年，都會迎來需求新高，并且在百家齊放的時代，野路子出身的實操數(shù)據(jù)挖掘選手反倒會更受歡迎，畢竟純算法研究的人力的成本太高。

數(shù)據(jù)爬取工程師

或許有個更為熟知的簡稱“爬蟲工程師”。

其實一直以來，大部分人對于爬蟲工程師的認知，或許并不會歸于大數(shù)據(jù)領(lǐng)域中來，但我個人認為最起碼從16年開始，應(yīng)該是要歸于大數(shù)據(jù)體系的。

我記得在《DT時代變革的反思》一文中(這篇是15年寫的，你看現(xiàn)在互聯(lián)網(wǎng)開放數(shù)據(jù)真的是被重視起來了，茫茫多以公開數(shù)據(jù)起家的公司)，甚至在其他相關(guān)的文章中，一直強調(diào)大數(shù)據(jù)時代一個很重要的數(shù)據(jù)來源，那就是互聯(lián)網(wǎng)公開數(shù)據(jù)集。

在2016年，這個特征表現(xiàn)的尤為突出，各種公司紛紛把目光定準互聯(lián)網(wǎng)公開數(shù)據(jù)集，以期通過互聯(lián)網(wǎng)公開數(shù)據(jù)，挖掘其中的價值，意圖變現(xiàn)。

在他領(lǐng)域就不都說，在大數(shù)據(jù)垂直行業(yè)，比較典型的就是催生了很多以互聯(lián)網(wǎng)公開數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)來源的各種數(shù)據(jù)分析咨詢顧問公司。

關(guān)注新媒體行業(yè)的，估計沒幾個人不關(guān)注的，畢竟沒幾個人不用微信的，諸如新榜(前幾天的2017新榜大會還是蠻轟動的)，其監(jiān)測的數(shù)據(jù)應(yīng)該絕大部分都是通過檢測爬取的方式獲取的。

那么，在2017年，數(shù)據(jù)爬取只會和大數(shù)據(jù)領(lǐng)域聯(lián)結(jié)的更緊密。

作為大數(shù)據(jù)整個業(yè)務(wù)鏈路中的第一環(huán)，負責(zé)數(shù)據(jù)源的接入，有什么理由把人家單獨丟開呢？！

在2017年，“內(nèi)容價值變現(xiàn)”口號“甚囂塵上”同時，作為抓住內(nèi)容第一環(huán)，海量數(shù)據(jù)的獲取，數(shù)據(jù)爬取工程師的重要程度會逐漸被人認可。

當(dāng)然，與此同時，上面說到的數(shù)據(jù)挖掘崗位，偏向于文本挖掘、畫像體系構(gòu)建、NLP之類的，也會更受歡迎。

所以

是的，2017年，這兩個大數(shù)據(jù)的崗位一定會火起來，不信，我們到時候瞧瞧(反正不準你咬不了我 哈哈)。

其實還有更大的證據(jù)證明這兩個崗位一定會火起來。

我司，俺部門(大數(shù)據(jù)部門)招數(shù)據(jù)挖掘&爬蟲工程師，當(dāng)然還有大數(shù)據(jù)開發(fā)工程師，你看連我司都招了，大數(shù)據(jù)市場這幾個職位能不火么。

好了，不扯，說正經(jīng)的(好像說著上面都不是正經(jīng)的樣兒)：

1、需求數(shù)據(jù)挖掘工程師一枚，不要純搞算法理論的，需要有算法分布式工程化能力，需求文本挖掘項目經(jīng)驗。

2、需求大數(shù)據(jù)開發(fā)工程師一枚，三年左右大數(shù)據(jù)技術(shù)背景，各種hadoop生態(tài)組件都玩過點，能夠進行spark應(yīng)用開發(fā)，會點java后端東西，附帶點數(shù)據(jù)挖掘技能更佳。

3、需求爬蟲工程師一枚，java爬蟲、python爬蟲體系都無所謂，需求能夠規(guī)?；⒆詣踊廊?shù)據(jù)，會點java后端技能更好，有微信、微博數(shù)據(jù)爬取更佳。

最后，講真，這兩個方向在大數(shù)據(jù)領(lǐng)域真的是有市場的，挖掘算法類的就說了，跟不少獵頭類的朋友也都聊過，一直是剛需，而爬蟲類的，應(yīng)該會被逐漸重視的，因為數(shù)據(jù)獲取的模式逐漸在改變。