普通程序員，如何轉(zhuǎn)為當(dāng)前緊缺的大數(shù)據(jù)相關(guān)人才？

前段時間跟候選人聊天，一個有多年工作經(jīng)驗的資深 iOS 工程師告訴我，他最近正在學(xué)習(xí) Machine Learning 相關(guān)的知識。他覺得，對于程序員來說，技術(shù)進步大大超過世人的想象，如果你不跟隨時代進步，就會落后于時代。
我其實已經(jīng)聽過很多人跟我說過類似的話。只不過不同人嘴里提到的詞匯各有不同——大數(shù)據(jù)、數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能…… 這些當(dāng)前火熱的概念各有不同，又有交叉，總之都是推動我們掌控好海量數(shù)據(jù)，并從中提取到有價值信息的技術(shù)。

程序員對這些技術(shù)躍躍欲試，知乎上「深度學(xué)習(xí)如何入門?」「普通程序員如何向人工智能靠攏?」等問題都有很高的關(guān)注度。我們在招聘市場也能夠看到，越來越多的技術(shù)候選人在跳槽時會思考，能否從事相關(guān)崗位的工作。
從 100offer 平臺上的數(shù)據(jù)來看，大數(shù)據(jù)相關(guān)職位的面試邀請占比也與日俱增。

當(dāng)前，很多候選人對大數(shù)據(jù)相關(guān)崗位的青睞并非偶然
處理器速度的加快，大規(guī)模數(shù)據(jù)處理技術(shù)的日漸成熟，讓我們從 Big Data 中快速提取有價值的信息成為可能。幾十年前神經(jīng)網(wǎng)絡(luò)算法被提出之初，捉襟見肘的計算能力很難讓這個計算密集的算法發(fā)揮出它應(yīng)有的作用。而現(xiàn)在，PB 級別的數(shù)據(jù)也可以在短時間內(nèi)完成機器學(xué)習(xí)的模型訓(xùn)練。這讓格靈深瞳、科大訊飛等高度依賴深度學(xué)習(xí)的圖像、語音識別公司得以對產(chǎn)品進行快速迭代。
互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，讓不少公司擁有了成千上萬的用戶數(shù)據(jù)，各家都想挖掘這座儲量豐富的金礦，由此延伸出數(shù)據(jù)在自家業(yè)務(wù)不同應(yīng)用場景中的巨大價值——京東、淘寶等電商網(wǎng)站利用用戶畫像做個性化推薦，PayPal、宜信等互聯(lián)網(wǎng)金融公司通過識別高危行為的特征實施風(fēng)險控制，滴滴、達達等出行、配送業(yè)務(wù)利用交易數(shù)據(jù)進行實時定價從而使利潤最大化……
還有一些公司，借助大數(shù)據(jù)相關(guān)技術(shù)創(chuàng)造出新的業(yè)務(wù)模式——比如利用算法做個性化內(nèi)容推薦的今日頭條、一點資訊，比如通過監(jiān)測服務(wù)整合海量數(shù)據(jù)、做數(shù)據(jù)價值變現(xiàn)的 TalkingData，當(dāng)然還有一些底層架構(gòu)的支持服務(wù)商如阿里云、UCloud 也開通了托管集群、機器學(xué)習(xí)平臺等服務(wù)。
這些企業(yè)整體對大數(shù)據(jù)、數(shù)據(jù)挖掘相關(guān)人才的需求非常之大，導(dǎo)致行業(yè)內(nèi)人才的供給相對不足。因而薪資通常也相對高一些。

再加上這些崗位相比于傳統(tǒng)的軟件工程，有更高的挑戰(zhàn)空間和更大的難度，自然引得更多人才進入到這個領(lǐng)域。
最近，為了了解大數(shù)據(jù)相關(guān)工程師的招聘現(xiàn)狀，我們走訪了幾家緊需大數(shù)據(jù)相關(guān)人才的公司，與他們的技術(shù) Leader 聊了聊相關(guān)人才的招聘現(xiàn)狀。
對于工程師來說，可以考慮的大數(shù)據(jù)相關(guān)崗位有哪些?
從各家招聘的工程師來看，與大數(shù)據(jù)打交道的核心工程師通常分為這么兩大類
大數(shù)據(jù)平臺/開發(fā)工程師
他們的工作重心在于數(shù)據(jù)的收集、存儲、管理與處理。
通常比較偏底層基礎(chǔ)架構(gòu)的開發(fā)和維護，需要這些工程師對 hadoop/Spark 生態(tài)有比較清晰的認(rèn)識，懂分布式集群的開發(fā)和維護。熟悉 NoSQL，了解 ETL，了解數(shù)據(jù)倉庫的構(gòu)建，還可能接觸機器學(xué)習(xí)平臺等平臺搭建。
有些大數(shù)據(jù)開發(fā)工程師做的工作可能也會偏重于應(yīng)用層，將算法工程師訓(xùn)練好的模型在邏輯應(yīng)用層進行實現(xiàn)，不過有些公司會將此類工程師歸入軟件開發(fā)團隊而非大數(shù)據(jù)團隊。
算法&數(shù)據(jù)挖掘工程師
此類工程師的工作重心在于數(shù)據(jù)的價值挖掘。
他們通常利用算法、機器學(xué)習(xí)等手段，從海量數(shù)據(jù)中挖掘出有價值的信息，或者解決業(yè)務(wù)上的問題。雖然技能構(gòu)成類似，但是在不同團隊中，因為面對的業(yè)務(wù)場景不同，對算法 & 數(shù)據(jù)挖掘工程師需要的技能有不同側(cè)重點。因而這個類目下還可細(xì)分為兩個子類：
a. 算法工程師
這類團隊面對的問題通常是明確而又有更高難度的，比如人臉識別、比如在線支付的風(fēng)險攔截。這些問題經(jīng)過了清晰的定義和高度的抽象，本身又存在足夠的難度，需要工程師在所研究的問題上有足夠的專注力，對相關(guān)的算法有足夠深度的了解，才能夠把模型調(diào)到極致，進而解決問題。這類工程師的 Title 一般是「算法工程師」。
b. 數(shù)據(jù)挖掘工程師
有的團隊面對的挑戰(zhàn)不限于某一個具體問題，而在于如何將復(fù)雜的業(yè)務(wù)邏輯轉(zhuǎn)化為算法、模型問題，從而利用海量數(shù)據(jù)解決這個問題。這類問題不需要工程師在算法上探索得足夠深入，但是需要足夠的廣度和交叉技能。他們需要了解常見的機器學(xué)習(xí)算法，并知曉各種算法的利弊。同時他們也要有迅速理解業(yè)務(wù)的能力，知曉數(shù)據(jù)的來源、去向和處理的過程，并對數(shù)據(jù)有高度的敏感性。這類工程師的 Title 以「數(shù)據(jù)挖掘工程師」居多。
從技術(shù) Leader 對人才的要求看，轉(zhuǎn)崗機會在哪里?
沒有一個技術(shù) Leader 不希望自己手下是一班虎將。他們期盼團隊中每個工程師都是能獨當(dāng)一面的全才。
基礎(chǔ)的邏輯、英文等素質(zhì)是必須的，聰明、學(xué)習(xí)能力強是未來成長空間的保障，計算機基礎(chǔ)需要扎實，最好做過大規(guī)模集群的開發(fā)和調(diào)優(yōu)，會數(shù)據(jù)處理，還熟悉聚類、分類、推薦、NLP、神經(jīng)網(wǎng)絡(luò)等各種常見算法，如果還實現(xiàn)過、優(yōu)化過上層的數(shù)據(jù)應(yīng)用就更好了……
嗯，以上就是技術(shù) Leader 心中完美的大數(shù)據(jù)相關(guān)候選人形象。
但是，如果都以盡善盡美的標(biāo)準(zhǔn)進行招聘的話，恐怕沒幾個團隊能夠招到人。現(xiàn)在大數(shù)據(jù)、數(shù)據(jù)挖掘火起來本身就沒幾年，如果想招到一個有多年經(jīng)驗的全才，難度不是一般的高。在這點上，各位技術(shù) Leader 都有清晰的認(rèn)識。
不過，全才難招，并不代表 Leader 會放低招聘要求。他們絕不容忍整個團隊的戰(zhàn)斗力受到影響。面對招聘難題，他們會有一些對應(yīng)的措施——
1. 可以不求全才，但要求團隊成員各有所長，整體可形成配合
剛剛提到了，要想為大數(shù)據(jù)相關(guān)崗位找到一個各方面條件都不錯的人才，難度非常大。因而技術(shù) Leader 會更加務(wù)實地去招聘「更適合的人」——針對不同崗位吸收具有不同特長的人才。
以格靈深瞳為例，這是一家計算機視覺領(lǐng)域的大數(shù)據(jù)公司，團隊中既需要對算法進行過透徹研究的人才，把圖像識別有關(guān)算法模型調(diào)整到極致，也需要工程實力比較強的人才，將訓(xùn)練好的算法模型在產(chǎn)品中進行高性能的實現(xiàn)，或者幫助團隊搭建一整套視頻圖像數(shù)據(jù)采集、標(biāo)注、機器學(xué)習(xí)、自動化測試、產(chǎn)品實現(xiàn)的平臺。
對于前一種工程師，他需要在深度學(xué)習(xí)算法甚至于在計算視覺領(lǐng)域都有過深入的研究，編程能力可以稍弱一些;而對于后一種工程師，如果他擁有強悍的工程能力，即使沒有在深度學(xué)習(xí)算法上進行過深入研究，也可以很快接手對應(yīng)的工作。這兩種人才需在工作中進行密切的配合，共同推動公司產(chǎn)品的產(chǎn)出與優(yōu)化。
即使在算法工程師團隊內(nèi)部，不同成員之間的技能側(cè)重點也可能各不相同。
比如個性化內(nèi)容推薦資訊平臺——一點資訊的算法團隊中，一部分工程師會專注于核心算法問題的研究，對解決一個非常明確的問題(比如通過語義分析進行文章分類的問題，如何判斷「標(biāo)題黨」的問題等等)，他們需要有足夠深度的了解;另外一部分工程師，則專注于算法模型在產(chǎn)品中的應(yīng)用，他們應(yīng)該對業(yè)務(wù)非常有 sense，具備強悍的分析能力，能夠從復(fù)雜的業(yè)務(wù)問題中理出頭緒，將業(yè)務(wù)問題抽象為算法問題，并利用合適的模型去解決。兩者一個偏重于核心算法的研究，一個偏重業(yè)務(wù)分析與實現(xiàn)，工作中互為補充，共同優(yōu)化個性化內(nèi)容推薦的體驗。
對于后者來說，因為對核心算法能力要求沒有前者那么高，更重視代碼能力與業(yè)務(wù) sense，因而這個團隊可以包容背景更豐富的人才，比如已經(jīng)補充過算法知識的普通工程師，以及在研究生階段對算法有一些了解的應(yīng)屆生。
雇主對大數(shù)據(jù)相關(guān)候選人的經(jīng)驗、背景有更大接受空間，這就給了非大數(shù)據(jù)相關(guān)候選人進入大數(shù)據(jù)、算法團隊的機會。此時，梳理清楚自己現(xiàn)有技能對于新團隊的價值非常重要，這是促使新團隊決定吸收自己的關(guān)鍵。
現(xiàn)在在云計算服務(wù)商 UCloud 工作的宋翔，過去四五年一直致力于計算機底層系統(tǒng)的研究。在百度，他曾經(jīng)為深度學(xué)習(xí)算法提供支持，用硬件和底層系統(tǒng)優(yōu)化，加快機器學(xué)習(xí)算法的運算速度。進入 UCloud 之初，宋翔主要研究的方向也是如何利用 GPU 服務(wù)器進行運算加速。
后來，考慮到越來越多企業(yè)依賴機器學(xué)習(xí)進行數(shù)據(jù)挖掘，UCloud 期望推出一個兼容主流開源機器學(xué)習(xí)系統(tǒng)的 Paas，使得使用這個機器學(xué)習(xí)平臺的工程師能夠?qū)Ｗ⒂谀Ｐ陀?xùn)練本身，而無需考慮模型部署、系統(tǒng)性能、擴展性、計算資源等問題。
宋翔在底層系統(tǒng)優(yōu)化上的特長剛好可以在這項工作中發(fā)揮，因而他立刻被賦予主導(dǎo)這個平臺搭建的任務(wù)。
讓算法在機器上運轉(zhuǎn)得夠快，才能夠縮短模型迭代的時間，加速模型優(yōu)化的過程。大部分算法工程師可能對此了解甚少，但是宋翔可以充分發(fā)揮自己的特長，利用硬件和底層系統(tǒng)加速機器學(xué)習(xí)算法。
當(dāng)需要訓(xùn)練的數(shù)據(jù)量特別大的時候，比如幾十 T 以上甚至 PB 級的時候，在分布式系統(tǒng)中， I/O 或者網(wǎng)絡(luò)可能成為瓶頸了，這時需要系統(tǒng)工程師的介入，看怎么優(yōu)化數(shù)據(jù)傳輸使得 I/O 的使用率提高;看怎么去存儲，用 HDFS 還是用 Key Value Store 或者其他存儲方式，可以讓你更快地拿到數(shù)據(jù)去計算，或者你用磁盤的存儲還是 SSD 存儲 或者 in-memory 的存儲。這其中，系統(tǒng)工程師也需要平衡成本和效率之間的關(guān)系。
系統(tǒng)工程師還可以幫助你設(shè)計一個系統(tǒng)，讓算法工程師快速地提交任務(wù)，或者方便地同時訓(xùn)練多個模型，嘗試多個參數(shù)。
系統(tǒng)工程師非常擅長把本來串行的工作拆分之后變成并行工作。比如可以把數(shù)據(jù)預(yù)處理和深度學(xué)習(xí)運算做一個并發(fā)，等等。
除了對底層系統(tǒng)有深入了解之外，他現(xiàn)在也在了解機器學(xué)習(xí)的算法。他帶領(lǐng)的小團隊中，除了有2名系統(tǒng)工程師之外，還有兩名算法工程師，他一直鼓勵兩種工程師互相學(xué)習(xí)，共同提高，這樣才能夠讓整個團隊效率最大化。如果系統(tǒng)工程師對算法不了解的話，可能也不知道怎么去優(yōu)化算法運行的效率;算法工程師也應(yīng)大概了解不同模型在CPU、GPU機器上的運算速度，幫助自己設(shè)計出更高效的算法。
對于期望轉(zhuǎn)崗為大數(shù)據(jù)相關(guān)的普通工程師來說，一旦通過自身擅長的技能切入新團隊之后，就有了更多橫向發(fā)展的機會，幫助自己在大數(shù)據(jù)相關(guān)領(lǐng)域建立更強競爭力。
2. 相比于苛求當(dāng)前技能水平，更看重扎實的基礎(chǔ)和成長空間
無論何種工程師，雇主都希望人才具備綜合素質(zhì)，而非片面苛求當(dāng)前的技能水平。特別是對于當(dāng)前市場供給偏少的大數(shù)據(jù)相關(guān)領(lǐng)域，已經(jīng)在大數(shù)據(jù)、算法方面有所建樹的人才畢竟只占少數(shù)。具備不錯的基礎(chǔ)素養(yǎng)，并擁有巨大潛力的工程師也很受企業(yè)青睞。這些工程師可以利用已有的工程實力完成一部分基礎(chǔ)工作，并在經(jīng)過1-2年的鍛煉之后，接手更復(fù)雜的問題。
我們可以把大數(shù)據(jù)相關(guān)工程師能力模型抽象為以下的核心技能金字塔

越是偏金字塔底部的素養(yǎng)，對于企業(yè)來說越是重要。最底部的基礎(chǔ)素養(yǎng)，代表的是未來的成長空間。當(dāng)前互聯(lián)網(wǎng)高速發(fā)展，每家企業(yè)都是跑步前進，如果一個當(dāng)前技能不錯的工程師，未來成長空間有限，也可能變成企業(yè)的負(fù)擔(dān)。
再上一層的計算機基礎(chǔ) – 基本的算法與數(shù)據(jù)結(jié)構(gòu)，某一門編程語言的精通，是幾乎每個工程師崗位都重視的能力。一個基礎(chǔ)不扎實的程序員，可能會讓企業(yè)懷疑其學(xué)習(xí)能力。扎實的基礎(chǔ)，會為應(yīng)用技能的學(xué)習(xí)掃除障礙，更容易建立深度的理解;而數(shù)學(xué)基礎(chǔ)對于算法理解上的幫助十分重要。
這最下方的兩層構(gòu)成了一個工程師人才的基礎(chǔ)素養(yǎng)。如果底層的基礎(chǔ)比較扎實，掌握應(yīng)用層技能所需要的時間也許比我們預(yù)想的要少一些。
格靈深瞳技術(shù)副總裁 – 鄧亞峰提到：
對于計算機視覺領(lǐng)域算法工程師，我們當(dāng)然希望招募無論在基礎(chǔ)層面還是應(yīng)用層面，技能都完備的候選人。
但是如果你算法、數(shù)據(jù)結(jié)構(gòu)比較強，編程語言上對 C++ 比較理解，那你在應(yīng)用層的學(xué)習(xí)上，可能會比其他人快很多。比如在深度學(xué)習(xí)上付出 1-2 年的時間，在圖像 domain knowledge 上付出半年到一年就可以有基礎(chǔ)的了解。
其實現(xiàn)在計算機視覺領(lǐng)域更加依靠深度學(xué)習(xí)之后，特征選取等依賴 domain knowledge 的門檻已經(jīng)降下來了，因而我曾見到不少有很好基礎(chǔ)的人，包括一些基礎(chǔ)扎實的應(yīng)屆生，在圖像領(lǐng)域工作了半年到一年之后就能拿到不錯的成績。
在看待大數(shù)據(jù)工程師的招聘上，TalkingData 的技術(shù) VP 閆志濤和首席數(shù)據(jù)科學(xué)家張夏天也提到：
TalkingData 的大數(shù)據(jù)工程師工作中非常依賴 Spark 技能，但是了解 Spark 本身并沒有那么難，因而候選人的 Spark 技能對我而言并不是最強吸引點。
相比于對 Spark 了解更多的人，我更愿意招收那些 Java 學(xué)得好的人。因為 Spark 的接口學(xué)習(xí)起來相對容易，但是要想精通 Java 是一件很難的事情。
如果你把 Java 或者 C++ 學(xué)透了，你對計算機技術(shù)的認(rèn)識是不一樣的。這其實是道和術(shù)的問題。
TalkingData 的 兩位 Leader 也為我舉了一個自家團隊中的例子：
他們在14年招收了一位專科學(xué)校畢業(yè)的工程師，在上一家公司做過一點推薦算法，會寫 Hadoop Mapreduce，但是并沒有在大數(shù)據(jù)上有深入的研究。這位工程師當(dāng)時的大數(shù)據(jù)技能并不能達到 TalkingData 的招聘標(biāo)準(zhǔn)，不過好在他思維清晰，看待問題有自己獨特的想法。加之 Java 基礎(chǔ)不錯，在上一家公司做事情也很扎實，所以就招聘進來了。
說到這里，兩位 Leader 坦言「當(dāng)時幸好還不怎么挑簡歷，也許按照后來的標(biāo)準(zhǔn)未必能把這位工程師招聘進來。
不曾想到，這位工程師主動性非常強，Leader 只需給到工作方向，他就會驅(qū)動自己學(xué)習(xí)相關(guān)知識，快速完成目標(biāo)。2年以后，這位工程師的 Spark 能力已經(jīng)鍛煉得非常強悍，用 Leader 的話說「可以以一當(dāng)十」;他對大數(shù)據(jù)、機器學(xué)習(xí)都有濃厚的興趣，Spark 基礎(chǔ)夯實之后，又轉(zhuǎn)崗到了算法工程師團隊，寫出了 TalkingData 機器學(xué)習(xí)平臺的核心代碼，這個平臺大大提高了團隊的機器學(xué)習(xí)效率。
從上邊的例子中，我們也可以額外收獲一個信息，相比于跳槽轉(zhuǎn)崗，內(nèi)部轉(zhuǎn)崗會更容易一些。因為在公司內(nèi)部中，企業(yè)有充分的時間考察工程師的能力、潛力。企業(yè)對工程師的認(rèn)可度提升之后，才會更加放心的予以新的挑戰(zhàn)。
趙平是宜信技術(shù)研發(fā)中心的一位工程師，加入宜信之前，他曾幫助中國移動機頂盒業(yè)務(wù)的后端架構(gòu)進行服務(wù)化轉(zhuǎn)型。抱著對基礎(chǔ)平臺架構(gòu)的濃厚興趣，趙平加入了宜信。他在這家公司做的第一個項目是分布式存儲系統(tǒng)的設(shè)計和開發(fā)。第一個項目完美收官之后，他的學(xué)習(xí)能力、基礎(chǔ)能力備受褒獎。當(dāng)宜信開始組建大數(shù)據(jù)平臺團隊時，趙平看到了自己理想的職業(yè)發(fā)展方向并提交了轉(zhuǎn)崗申請，基于他過往的優(yōu)異表現(xiàn)，順利地拿到了這個工作機會。
轉(zhuǎn)崗之后，趙平也遇到了一些挑戰(zhàn)，比如大數(shù)據(jù)涉及的知識點、需要用到的工具更加豐富，Spark，Scala，HBase，MongoDB…，數(shù)不清的技能都需要邊用邊學(xué)，持續(xù)惡補;比如思維方式上，需要從原來的定時數(shù)據(jù)處理思維向 Spark 所代表的流式實時處理思維轉(zhuǎn)變。不過基于他扎實的基礎(chǔ)，以及之前做分布式存儲系統(tǒng)經(jīng)驗的平滑過渡，加之整個團隊中良好技術(shù)氛圍的協(xié)助，最終順利完成第一個大數(shù)據(jù)項目的開發(fā)工作。
對希望轉(zhuǎn)做大數(shù)據(jù)相關(guān)工作的普通工程師，一些中肯的建議
在文章的末尾，我們基于文章中提到的多個案例，總結(jié)一下幫助普通工程師走向大數(shù)據(jù)相關(guān)崗位的幾個 tips 吧：
重視基礎(chǔ)。無論各種崗位，基礎(chǔ)是成長的基石。
發(fā)揮專長。從能夠發(fā)揮自己現(xiàn)有專長的崗位做起，可以讓新團隊更歡迎你的加入。比如算法模型的工程化，偏重于業(yè)務(wù)的數(shù)據(jù)挖掘，大數(shù)據(jù)平臺開發(fā)，機器學(xué)習(xí)系統(tǒng)開發(fā)等等，這些工作對于普通工程師更容易上手。而普通工程師直接轉(zhuǎn)偏研究方向的算法工程師，難度更高。
準(zhǔn)備充分。請預(yù)先做好相關(guān)知識的學(xué)習(xí)，有動手實踐更佳。如果沒有一點準(zhǔn)備，雇主如何相信你對這個領(lǐng)域真的有興趣呢?
考慮同公司轉(zhuǎn)崗。在同公司轉(zhuǎn)崗阻力更小。亦可考慮加入一家重視大數(shù)據(jù)的公司，再轉(zhuǎn)崗。
最后，如果你確實對大數(shù)據(jù)、數(shù)據(jù)挖掘有濃厚興趣，最好的辦法是立刻開始實踐。也許你不會以此為職業(yè)，但是可以多一技傍身。
也許，未來這些技能對于程序員而言，就好比現(xiàn)在 MS Office 對于職場人一樣普遍。