大數(shù)據(jù)時代，程序員離春天只差一次轉(zhuǎn)型

程序員作為現(xiàn)代社會的主流職業(yè)，在很多人心里已經(jīng)打上了高收入的烙印。很多大學(xué)也開展了計算機課程，為社會培養(yǎng)程序開發(fā)人員。隨著大數(shù)據(jù)的爆發(fā)，中國IT業(yè)內(nèi)環(huán)境也將面臨新一輪的洗牌，不僅是企業(yè)，更是從業(yè)人員轉(zhuǎn)型可遇而不可求的機遇。程序員怎樣抓住機遇，轉(zhuǎn)型為熱門的大數(shù)據(jù)工程師呢？本文為你揭秘！

看下圖，在未來技術(shù)方向的調(diào)查中，工程師最看好的是大數(shù)據(jù)、人工智能、移動開發(fā)、云計算、這幾項不分伯仲，是技術(shù)人員的最看好的方向。中國大數(shù)據(jù)技術(shù)還處于萌芽狀態(tài)，因此，現(xiàn)在正是學(xué)習(xí)大數(shù)據(jù)技術(shù)的最佳時期。

大數(shù)據(jù)是什么

查了查百度百科，是這樣定義的：大數(shù)據(jù)（bigdata），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Veracity--這個好像是IBM的定義吧。

以個人的觀點來看：數(shù)據(jù)海量，存儲海量都是大數(shù)據(jù)的基本原型吧。

大數(shù)據(jù)時代，程序員的春天

大數(shù)據(jù)從事的是開源工作，更傾向于“研發(fā)”，能夠重新激起程序員研發(fā)程序的熱情，職業(yè)生涯有了新的追求，這意味著大數(shù)據(jù)會成為值得程序員長期奮斗不斷突破的工作；其次，由于大數(shù)據(jù)屬新興領(lǐng)域，專業(yè)人才比較缺乏，高端人才更是企業(yè)爭搶的對象。薪資上升容易，職業(yè)發(fā)展?jié)摿薮蟆?

世界正從IT時代走向DT時代，未來是大數(shù)據(jù)的時代，企業(yè)最有價值的資產(chǎn)就是數(shù)據(jù)，你所擁有的數(shù)據(jù)越多你就越有說話權(quán)，因此未來企業(yè)里最牛逼的員工應(yīng)該是和數(shù)據(jù)有關(guān)的職位。

大數(shù)據(jù)工程師的幾個職位

每家公司對大數(shù)據(jù)工作的要求不盡相同：有的強調(diào)數(shù)據(jù)庫編程、有的突出應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)知識、有的則要求有咨詢公司或投行相關(guān)的經(jīng)驗、有些是希望能找到懂得產(chǎn)品和市場的應(yīng)用型人才。正因為如此，很多公司會針對自己的業(yè)務(wù)類型和團隊分工，給這群與大數(shù)據(jù)打交道的人一些新的頭銜和定義：數(shù)據(jù)挖掘工程師、大數(shù)據(jù)專家、數(shù)據(jù)研究員、用戶分析專家等都是經(jīng)常在國內(nèi)公司里出現(xiàn)的Title，我們將其統(tǒng)稱為“大數(shù)據(jù)工程師”。

如何轉(zhuǎn)型為大數(shù)據(jù)工程師？

那么，程序員如何轉(zhuǎn)型成為優(yōu)秀的大數(shù)據(jù)工程師呢？主要是從兩者所要求的能力上來分析。首先，大數(shù)據(jù)工程師是需要有計算機編碼能力的，因為面對海量的非結(jié)構(gòu)化數(shù)據(jù)，你要從中挖掘出有價值的東西，需要設(shè)計算法與編寫程序去實現(xiàn)，而程序員最牛的能力就是編寫簡潔高效的代碼，去實現(xiàn)人們許許多多美妙的夢想，編碼能力越強的程序員越有可能成為優(yōu)秀的大數(shù)據(jù)工程師。

其次，大數(shù)據(jù)工程師需要統(tǒng)計學(xué)與應(yīng)用數(shù)學(xué)相關(guān)的能力背景，數(shù)據(jù)挖掘與分析是需要設(shè)計數(shù)據(jù)模型和算法的，應(yīng)該說程序員是有這個基礎(chǔ)的，我見過最牛逼的程序員一般都不是科班出來的，通常是數(shù)學(xué)專業(yè)，因此提高算法設(shè)計能力是程序員轉(zhuǎn)型大數(shù)據(jù)工程師的關(guān)鍵因素。

第三，大數(shù)據(jù)工程師需要具備某一行業(yè)的業(yè)務(wù)知識，大數(shù)據(jù)的挖掘與分析最終都要服務(wù)于市場，并對產(chǎn)品的銷售與企業(yè)的發(fā)展起到重大推動作用，那才是有價值的大數(shù)據(jù)分析，因此大數(shù)據(jù)是不能脫離市場的，它必須與某一行業(yè)的應(yīng)用想結(jié)合起來才容易產(chǎn)生更大的價值，通常程序員都是在做某一行業(yè)的軟件，經(jīng)過多年的學(xué)習(xí)與磨練，對某一行業(yè)的業(yè)務(wù)知識是有積累的，因此從這一點上來看，程序員是很容易過渡到大數(shù)據(jù)工程師的。

當(dāng)然，以上都只是粗略的分析，真正要成為一名優(yōu)秀的大數(shù)據(jù)工程師，程序員還需要更多的學(xué)習(xí)與努力。

大數(shù)據(jù)工程師必備的技能

一個優(yōu)秀的大數(shù)據(jù)工程師要具備一定的邏輯分析能力，并能迅速定位某個商業(yè)問題的關(guān)鍵屬性和決定因素。學(xué)習(xí)能力能幫助大數(shù)據(jù)工程師快速適應(yīng)不同的項目，并在短時間內(nèi)成為這個領(lǐng)域的數(shù)據(jù)專家；溝通能力則能讓他們的工作開展地更順利，因為大數(shù)據(jù)工程師的工作主要分為兩種方式：由市場部驅(qū)動和由數(shù)據(jù)分析部門驅(qū)動，前者需要常常向產(chǎn)品經(jīng)理了解開發(fā)需求，后者則需要找運營部了解數(shù)據(jù)模型實際轉(zhuǎn)化的情況。

大數(shù)據(jù)相關(guān)的技能，從數(shù)據(jù)本身來說，大概需要從數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)存儲和數(shù)據(jù)挖掘來說，具體如下：

數(shù)據(jù)獲?。喝罩臼占?Scribe、Flume和爬蟲等

數(shù)據(jù)處理：流式計算的storm, spark streaming、Hadoop、消息隊列相關(guān)的如Kafka等

數(shù)據(jù)分析：HIVE、SPARK、基本算法、數(shù)據(jù)結(jié)構(gòu)等

數(shù)據(jù)存儲：HDFS等

數(shù)據(jù)挖掘：機器學(xué)習(xí)相關(guān)算法，聚類、時間序列、推薦系統(tǒng)、回歸分析、文本挖掘、貝葉斯分類、神經(jīng)網(wǎng)絡(luò)等

DT時代來得太突然了，當(dāng)一波又一波的IT技術(shù)熱潮源源不斷地向我們鋪面而來的時候，你甚至都沒有做好準(zhǔn)備，你都要開始迎接它所給你帶來的影響了。經(jīng)過物聯(lián)網(wǎng)，云計算的推波助瀾下，大數(shù)據(jù)開始登場了。大數(shù)據(jù)并不是一個充斥著算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數(shù)據(jù)為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的未來。