大數(shù)據(jù)時代，程序員離春天只差一次轉型

程序員作為現(xiàn)代社會的主流職業(yè)，在很多人心里已經(jīng)打上了高收入的烙印。很多大學也開展了計算機課程，為社會培養(yǎng)程序開發(fā)人員。隨著大數(shù)據(jù)的爆發(fā)，中國IT業(yè)內環(huán)境也將面臨新一輪的洗牌，不僅是企業(yè)，更是從業(yè)人員轉型可遇而不可求的機遇。程序員怎樣抓住機遇，轉型為熱門的大數(shù)據(jù)工程師呢？本文為你揭秘！

看下圖，在未來技術方向的調查中，工程師最看好的是大數(shù)據(jù)、人工智能、移動開發(fā)、云計算、這幾項不分伯仲，是技術人員的最看好的方向。中國大數(shù)據(jù)技術還處于萌芽狀態(tài)，因此，現(xiàn)在正是學習大數(shù)據(jù)技術的最佳時期。

大數(shù)據(jù)是什么

查了查百度百科，是這樣定義的：大數(shù)據(jù)（bigdata），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Veracity--這個好像是IBM的定義吧。

以個人的觀點來看：數(shù)據(jù)海量，存儲海量都是大數(shù)據(jù)的基本原型吧。

大數(shù)據(jù)時代，程序員的春天

大數(shù)據(jù)從事的是開源工作，更傾向于“研發(fā)”，能夠重新激起程序員研發(fā)程序的熱情，職業(yè)生涯有了新的追求，這意味著大數(shù)據(jù)會成為值得程序員長期奮斗不斷突破的工作；其次，由于大數(shù)據(jù)屬新興領域，專業(yè)人才比較缺乏，高端人才更是企業(yè)爭搶的對象。薪資上升容易，職業(yè)發(fā)展?jié)摿薮蟆?

世界正從IT時代走向DT時代，未來是大數(shù)據(jù)的時代，企業(yè)最有價值的資產就是數(shù)據(jù)，你所擁有的數(shù)據(jù)越多你就越有說話權，因此未來企業(yè)里最牛逼的員工應該是和數(shù)據(jù)有關的職位。

大數(shù)據(jù)工程師的幾個職位

每家公司對大數(shù)據(jù)工作的要求不盡相同：有的強調數(shù)據(jù)庫編程、有的突出應用數(shù)學和統(tǒng)計學知識、有的則要求有咨詢公司或投行相關的經(jīng)驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業(yè)務類型和團隊分工，給這群與大數(shù)據(jù)打交道的人一些新的頭銜和定義：數(shù)據(jù)挖掘工程師、大數(shù)據(jù)專家、數(shù)據(jù)研究員、用戶分析專家等都是經(jīng)常在國內公司里出現(xiàn)的Title，我們將其統(tǒng)稱為“大數(shù)據(jù)工程師”。

如何轉型為大數(shù)據(jù)工程師？

那么，程序員如何轉型成為優(yōu)秀的大數(shù)據(jù)工程師呢？主要是從兩者所要求的能力上來分析。首先，大數(shù)據(jù)工程師是需要有計算機編碼能力的，因為面對海量的非結構化數(shù)據(jù)，你要從中挖掘出有價值的東西，需要設計算法與編寫程序去實現(xiàn)，而程序員最牛的能力就是編寫簡潔高效的代碼，去實現(xiàn)人們許許多多美妙的夢想，編碼能力越強的程序員越有可能成為優(yōu)秀的大數(shù)據(jù)工程師。

其次，大數(shù)據(jù)工程師需要統(tǒng)計學與應用數(shù)學相關的能力背景，數(shù)據(jù)挖掘與分析是需要設計數(shù)據(jù)模型和算法的，應該說程序員是有這個基礎的，我見過最牛逼的程序員一般都不是科班出來的，通常是數(shù)學專業(yè)，因此提高算法設計能力是程序員轉型大數(shù)據(jù)工程師的關鍵因素。

第三，大數(shù)據(jù)工程師需要具備某一行業(yè)的業(yè)務知識，大數(shù)據(jù)的挖掘與分析最終都要服務于市場，并對產品的銷售與企業(yè)的發(fā)展起到重大推動作用，那才是有價值的大數(shù)據(jù)分析，因此大數(shù)據(jù)是不能脫離市場的，它必須與某一行業(yè)的應用想結合起來才容易產生更大的價值，通常程序員都是在做某一行業(yè)的軟件，經(jīng)過多年的學習與磨練，對某一行業(yè)的業(yè)務知識是有積累的，因此從這一點上來看，程序員是很容易過渡到大數(shù)據(jù)工程師的。

當然，以上都只是粗略的分析，真正要成為一名優(yōu)秀的大數(shù)據(jù)工程師，程序員還需要更多的學習與努力。

大數(shù)據(jù)工程師必備的技能

一個優(yōu)秀的大數(shù)據(jù)工程師要具備一定的邏輯分析能力，并能迅速定位某個商業(yè)問題的關鍵屬性和決定因素。學習能力能幫助大數(shù)據(jù)工程師快速適應不同的項目，并在短時間內成為這個領域的數(shù)據(jù)專家；溝通能力則能讓他們的工作開展地更順利，因為大數(shù)據(jù)工程師的工作主要分為兩種方式：由市場部驅動和由數(shù)據(jù)分析部門驅動，前者需要常常向產品經(jīng)理了解開發(fā)需求，后者則需要找運營部了解數(shù)據(jù)模型實際轉化的情況。

大數(shù)據(jù)相關的技能，從數(shù)據(jù)本身來說，大概需要從數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)存儲和數(shù)據(jù)挖掘來說，具體如下：

數(shù)據(jù)獲取：日志收集 Scribe、Flume和爬蟲等

數(shù)據(jù)處理：流式計算的storm, spark streaming、Hadoop、消息隊列相關的如Kafka等

數(shù)據(jù)分析：HIVE、SPARK、基本算法、數(shù)據(jù)結構等

數(shù)據(jù)存儲：HDFS等

數(shù)據(jù)挖掘：機器學習相關算法，聚類、時間序列、推薦系統(tǒng)、回歸分析、文本挖掘、貝葉斯分類、神經(jīng)網(wǎng)絡等

DT時代來得太突然了，當一波又一波的IT技術熱潮源源不斷地向我們鋪面而來的時候，你甚至都沒有做好準備，你都要開始迎接它所給你帶來的影響了。經(jīng)過物聯(lián)網(wǎng)，云計算的推波助瀾下，大數(shù)據(jù)開始登場了。大數(shù)據(jù)并不是一個充斥著算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數(shù)據(jù)為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的未來。