2014中國大數(shù)據(jù)行業(yè)大調(diào)查：人才仍然是個大問題

時至今日，無論你是來自互聯(lián)網(wǎng)行業(yè)、通信行業(yè)，還是金融行業(yè)、服務業(yè)或是零售業(yè)，相信都不會對大數(shù)據(jù)感到陌生。據(jù)調(diào)查報告顯示，32.5%的公司正在搭建大數(shù)據(jù)平臺，處于測試階段；29.5%的公司已經(jīng)在生產(chǎn)環(huán)境實踐大數(shù)據(jù)，并有成功的用例/產(chǎn)品；24.5%的公司已經(jīng)做了足夠的了解，開發(fā)準備就緒；基本不了解的只占3000+用戶的13.5%。

現(xiàn)有公司大數(shù)據(jù)的使用情況

其中，大家對大數(shù)據(jù)平臺提出的的主要需求有：36.5%是進行海量數(shù)據(jù)的離線處理，比如大數(shù)據(jù)BI；23.2%是為了大量數(shù)據(jù)的實時處理，比如在線交互式分析；40.3%的公司的大數(shù)據(jù)平臺則同時負責這兩種業(yè)務。

大數(shù)據(jù)平臺主要負責的業(yè)務

傳統(tǒng)觀念下，大數(shù)據(jù)往往是大型互聯(lián)網(wǎng)公司的玩物。然而，通過本次調(diào)查，我們卻發(fā)現(xiàn)在那些對大數(shù)據(jù)平臺有需求的公司中，研發(fā)團隊規(guī)模遠沒有我們想象的大，29.11%的研發(fā)團隊僅有1-10人，次居第二的10-50人的規(guī)模占到了25.77%,兩種規(guī)模的研發(fā)團隊就超過了一半?？梢姡斚麓髷?shù)據(jù)的需求已不止步于大型公司。

研發(fā)團隊規(guī)模

從傳統(tǒng)架構到大數(shù)據(jù)時代應用程序架構的轉變往往都會遇到一些問題和挑戰(zhàn)。在對計算框架門檻調(diào)查中，非專業(yè)人士難于入手這一難題的比例達到了46.5%，這對企業(yè)人才的培訓提出了迫切的要求。

當下計算框架使用過程中存在的問題

打造大數(shù)據(jù)平臺需要企業(yè)克服諸多問題和挑戰(zhàn)，尤其是安全性和可靠性方面。

大數(shù)據(jù)平臺打造的主要挑戰(zhàn)

大數(shù)據(jù)技術現(xiàn)狀

大數(shù)據(jù)技術在開發(fā)者或從業(yè)人員的應用中逐步走向成熟，這些成熟的技術在開發(fā)人員的探索中得到了初步的穩(wěn)定發(fā)展，公司的使用便是對這些技術的肯定。包括開發(fā)語言，數(shù)據(jù)分析語言、數(shù)據(jù)庫等在內(nèi)的大數(shù)據(jù)工具，究竟哪個更適合自己的業(yè)務，相信開發(fā)者們都有自己的評判標準。

在眾多的開發(fā)語言中，大數(shù)據(jù)平臺開發(fā)者們尤為青睞Java，占到了總比例的65%， 遠遠超過其他開發(fā)語言。值得一提的是，Hadoop本身就由Java實現(xiàn)的。

大數(shù)據(jù)開發(fā)語言

在大數(shù)據(jù)分析語言中，SQL的使用比例達到了64%，是R語言使用者人數(shù)的2倍之多。我們從中不難看出SQL-on-XXX項目的前景；同時從R的支持率上，也看到了更多非技術人員，比如數(shù)據(jù)分析師對低門檻分析類語言的需求。

大數(shù)據(jù)分析通常用的語言

在大數(shù)據(jù)存儲上，HBase則以67.55%的比例位居榜首，遠超其他數(shù)據(jù)倉庫，當然這點與Hadoop原生支持是分不開的。

大數(shù)據(jù)存儲中適合的數(shù)據(jù)庫

對存儲在HBase或Cassandra這樣NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進行復雜查詢，Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。

對存儲在NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進行復雜查詢，比較合適的工具

大數(shù)據(jù)未來發(fā)展

誠如上文所說，許多對大數(shù)據(jù)有需求的公司并不一定具備強大的研發(fā)團隊，在大數(shù)據(jù)處理過程中往往遭遇眾多挑戰(zhàn)。那么，在面臨這些挑戰(zhàn)時，開發(fā)者最迫切需要的是什么？

為了解決公司中的實際問題，39.28%的人希望擁有更犀利和通用的計算框架；37.88%的人希望能擁有更好的數(shù)據(jù)挖掘算法；21.59%的人則對保障性更高的運維有了更多的期盼。

為了解決公司的實際問題，最希望擁有的新技術

良好的大數(shù)據(jù)計算平臺能夠有效地支撐企業(yè)的海量數(shù)據(jù)，對于下一代通用大數(shù)據(jù)技術平臺，Spark和Hadoop是公司的主要選擇。同時，我們也看到了新貴Spark的發(fā)展前景，對比老將Hadoop，差距也僅有3.7%。

人們看好的下一代通用大數(shù)據(jù)計算平臺

現(xiàn)有公司中，大數(shù)據(jù)平臺已包含的部件位居前三的主要是SQL數(shù)據(jù)庫（90.3%）、NoSQL數(shù)據(jù)庫（50.7%）和HDFS（47.2%），在此基礎上，公司計劃添加的部件主要包含SQL數(shù)據(jù)庫（57.2%）、Spark（41.5%）和NoSQL數(shù)據(jù)庫（26.9%）。從各公司已有大數(shù)據(jù)部件和計劃添加的部件可以看出，SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫在公司的大數(shù)據(jù)平臺中發(fā)揮了重要的作用，得到了各公司的青睞。

現(xiàn)有大數(shù)據(jù)平臺已包含的部件

現(xiàn)有大數(shù)據(jù)平臺計劃添加的部件

為了獲取更高的收益，企業(yè)在前期需要進行有效地成本投入，對大數(shù)據(jù)平臺的投資，公司更加不會吝嗇，其中被調(diào)查的人群中，45.7%的人所在企業(yè)有追加投資大數(shù)據(jù)平臺的打算，同時，公司也期望能夠通過多種途徑完善大數(shù)據(jù)平臺，主要的完善途徑包括基于開源平臺自主研發(fā)、購買成熟的解決方案，使用公有云。

企業(yè)期望完善大數(shù)據(jù)平臺的途徑

使用公有云也是企業(yè)期望完善大數(shù)據(jù)平臺的有效途徑之一，在選擇公有云平臺方面，企業(yè)也面臨著很大的傾向性，45.26%的人將阿里云作為首選。

公有云平臺的選擇

大數(shù)據(jù)技術培訓

技術培訓能夠對開發(fā)者起到一定的指導作用，使得聽眾可以系統(tǒng)全面的把握新技術的知識脈絡，了解技術的發(fā)展趨勢。在此次調(diào)查活動中，69.4%的被調(diào)查者表示從未參加過大數(shù)據(jù)平臺構建的技術培訓。對于技術培訓的形式，49%的人希望是線上培訓，收費，成系列型的大數(shù)據(jù)解決方案，專攻一個方向，解決實際問題；37%的被調(diào)查者還是希望免費進行技術培訓，即使不成系列，無論是線上線下，能聽一節(jié)是一節(jié)。雖然收費在一定程度上影響了開發(fā)者對大數(shù)據(jù)技術培訓的熱情，但是能夠切實解決實際問題，得到技術和能力的提升，仍是相關技術人員追求的培訓目標。

更適合的技術培訓形式

那么，對開發(fā)者來說，大家特別期望從技術培訓中獲取的知識又會是什么？

大數(shù)據(jù)領域，迫切學習或參加培訓的新技術

寫在最后

根據(jù)本次調(diào)查，我們不難發(fā)現(xiàn)，大數(shù)據(jù)仍然只在少數(shù)公司的生產(chǎn)環(huán)境投入使用，造成這個情況的原因主要有兩個：首先，當下的大數(shù)據(jù)計算框架在使用上仍然存在很高的門檻；其次，受限于公司研發(fā)團隊的實力。在大數(shù)據(jù)平臺打造上，大部分機構都期望通過自主研發(fā)來完成這個過程，同時也期望獲得更符合使用習慣的計算框架，比如SQL。同時，在自主研發(fā)和購買解決方案添加大數(shù)據(jù)屬性之外，很多機構將注意力集中到云計算，其中國內(nèi)云供應商阿里云45.26%的得票率更是值得欣慰。