2014中國大數(shù)據(jù)行業(yè)大調(diào)查：開發(fā)者究竟需要什么

　　從11月7日到12月7日，在短短一個月左右的時間，我們得到來自全國各地3326位熱心用戶的支持，下面我們來一起看下本次調(diào)查為我們揭示的大數(shù)據(jù)行業(yè)，以及那些獲獎的小伙伴們。

公司使用大數(shù)據(jù)的基本情況

　　時至今日，無論你是來自互聯(lián)網(wǎng)行業(yè)、通信行業(yè)，還是金融行業(yè)、服務(wù)業(yè)或是零售業(yè)，相信都不會對大數(shù)據(jù)感到陌生。據(jù)調(diào)查報告顯示，32.5%的公 司正在搭建大數(shù)據(jù)平臺，處于測試階段;29.5%的公司已經(jīng)在生產(chǎn)環(huán)境實踐大數(shù)據(jù)，并有成功的用例/產(chǎn)品;24.5%的公司已經(jīng)做了足夠的了解，開發(fā)準(zhǔn)備 就緒;基本不了解的只占3000+用戶的13.5%。

　　現(xiàn)有公司大數(shù)據(jù)的使用情況

　　其中，大家對大數(shù)據(jù)平臺提出的的主要需求有：36.5%是進行海量數(shù)據(jù)的離線處理，比如大數(shù)據(jù)BI;23.2%是為了大量數(shù)據(jù)的實時處理，比如在線交互式分析;40.3%的公司的大數(shù)據(jù)平臺則同時負責(zé)這兩種業(yè)務(wù)。

　　大數(shù)據(jù)平臺主要負責(zé)的業(yè)務(wù)

　　傳統(tǒng)觀念下，大數(shù)據(jù)往往是大型互聯(lián)網(wǎng)公司的玩物。然而，通過本次調(diào)查，我們卻發(fā)現(xiàn)在那些對大數(shù)據(jù)平臺有需求的公司中，研發(fā)團隊規(guī)模遠沒有我們想 象的大，29.11%的研發(fā)團隊僅有1-10人，次居第二的10-50人的規(guī)模占到了25.77%,兩種規(guī)模的研發(fā)團隊就超過了一半?？梢姡?dāng)下大數(shù)據(jù)的 需求已不止步于大型公司。

　　研發(fā)團隊規(guī)模

　　從傳統(tǒng)架構(gòu)到大數(shù)據(jù)時代應(yīng)用程序架構(gòu)的轉(zhuǎn)變往往都會遇到一些問題和挑戰(zhàn)。在對計算框架門檻調(diào)查中，非專業(yè)人士難于入手這一難題的比例達到了46.5%，這對企業(yè)人才的培訓(xùn)提出了迫切的要求。

　　當(dāng)下計算框架使用過程中存在的問題

　　打造大數(shù)據(jù)平臺需要企業(yè)克服諸多問題和挑戰(zhàn)，尤其是安全性和可靠性方面。

　　大數(shù)據(jù)平臺打造的主要挑戰(zhàn)

大數(shù)據(jù)技術(shù)現(xiàn)狀

　　大數(shù)據(jù)技術(shù)在開發(fā)者或從業(yè)人員的應(yīng)用中逐步走向成熟，這些成熟的技術(shù)在開發(fā)人員的探索中得到了初步的穩(wěn)定發(fā)展，公司的使用便是對這些技術(shù)的肯定。包括開發(fā)語言，數(shù)據(jù)分析語言、數(shù)據(jù)庫等在內(nèi)的大數(shù)據(jù)工具，究竟哪個更適合自己的業(yè)務(wù)，相信開發(fā)者們都有自己的評判標(biāo)準(zhǔn)。

　　在眾多的開發(fā)語言中，大數(shù)據(jù)平臺開發(fā)者們尤為青睞Java，占到了總比例的65%， 遠遠超過其他開發(fā)語言。值得一提的是，Hadoop本身就由Java實現(xiàn)的。

　　大數(shù)據(jù)開發(fā)語言

　　在大數(shù)據(jù)分析語言中，SQL的使用比例達到了64%，是R語言使用者人數(shù)的2倍之多。我們從中不難看出SQL-on-XXX項目的前景;同時從R的支持率上，也看到了更多非技術(shù)人員，比如數(shù)據(jù)分析師對低門檻分析類語言的需求。

　　大數(shù)據(jù)分析通常用的語言

　　在大數(shù)據(jù)存儲上，HBase則以67.55%的比例位居榜首，遠超其他數(shù)據(jù)倉庫，當(dāng)然這點與Hadoop原生支持是分不開的。

　　大數(shù)據(jù)存儲中適合的數(shù)據(jù)庫

　　對存儲在HBase或Cassandra這樣NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進行復(fù)雜查詢，Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。

　　對存儲在NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進行復(fù)雜查詢，比較合適的工具

大數(shù)據(jù)未來發(fā)展

　　誠如上文所說，許多對大數(shù)據(jù)有需求的公司并不一定具備強大的研發(fā)團隊，在大數(shù)據(jù)處理過程中往往遭遇眾多挑戰(zhàn)。那么，在面臨這些挑戰(zhàn)時，開發(fā)者最迫切需要的是什么？

　　為了解決公司中的實際問題，39.28%的人希望擁有更犀利和通用的計算框架;37.88%的人希望能擁有更好的數(shù)據(jù)挖掘算法;21.59%的人則對保障性更高的運維有了更多的期盼。

　　為了解決公司的實際問題，最希望擁有的新技術(shù)

　　良好的大數(shù)據(jù)計算平臺能夠有效地支撐企業(yè)的海量數(shù)據(jù)，對于下一代通用大數(shù)據(jù)技術(shù)平臺，Spark和Hadoop是公司的主要選擇。同時，我們也看到了新貴Spark的發(fā)展前景，對比老將Hadoop，差距也僅有3.7%。

　　人們看好的下一代通用大數(shù)據(jù)計算平臺

　　現(xiàn)有公司中，大數(shù)據(jù)平臺已包含的部件位居前三的主要是SQL數(shù)據(jù)庫(90.3%)、NoSQL數(shù)據(jù)庫(50.7%)和HDFS(47.2%)， 在此基礎(chǔ)上，公司計劃添加的部件主要包含SQL數(shù)據(jù)庫(57.2%)、Spark(41.5%)和NoSQL數(shù)據(jù)庫(26.9%)。從各公司已有大數(shù)據(jù)部 件和計劃添加的部件可以看出，SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫在公司的大數(shù)據(jù)平臺中發(fā)揮了重要的作用，得到了各公司的青睞。

　　現(xiàn)有大數(shù)據(jù)平臺已包含的部件

　　現(xiàn)有大數(shù)據(jù)平臺計劃添加的部件

　　為了獲取更高的收益，企業(yè)在前期需要進行有效地成本投入，對大數(shù)據(jù)平臺的投資，公司更加不會吝嗇，其中被調(diào)查的人群中，45.7%的人所在企業(yè) 有追加投資大數(shù)據(jù)平臺的打算，同時，公司也期望能夠通過多種途徑完善大數(shù)據(jù)平臺，主要的完善途徑包括基于開源平臺自主研發(fā)、購買成熟的解決方案，使用公有云。CDA數(shù)據(jù)分析師官網(wǎng)是專門培訓(xùn)數(shù)據(jù)分析師人才。

　　企業(yè)期望完善大數(shù)據(jù)平臺的途徑

　　使用公有云也是企業(yè)期望完善大數(shù)據(jù)平臺的有效途徑之一，在選擇公有云平臺方面，企業(yè)也面臨著很大的傾向性，45.26%的人將阿里云作為首選。

　　公有云平臺的選擇

大數(shù)據(jù)技術(shù)培訓(xùn)

　　技術(shù)培訓(xùn)能夠?qū)﹂_發(fā)者起到一定的指導(dǎo)作用，使得聽眾可以系統(tǒng)全面的把握新技術(shù)的知識脈絡(luò)，了解技術(shù)的發(fā)展趨勢。在此次調(diào)查活動中，69.4%的 被調(diào)查者表示從未參加過大數(shù)據(jù)平臺構(gòu)建的技術(shù)培訓(xùn)。對于技術(shù)培訓(xùn)的形式，49%的人希望是線上培訓(xùn)，收費，成系列型的大數(shù)據(jù)解決方案，專攻一個方向，解決 實際問題;37%的被調(diào)查者還是希望免費進行技術(shù)培訓(xùn)，即使不成系列，無論是線上線下，能聽一節(jié)是一節(jié)。雖然收費在一定程度上影響了開發(fā)者對大數(shù)據(jù)技術(shù)培 訓(xùn)的熱情，但是能夠切實解決實際問題，得到技術(shù)和能力的提升，仍是相關(guān)技術(shù)人員追求的培訓(xùn)目標(biāo)。

　　更適合的技術(shù)培訓(xùn)形式

　　那么，對開發(fā)者來說，大家特別期望從技術(shù)培訓(xùn)中獲取的知識又會是什么？

　　大數(shù)據(jù)領(lǐng)域，迫切學(xué)習(xí)或參加培訓(xùn)的新技術(shù)

寫在最后

　　根據(jù)本次調(diào)查，我們不難發(fā)現(xiàn)，大數(shù)據(jù)仍然只在少數(shù)公司的生產(chǎn)環(huán)境投入使用，造成這個情況的原因主要有兩個：首先，當(dāng)下的大數(shù)據(jù)計算框架在使用上 仍然存在很高的門檻;其次，受限于公司研發(fā)團隊的實力。在大數(shù)據(jù)平臺打造上，大部分機構(gòu)都期望通過自主研發(fā)來完成這個過程，同時也期望獲得更符合使用習(xí)慣 的計算框架，比如SQL。同時，在自主研發(fā)和購買解決方案添加大數(shù)據(jù)屬性之外，很多機構(gòu)將注意力集中到云計算，其中國內(nèi)云供應(yīng)商阿里云45.26%的得票 率更是值得欣慰。