2014中國大數(shù)據(jù)行業(yè)大調(diào)查：開發(fā)者究竟需要什么

　　從11月7日到12月7日，在短短一個(gè)月左右的時(shí)間，我們得到來自全國各地3326位熱心用戶的支持，下面我們來一起看下本次調(diào)查為我們揭示的大數(shù)據(jù)行業(yè)，以及那些獲獎(jiǎng)的小伙伴們。

公司使用大數(shù)據(jù)的基本情況

　　時(shí)至今日，無論你是來自互聯(lián)網(wǎng)行業(yè)、通信行業(yè)，還是金融行業(yè)、服務(wù)業(yè)或是零售業(yè)，相信都不會(huì)對(duì)大數(shù)據(jù)感到陌生。據(jù)調(diào)查報(bào)告顯示，32.5%的公 司正在搭建大數(shù)據(jù)平臺(tái)，處于測試階段;29.5%的公司已經(jīng)在生產(chǎn)環(huán)境實(shí)踐大數(shù)據(jù)，并有成功的用例/產(chǎn)品;24.5%的公司已經(jīng)做了足夠的了解，開發(fā)準(zhǔn)備 就緒;基本不了解的只占3000+用戶的13.5%。

　　現(xiàn)有公司大數(shù)據(jù)的使用情況

　　其中，大家對(duì)大數(shù)據(jù)平臺(tái)提出的的主要需求有：36.5%是進(jìn)行海量數(shù)據(jù)的離線處理，比如大數(shù)據(jù)BI;23.2%是為了大量數(shù)據(jù)的實(shí)時(shí)處理，比如在線交互式分析;40.3%的公司的大數(shù)據(jù)平臺(tái)則同時(shí)負(fù)責(zé)這兩種業(yè)務(wù)。

　　大數(shù)據(jù)平臺(tái)主要負(fù)責(zé)的業(yè)務(wù)

　　傳統(tǒng)觀念下，大數(shù)據(jù)往往是大型互聯(lián)網(wǎng)公司的玩物。然而，通過本次調(diào)查，我們卻發(fā)現(xiàn)在那些對(duì)大數(shù)據(jù)平臺(tái)有需求的公司中，研發(fā)團(tuán)隊(duì)規(guī)模遠(yuǎn)沒有我們想 象的大，29.11%的研發(fā)團(tuán)隊(duì)僅有1-10人，次居第二的10-50人的規(guī)模占到了25.77%,兩種規(guī)模的研發(fā)團(tuán)隊(duì)就超過了一半?？梢?，當(dāng)下大數(shù)據(jù)的 需求已不止步于大型公司。

　　研發(fā)團(tuán)隊(duì)規(guī)模

　　從傳統(tǒng)架構(gòu)到大數(shù)據(jù)時(shí)代應(yīng)用程序架構(gòu)的轉(zhuǎn)變往往都會(huì)遇到一些問題和挑戰(zhàn)。在對(duì)計(jì)算框架門檻調(diào)查中，非專業(yè)人士難于入手這一難題的比例達(dá)到了46.5%，這對(duì)企業(yè)人才的培訓(xùn)提出了迫切的要求。

　　當(dāng)下計(jì)算框架使用過程中存在的問題

　　打造大數(shù)據(jù)平臺(tái)需要企業(yè)克服諸多問題和挑戰(zhàn)，尤其是安全性和可靠性方面。

　　大數(shù)據(jù)平臺(tái)打造的主要挑戰(zhàn)

大數(shù)據(jù)技術(shù)現(xiàn)狀

　　大數(shù)據(jù)技術(shù)在開發(fā)者或從業(yè)人員的應(yīng)用中逐步走向成熟，這些成熟的技術(shù)在開發(fā)人員的探索中得到了初步的穩(wěn)定發(fā)展，公司的使用便是對(duì)這些技術(shù)的肯定。包括開發(fā)語言，數(shù)據(jù)分析語言、數(shù)據(jù)庫等在內(nèi)的大數(shù)據(jù)工具，究竟哪個(gè)更適合自己的業(yè)務(wù)，相信開發(fā)者們都有自己的評(píng)判標(biāo)準(zhǔn)。

　　在眾多的開發(fā)語言中，大數(shù)據(jù)平臺(tái)開發(fā)者們尤為青睞Java，占到了總比例的65%， 遠(yuǎn)遠(yuǎn)超過其他開發(fā)語言。值得一提的是，Hadoop本身就由Java實(shí)現(xiàn)的。

　　大數(shù)據(jù)開發(fā)語言

　　在大數(shù)據(jù)分析語言中，SQL的使用比例達(dá)到了64%，是R語言使用者人數(shù)的2倍之多。我們從中不難看出SQL-on-XXX項(xiàng)目的前景;同時(shí)從R的支持率上，也看到了更多非技術(shù)人員，比如數(shù)據(jù)分析師對(duì)低門檻分析類語言的需求。

　　大數(shù)據(jù)分析通常用的語言

　　在大數(shù)據(jù)存儲(chǔ)上，HBase則以67.55%的比例位居榜首，遠(yuǎn)超其他數(shù)據(jù)倉庫，當(dāng)然這點(diǎn)與Hadoop原生支持是分不開的。

　　大數(shù)據(jù)存儲(chǔ)中適合的數(shù)據(jù)庫

　　對(duì)存儲(chǔ)在HBase或Cassandra這樣NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行復(fù)雜查詢，Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。

　　對(duì)存儲(chǔ)在NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行復(fù)雜查詢，比較合適的工具

大數(shù)據(jù)未來發(fā)展

　　誠如上文所說，許多對(duì)大數(shù)據(jù)有需求的公司并不一定具備強(qiáng)大的研發(fā)團(tuán)隊(duì)，在大數(shù)據(jù)處理過程中往往遭遇眾多挑戰(zhàn)。那么，在面臨這些挑戰(zhàn)時(shí)，開發(fā)者最迫切需要的是什么？

　　為了解決公司中的實(shí)際問題，39.28%的人希望擁有更犀利和通用的計(jì)算框架;37.88%的人希望能擁有更好的數(shù)據(jù)挖掘算法;21.59%的人則對(duì)保障性更高的運(yùn)維有了更多的期盼。

　　為了解決公司的實(shí)際問題，最希望擁有的新技術(shù)

　　良好的大數(shù)據(jù)計(jì)算平臺(tái)能夠有效地支撐企業(yè)的海量數(shù)據(jù)，對(duì)于下一代通用大數(shù)據(jù)技術(shù)平臺(tái)，Spark和Hadoop是公司的主要選擇。同時(shí)，我們也看到了新貴Spark的發(fā)展前景，對(duì)比老將Hadoop，差距也僅有3.7%。

　　人們看好的下一代通用大數(shù)據(jù)計(jì)算平臺(tái)

　　現(xiàn)有公司中，大數(shù)據(jù)平臺(tái)已包含的部件位居前三的主要是SQL數(shù)據(jù)庫(90.3%)、NoSQL數(shù)據(jù)庫(50.7%)和HDFS(47.2%)， 在此基礎(chǔ)上，公司計(jì)劃添加的部件主要包含SQL數(shù)據(jù)庫(57.2%)、Spark(41.5%)和NoSQL數(shù)據(jù)庫(26.9%)。從各公司已有大數(shù)據(jù)部 件和計(jì)劃添加的部件可以看出，SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫在公司的大數(shù)據(jù)平臺(tái)中發(fā)揮了重要的作用，得到了各公司的青睞。

　　現(xiàn)有大數(shù)據(jù)平臺(tái)已包含的部件

　　現(xiàn)有大數(shù)據(jù)平臺(tái)計(jì)劃添加的部件

　　為了獲取更高的收益，企業(yè)在前期需要進(jìn)行有效地成本投入，對(duì)大數(shù)據(jù)平臺(tái)的投資，公司更加不會(huì)吝嗇，其中被調(diào)查的人群中，45.7%的人所在企業(yè) 有追加投資大數(shù)據(jù)平臺(tái)的打算，同時(shí)，公司也期望能夠通過多種途徑完善大數(shù)據(jù)平臺(tái)，主要的完善途徑包括基于開源平臺(tái)自主研發(fā)、購買成熟的解決方案，使用公有云。CDA數(shù)據(jù)分析師官網(wǎng)是專門培訓(xùn)數(shù)據(jù)分析師人才。

　　企業(yè)期望完善大數(shù)據(jù)平臺(tái)的途徑

　　使用公有云也是企業(yè)期望完善大數(shù)據(jù)平臺(tái)的有效途徑之一，在選擇公有云平臺(tái)方面，企業(yè)也面臨著很大的傾向性，45.26%的人將阿里云作為首選。

　　公有云平臺(tái)的選擇

大數(shù)據(jù)技術(shù)培訓(xùn)

　　技術(shù)培訓(xùn)能夠?qū)﹂_發(fā)者起到一定的指導(dǎo)作用，使得聽眾可以系統(tǒng)全面的把握新技術(shù)的知識(shí)脈絡(luò)，了解技術(shù)的發(fā)展趨勢。在此次調(diào)查活動(dòng)中，69.4%的 被調(diào)查者表示從未參加過大數(shù)據(jù)平臺(tái)構(gòu)建的技術(shù)培訓(xùn)。對(duì)于技術(shù)培訓(xùn)的形式，49%的人希望是線上培訓(xùn)，收費(fèi)，成系列型的大數(shù)據(jù)解決方案，專攻一個(gè)方向，解決 實(shí)際問題;37%的被調(diào)查者還是希望免費(fèi)進(jìn)行技術(shù)培訓(xùn)，即使不成系列，無論是線上線下，能聽一節(jié)是一節(jié)。雖然收費(fèi)在一定程度上影響了開發(fā)者對(duì)大數(shù)據(jù)技術(shù)培 訓(xùn)的熱情，但是能夠切實(shí)解決實(shí)際問題，得到技術(shù)和能力的提升，仍是相關(guān)技術(shù)人員追求的培訓(xùn)目標(biāo)。

　　更適合的技術(shù)培訓(xùn)形式

　　那么，對(duì)開發(fā)者來說，大家特別期望從技術(shù)培訓(xùn)中獲取的知識(shí)又會(huì)是什么？

　　大數(shù)據(jù)領(lǐng)域，迫切學(xué)習(xí)或參加培訓(xùn)的新技術(shù)

寫在最后

　　根據(jù)本次調(diào)查，我們不難發(fā)現(xiàn)，大數(shù)據(jù)仍然只在少數(shù)公司的生產(chǎn)環(huán)境投入使用，造成這個(gè)情況的原因主要有兩個(gè)：首先，當(dāng)下的大數(shù)據(jù)計(jì)算框架在使用上 仍然存在很高的門檻;其次，受限于公司研發(fā)團(tuán)隊(duì)的實(shí)力。在大數(shù)據(jù)平臺(tái)打造上，大部分機(jī)構(gòu)都期望通過自主研發(fā)來完成這個(gè)過程，同時(shí)也期望獲得更符合使用習(xí)慣 的計(jì)算框架，比如SQL。同時(shí)，在自主研發(fā)和購買解決方案添加大數(shù)據(jù)屬性之外，很多機(jī)構(gòu)將注意力集中到云計(jì)算，其中國內(nèi)云供應(yīng)商阿里云45.26%的得票 率更是值得欣慰。