在Paradigm4（也就是開源計(jì)算數(shù)據(jù)庫(kù)管理系統(tǒng)SciDB的締造者）本周發(fā)布的一份面向超過一百位數(shù)據(jù)科學(xué)家的調(diào)查報(bào)告當(dāng)中，他們發(fā)現(xiàn)有71%的受訪數(shù)據(jù)科學(xué)家認(rèn)為隨著數(shù)據(jù)源種類以及數(shù)據(jù)規(guī)模的不斷增加、他們的工作難度也隨之逐步攀升。

值得注意的是，只有48%的受訪者在調(diào)查中表示他們?cè)?jīng)在工作當(dāng)中使用過Hadoop或者Spark，而且76%的受訪者認(rèn)為Hadoop的執(zhí)行速度太過緩慢、在建立規(guī)劃時(shí)需要投入大量精力或者存在其它嚴(yán)重局限。

“數(shù)據(jù)源種類的不斷增加正迫使數(shù)據(jù)科學(xué)家們尋找處理問題的捷徑，否則數(shù)據(jù)量與財(cái)政預(yù)算之間的矛盾將變得不可調(diào)和，”Paradigm4公司 CEO Marilyn Matz表示?！澳壳皩?duì)于數(shù)據(jù)規(guī)模的關(guān)注掩蓋了分析工作當(dāng)中的真正挑戰(zhàn)所在。只有解決對(duì)不同類型數(shù)據(jù)加以利用這一重大難題，我們才有可能釋放分析手段當(dāng)中 所蘊(yùn)藏的巨大潛能?！?/span>

即使拋開Hadoop平臺(tái)周邊存在的諸多挑戰(zhàn)性因素，其本身也仍然無法令人滿意。約有半數(shù)受訪者在調(diào)查中表示（49%），他們發(fā)現(xiàn)自己的數(shù)據(jù)很 難與關(guān)系型數(shù)據(jù)庫(kù)表相適應(yīng)。59%的受訪者指出他們所在的企業(yè)已經(jīng)開始使用復(fù)雜的分析機(jī)制——包括協(xié)方差分析等數(shù)學(xué)手段、集群化、機(jī)器學(xué)習(xí)、主成分分析與 圖形操作，而非商務(wù)智能報(bào)告等“基礎(chǔ)分析”手段——對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析。

另有15%的受訪者計(jì)劃在未來一年中開始使用復(fù)雜分析機(jī)制，16%的受訪者則將復(fù)雜分析機(jī)制的引入規(guī)劃設(shè)定在未來兩年內(nèi)。只有4%的受訪者表示他們所在的企業(yè)尚無計(jì)劃使用復(fù)雜分析方案。

Paradigm4認(rèn)為這意味著大數(shù)據(jù)這一“唾手可得的價(jià)值果實(shí)”已經(jīng)開始轉(zhuǎn)化為實(shí)際收益，而數(shù)據(jù)科學(xué)家們將需要進(jìn)一步深入研究、從而最大程度提升其附加價(jià)值。

“大數(shù)據(jù)發(fā)展進(jìn)程中由簡(jiǎn)單向復(fù)雜分析的過渡預(yù)示著分析機(jī)制將逐步走向規(guī)?；缆?，而這個(gè)過程將超越單一服務(wù)器內(nèi)存容量限制、將分散且易于忽略的 價(jià)值作為關(guān)注重點(diǎn)并需要以適當(dāng)?shù)幕旌喜蓸宇l率作為依托——這一切都將成為分析領(lǐng)域的新興需求，”Paradigm4在報(bào)告中寫道?！斑@些復(fù)雜分析方法同時(shí) 也會(huì)給數(shù)據(jù)科學(xué)家?guī)肀姸嗖皇鼙O(jiān)管且無從假設(shè)的實(shí)際處理方案，并最終讓數(shù)據(jù)自身有能力給出結(jié)論?！?/span>

　　有時(shí)候單靠Hadoop還遠(yuǎn)遠(yuǎn)不夠

Paradigm4還認(rèn)為，Hadoop已經(jīng)被不切實(shí)際地夸大成了一套具有普遍性與顛覆性的大數(shù)據(jù)解決方案。報(bào)告指出，在某些特定復(fù)雜分析用例 當(dāng)中，Hadoop根本不能算是可行的解決方案。Paradigm4表示，基礎(chǔ)分析已經(jīng)成為一種“高度并行機(jī)制”（也被稱為‘?dāng)?shù)據(jù)并行機(jī)制’），而復(fù)雜分 析則并非如此。

所謂高度并行問題可以被拆分成多個(gè)獨(dú)立的子問題且能夠并行運(yùn)作——不同任務(wù)之間幾乎甚至完全不存在關(guān)聯(lián)性，因此大家不需要一次性訪問全部數(shù)據(jù)內(nèi) 容。這也正是Hadoop MapReduce在處理數(shù)據(jù)時(shí)所遵循的辦法。而非高度并行類分析任務(wù)，例如眾多復(fù)雜分析問題，要求一次性使用并共享全部數(shù)據(jù)內(nèi)容并在處理過程當(dāng)中隨時(shí)進(jìn) 行結(jié)果通信。

22%的受訪數(shù)據(jù)科學(xué)家在調(diào)查中表示，Hadoop與Spark并不適合自己的分析實(shí)例。Paradigm4公司還發(fā)現(xiàn)，35%的受訪數(shù)據(jù)科學(xué)家曾經(jīng)嘗試過Hadoop或者Spark，但最終放棄了將其引入實(shí)際業(yè)務(wù)環(huán)境的打算。

Paradigm4在報(bào)告中提到的111位美國(guó)數(shù)據(jù)科學(xué)家來自由創(chuàng)新研究企業(yè)Innovation Enterprise自2014年3月27日到4月23日進(jìn)行的調(diào)查群體。Paradigm4在下面這份圖表當(dāng)中匯總了全部相關(guān)調(diào)查結(jié)果。