在Paradigm4（也就是開源計算數(shù)據(jù)庫管理系統(tǒng)SciDB的締造者）本周發(fā)布的一份面向超過一百位數(shù)據(jù)科學家的調(diào)查報告當中，他們發(fā)現(xiàn)有71%的受訪數(shù)據(jù)科學家認為隨著數(shù)據(jù)源種類以及數(shù)據(jù)規(guī)模的不斷增加、他們的工作難度也隨之逐步攀升。

值得注意的是，只有48%的受訪者在調(diào)查中表示他們曾經(jīng)在工作當中使用過Hadoop或者Spark，而且76%的受訪者認為Hadoop的執(zhí)行速度太過緩慢、在建立規(guī)劃時需要投入大量精力或者存在其它嚴重局限。

“數(shù)據(jù)源種類的不斷增加正迫使數(shù)據(jù)科學家們尋找處理問題的捷徑，否則數(shù)據(jù)量與財政預算之間的矛盾將變得不可調(diào)和，”Paradigm4公司 CEO Marilyn Matz表示?！澳壳皩τ跀?shù)據(jù)規(guī)模的關注掩蓋了分析工作當中的真正挑戰(zhàn)所在。只有解決對不同類型數(shù)據(jù)加以利用這一重大難題，我們才有可能釋放分析手段當中 所蘊藏的巨大潛能。”

即使拋開Hadoop平臺周邊存在的諸多挑戰(zhàn)性因素，其本身也仍然無法令人滿意。約有半數(shù)受訪者在調(diào)查中表示（49%），他們發(fā)現(xiàn)自己的數(shù)據(jù)很 難與關系型數(shù)據(jù)庫表相適應。59%的受訪者指出他們所在的企業(yè)已經(jīng)開始使用復雜的分析機制——包括協(xié)方差分析等數(shù)學手段、集群化、機器學習、主成分分析與 圖形操作，而非商務智能報告等“基礎分析”手段——對業(yè)務數(shù)據(jù)進行分析。

另有15%的受訪者計劃在未來一年中開始使用復雜分析機制，16%的受訪者則將復雜分析機制的引入規(guī)劃設定在未來兩年內(nèi)。只有4%的受訪者表示他們所在的企業(yè)尚無計劃使用復雜分析方案。

Paradigm4認為這意味著大數(shù)據(jù)這一“唾手可得的價值果實”已經(jīng)開始轉(zhuǎn)化為實際收益，而數(shù)據(jù)科學家們將需要進一步深入研究、從而最大程度提升其附加價值。

“大數(shù)據(jù)發(fā)展進程中由簡單向復雜分析的過渡預示著分析機制將逐步走向規(guī)模化道路，而這個過程將超越單一服務器內(nèi)存容量限制、將分散且易于忽略的 價值作為關注重點并需要以適當?shù)幕旌喜蓸宇l率作為依托——這一切都將成為分析領域的新興需求，”Paradigm4在報告中寫道?！斑@些復雜分析方法同時 也會給數(shù)據(jù)科學家?guī)肀姸嗖皇鼙O(jiān)管且無從假設的實際處理方案，并最終讓數(shù)據(jù)自身有能力給出結(jié)論?！?/span>

　　有時候單靠Hadoop還遠遠不夠

Paradigm4還認為，Hadoop已經(jīng)被不切實際地夸大成了一套具有普遍性與顛覆性的大數(shù)據(jù)解決方案。報告指出，在某些特定復雜分析用例 當中，Hadoop根本不能算是可行的解決方案。Paradigm4表示，基礎分析已經(jīng)成為一種“高度并行機制”（也被稱為‘數(shù)據(jù)并行機制’），而復雜分 析則并非如此。

所謂高度并行問題可以被拆分成多個獨立的子問題且能夠并行運作——不同任務之間幾乎甚至完全不存在關聯(lián)性，因此大家不需要一次性訪問全部數(shù)據(jù)內(nèi) 容。這也正是Hadoop MapReduce在處理數(shù)據(jù)時所遵循的辦法。而非高度并行類分析任務，例如眾多復雜分析問題，要求一次性使用并共享全部數(shù)據(jù)內(nèi)容并在處理過程當中隨時進 行結(jié)果通信。

22%的受訪數(shù)據(jù)科學家在調(diào)查中表示，Hadoop與Spark并不適合自己的分析實例。Paradigm4公司還發(fā)現(xiàn)，35%的受訪數(shù)據(jù)科學家曾經(jīng)嘗試過Hadoop或者Spark，但最終放棄了將其引入實際業(yè)務環(huán)境的打算。

Paradigm4在報告中提到的111位美國數(shù)據(jù)科學家來自由創(chuàng)新研究企業(yè)Innovation Enterprise自2014年3月27日到4月23日進行的調(diào)查群體。Paradigm4在下面這份圖表當中匯總了全部相關調(diào)查結(jié)果。