大數(shù)據(jù)是否大得難以處理_數(shù)據(jù)分析師考試

盡管現(xiàn)如今的企業(yè)對于大數(shù)據(jù)項目充滿了熱情，但究竟有多少關(guān)于大數(shù)據(jù)的探討最終變成了實際執(zhí)行的大數(shù)據(jù)項目呢?到底是哪些因素阻礙了企業(yè)對于大數(shù)據(jù)項目的實施呢?為了找出企業(yè)迄今沒有對于這一時下炙手可熱的技術(shù)做出實質(zhì)性進展的原因，計算機世界網(wǎng)站從今年5月開始在香港地區(qū)展開了一項調(diào)查。

　　該項調(diào)查的重點是基于用戶對于大數(shù)據(jù)的“三大特性”(數(shù)據(jù)量、種類、輸入和處理速度)的態(tài)度進行的采訪，這三大特性定義了大數(shù)據(jù)。截至到七月，有140多名香港地區(qū)的IT專業(yè)人士參與了這項仍在進行中的調(diào)查。

　　大數(shù)據(jù)項目從討論到正式部署

　　首先統(tǒng)計的是受訪者所在企業(yè)目前的狀態(tài)和對大數(shù)據(jù)采用的計劃。調(diào)查結(jié)果顯示，采用率很低，僅有五分之一(20.1%)的受訪專業(yè)人士表示，他們的企業(yè)目前正在使用大數(shù)據(jù)技術(shù)進行生產(chǎn)，另外，有9.7%的機構(gòu)計劃在未來12個月內(nèi)實施大數(shù)據(jù)項目。

　　但也有40.3%的IT專業(yè)人士表示，他們所在的企業(yè)沒有任何實施大數(shù)據(jù)項目的計劃。而表示不確定的受訪者也占到了29.5%的比例。

　　對于該項新興技術(shù)采用的趨勢和態(tài)度不同的企業(yè)各有不同：大多數(shù)企業(yè)往往對這項新技術(shù)持懷疑、等待和觀望的態(tài)度。但是，這項調(diào)研也顯示了香港地區(qū)的大多數(shù)IT專業(yè)人士都對他們所在的企業(yè)實施大數(shù)據(jù)計劃的態(tài)度是十分鮮明的：它們要么非常積極的贊成該技術(shù)，要么直接持拒絕態(tài)度，并沒有留下一點持懷疑態(tài)度的空間。

　　大數(shù)據(jù)項目的驅(qū)動因素和其所面臨的挑戰(zhàn)

　　為了更好的了解市場對于該技術(shù)的熱情和接受程度，我們讓受訪者基于他們對于大數(shù)據(jù)三大特性的印象對大數(shù)據(jù)的益處進行了評價。

　　大數(shù)據(jù)的收集和分析大量數(shù)據(jù)的能力獲得最高評價，有47%受訪者將這一特性評為最重要的益處。評價第二的是：處理各種數(shù)據(jù)格式的能力(占29.1%)。大數(shù)據(jù)技術(shù)傳遞速度和性能分析是排名最低，只有23.9%的IT專業(yè)人士認為該特性是其最重要的益處。

　　調(diào)查顯示，關(guān)于實施大數(shù)據(jù)項目所面臨的挑戰(zhàn)：數(shù)據(jù)集成工具較差(占48.8%)，數(shù)據(jù)質(zhì)量差(占39.8%)，缺乏數(shù)據(jù)架構(gòu)(占39%)和混亂的數(shù)據(jù)所有權(quán)(占39%)位列受訪者們調(diào)查結(jié)果的前四名。

　　在這四大因素中，前三名的挑戰(zhàn)與技術(shù)不成熟和數(shù)據(jù)管理有關(guān)。盡管這些問題都是相當麻煩的，但他們主要是與技術(shù)相關(guān)的問題，通常是容易解決的。

　　好消息是，更為復雜的挑戰(zhàn)問題，諸如開發(fā)商業(yè)案例(占24.4%)或企業(yè)內(nèi)部文化沖突(占14.6%)的排名很低。這一發(fā)現(xiàn)表明，企業(yè)用戶均普遍意識到大數(shù)據(jù)的益處，今后在員工教育和說服用戶方面的不用花費大量的資金投資了。

　　數(shù)據(jù)量與種類

　　除了研究企業(yè)部署大數(shù)據(jù)項目的動機和面臨的挑戰(zhàn)，本次調(diào)查還進一步的研究的大數(shù)據(jù)的“三大特性”，以了解進行大數(shù)據(jù)管理的需求和期望。

　　在香港，被企業(yè)視為大數(shù)據(jù)的數(shù)據(jù)量標準與全球標準是持平的。大約三分之二的本地IT專業(yè)人士認為，大數(shù)據(jù)的數(shù)據(jù)量將至少要在10TB以上，接近20%的受訪者不是，超過100TB的數(shù)據(jù)量才能被認為是大數(shù)據(jù)。

　　根據(jù)維基百科介紹，決定大數(shù)據(jù)大小的指標永遠在變，截至2012年，大數(shù)據(jù)中的數(shù)據(jù)集可以由幾十兆字節(jié)至數(shù)拍字節(jié)的數(shù)據(jù)組成。這指標不固定是因為傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)以至NoSQL等新型數(shù)據(jù)庫，它們的科技和處理大容量數(shù)據(jù)的能力不斷在改進。

　　隨著技術(shù)的進步，企業(yè)的數(shù)據(jù)量還將繼續(xù)增加。除了針對數(shù)據(jù)量的調(diào)查，本次調(diào)研還試圖量化數(shù)據(jù)的性質(zhì)對于促進大數(shù)據(jù)增長的作用。調(diào)查采訪了受訪者們兩個單獨的問題：不同類型的數(shù)據(jù)所產(chǎn)生的數(shù)據(jù)量，以及可能導致大數(shù)據(jù)分析的數(shù)據(jù)類型。

　　調(diào)查顯示，目前正在大規(guī)模產(chǎn)生的海量數(shù)據(jù)預計也將用于大數(shù)據(jù)分析。IT專業(yè)受訪者們表示，目前產(chǎn)生最大數(shù)據(jù)量的來源為結(jié)構(gòu)化的事務處理數(shù)據(jù)和電子郵件數(shù)據(jù)，分類占到數(shù)據(jù)量的62.7%和53%。這兩大數(shù)據(jù)來源所產(chǎn)生的數(shù)據(jù)也是可用于大數(shù)據(jù)分析的最流行的兩種數(shù)據(jù)類型。

　　后起之秀：社會化媒體內(nèi)容

　　鑒于大多數(shù)IT用戶將能夠處理大量數(shù)據(jù)的能力作為大數(shù)據(jù)最為重要的益處。大容量的數(shù)據(jù)類型就更可能被用于先進的分析了。

　　然而，也有例外的情況發(fā)生。社會化媒體內(nèi)容即是如此。相對而言，僅有較少的企業(yè)(26.9%)表示，社交媒體正在產(chǎn)生大量的數(shù)據(jù)信息，但是社會媒體的數(shù)據(jù)信息則占到了大數(shù)據(jù)分析很高的權(quán)重(40.5%)。

　　雖然從社會媒體所產(chǎn)生的數(shù)據(jù)量是巨大的，大多數(shù)企業(yè)尚未開始捕獲并分析這些數(shù)據(jù)集。隨著社會媒體流動性和影響力的繼續(xù)增加，更多的企業(yè)將轉(zhuǎn)向這方面平臺的洞察，屆時大數(shù)據(jù)技術(shù)有望在這個過程中發(fā)揮關(guān)鍵性的作用。相同的動機驅(qū)動因素在利用大數(shù)據(jù)來分析數(shù)字豐富的數(shù)字媒體，如視頻、音頻、圖像方面占到的比例更高(37.3%)。

　　分析當前和未來的狀況

　　該調(diào)查還研究了不同類型的業(yè)務在當前所支持和采用的先進的分析方法，并預計其將在未來的發(fā)展趨勢。

　　頂級商務功能方面，目前正在采用和執(zhí)行的高級分析包括：業(yè)務報告(71.9%)，規(guī)劃和預測(56.8%)和預算(53.5%)，這幾項在未來先進的分析性能預測中排名很低。

　　調(diào)查表明，目前的分析主要用于執(zhí)行操作的角色。更具戰(zhàn)略性的業(yè)務功能，如戰(zhàn)略管理(64.8%)，利潤模型(58.7%)，企業(yè)績效管理(58.6%)和研發(fā)(58.3%)，預計在未來的先進分析應用中將占主導地位。

　　這一發(fā)現(xiàn)表明，香港地區(qū)的企業(yè)非常了解大數(shù)據(jù)分析的戰(zhàn)略價值。先進的分析方法是將從當前的業(yè)務支持更多轉(zhuǎn)向發(fā)揮戰(zhàn)略方面的作用。隨著企業(yè)對于更大量數(shù)據(jù)和更多類型數(shù)據(jù)的收集的增加，以及分析模型演進，預計企業(yè)將在未來利用大數(shù)據(jù)分析進行戰(zhàn)略決策。

　　輸入和處理速度仍然很重要

　　盡管受訪者對于數(shù)據(jù)分析速度的排名較低，但其性能似乎對本地企業(yè)來說仍然是一個問題。

　　該調(diào)研調(diào)查了受訪者們關(guān)于查詢分析結(jié)果的最佳時間。雖然大多數(shù)的IT受訪者(42.1%)表示可以為結(jié)果等待一分鐘的時間，超過三分之一(37.3%)的受訪者則希望能夠在不到10秒的時間內(nèi)就得到分析結(jié)果，以滿足其業(yè)務需要。

　　這一發(fā)現(xiàn)表明，輸入和處理速度、以及數(shù)據(jù)量的問題將對企業(yè)的IT部門及其處理進程提出相應的要求。如果數(shù)據(jù)結(jié)構(gòu)和IT基礎(chǔ)設(shè)施還沒有準備好能夠在10秒內(nèi)處理并分析100TB的數(shù)據(jù)，一些IT用戶則表示這是無法接受的。

　　調(diào)查結(jié)果表明，大多數(shù)IT用戶(58.5%)關(guān)心的是現(xiàn)有的信息基礎(chǔ)設(shè)施所采集的大數(shù)據(jù)的狀態(tài)。對于數(shù)據(jù)結(jié)構(gòu)和IT基礎(chǔ)設(shè)施缺乏信心是香港企業(yè)最為關(guān)注的問題。而如果不建立這樣的信心，大數(shù)據(jù)項目的采用將很難實現(xiàn)。