大數(shù)據(jù)是否大得難以處理_數(shù)據(jù)分析師考試

盡管現(xiàn)如今的企業(yè)對(duì)于大數(shù)據(jù)項(xiàng)目充滿了熱情，但究竟有多少關(guān)于大數(shù)據(jù)的探討最終變成了實(shí)際執(zhí)行的大數(shù)據(jù)項(xiàng)目呢?到底是哪些因素阻礙了企業(yè)對(duì)于大數(shù)據(jù)項(xiàng)目的實(shí)施呢?為了找出企業(yè)迄今沒(méi)有對(duì)于這一時(shí)下炙手可熱的技術(shù)做出實(shí)質(zhì)性進(jìn)展的原因，計(jì)算機(jī)世界網(wǎng)站從今年5月開(kāi)始在香港地區(qū)展開(kāi)了一項(xiàng)調(diào)查。

　　該項(xiàng)調(diào)查的重點(diǎn)是基于用戶對(duì)于大數(shù)據(jù)的“三大特性”(數(shù)據(jù)量、種類、輸入和處理速度)的態(tài)度進(jìn)行的采訪，這三大特性定義了大數(shù)據(jù)。截至到七月，有140多名香港地區(qū)的IT專業(yè)人士參與了這項(xiàng)仍在進(jìn)行中的調(diào)查。

　　大數(shù)據(jù)項(xiàng)目從討論到正式部署

　　首先統(tǒng)計(jì)的是受訪者所在企業(yè)目前的狀態(tài)和對(duì)大數(shù)據(jù)采用的計(jì)劃。調(diào)查結(jié)果顯示，采用率很低，僅有五分之一(20.1%)的受訪專業(yè)人士表示，他們的企業(yè)目前正在使用大數(shù)據(jù)技術(shù)進(jìn)行生產(chǎn)，另外，有9.7%的機(jī)構(gòu)計(jì)劃在未來(lái)12個(gè)月內(nèi)實(shí)施大數(shù)據(jù)項(xiàng)目。

　　但也有40.3%的IT專業(yè)人士表示，他們所在的企業(yè)沒(méi)有任何實(shí)施大數(shù)據(jù)項(xiàng)目的計(jì)劃。而表示不確定的受訪者也占到了29.5%的比例。

　　對(duì)于該項(xiàng)新興技術(shù)采用的趨勢(shì)和態(tài)度不同的企業(yè)各有不同：大多數(shù)企業(yè)往往對(duì)這項(xiàng)新技術(shù)持懷疑、等待和觀望的態(tài)度。但是，這項(xiàng)調(diào)研也顯示了香港地區(qū)的大多數(shù)IT專業(yè)人士都對(duì)他們所在的企業(yè)實(shí)施大數(shù)據(jù)計(jì)劃的態(tài)度是十分鮮明的：它們要么非常積極的贊成該技術(shù)，要么直接持拒絕態(tài)度，并沒(méi)有留下一點(diǎn)持懷疑態(tài)度的空間。

　　大數(shù)據(jù)項(xiàng)目的驅(qū)動(dòng)因素和其所面臨的挑戰(zhàn)

　　為了更好的了解市場(chǎng)對(duì)于該技術(shù)的熱情和接受程度，我們讓受訪者基于他們對(duì)于大數(shù)據(jù)三大特性的印象對(duì)大數(shù)據(jù)的益處進(jìn)行了評(píng)價(jià)。

　　大數(shù)據(jù)的收集和分析大量數(shù)據(jù)的能力獲得最高評(píng)價(jià)，有47%受訪者將這一特性評(píng)為最重要的益處。評(píng)價(jià)第二的是：處理各種數(shù)據(jù)格式的能力(占29.1%)。大數(shù)據(jù)技術(shù)傳遞速度和性能分析是排名最低，只有23.9%的IT專業(yè)人士認(rèn)為該特性是其最重要的益處。

　　調(diào)查顯示，關(guān)于實(shí)施大數(shù)據(jù)項(xiàng)目所面臨的挑戰(zhàn)：數(shù)據(jù)集成工具較差(占48.8%)，數(shù)據(jù)質(zhì)量差(占39.8%)，缺乏數(shù)據(jù)架構(gòu)(占39%)和混亂的數(shù)據(jù)所有權(quán)(占39%)位列受訪者們調(diào)查結(jié)果的前四名。

　　在這四大因素中，前三名的挑戰(zhàn)與技術(shù)不成熟和數(shù)據(jù)管理有關(guān)。盡管這些問(wèn)題都是相當(dāng)麻煩的，但他們主要是與技術(shù)相關(guān)的問(wèn)題，通常是容易解決的。

　　好消息是，更為復(fù)雜的挑戰(zhàn)問(wèn)題，諸如開(kāi)發(fā)商業(yè)案例(占24.4%)或企業(yè)內(nèi)部文化沖突(占14.6%)的排名很低。這一發(fā)現(xiàn)表明，企業(yè)用戶均普遍意識(shí)到大數(shù)據(jù)的益處，今后在員工教育和說(shuō)服用戶方面的不用花費(fèi)大量的資金投資了。

　　數(shù)據(jù)量與種類

　　除了研究企業(yè)部署大數(shù)據(jù)項(xiàng)目的動(dòng)機(jī)和面臨的挑戰(zhàn)，本次調(diào)查還進(jìn)一步的研究的大數(shù)據(jù)的“三大特性”，以了解進(jìn)行大數(shù)據(jù)管理的需求和期望。

　　在香港，被企業(yè)視為大數(shù)據(jù)的數(shù)據(jù)量標(biāo)準(zhǔn)與全球標(biāo)準(zhǔn)是持平的。大約三分之二的本地IT專業(yè)人士認(rèn)為，大數(shù)據(jù)的數(shù)據(jù)量將至少要在10TB以上，接近20%的受訪者不是，超過(guò)100TB的數(shù)據(jù)量才能被認(rèn)為是大數(shù)據(jù)。

　　根據(jù)維基百科介紹，決定大數(shù)據(jù)大小的指標(biāo)永遠(yuǎn)在變，截至2012年，大數(shù)據(jù)中的數(shù)據(jù)集可以由幾十兆字節(jié)至數(shù)拍字節(jié)的數(shù)據(jù)組成。這指標(biāo)不固定是因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)以至NoSQL等新型數(shù)據(jù)庫(kù)，它們的科技和處理大容量數(shù)據(jù)的能力不斷在改進(jìn)。

　　隨著技術(shù)的進(jìn)步，企業(yè)的數(shù)據(jù)量還將繼續(xù)增加。除了針對(duì)數(shù)據(jù)量的調(diào)查，本次調(diào)研還試圖量化數(shù)據(jù)的性質(zhì)對(duì)于促進(jìn)大數(shù)據(jù)增長(zhǎng)的作用。調(diào)查采訪了受訪者們兩個(gè)單獨(dú)的問(wèn)題：不同類型的數(shù)據(jù)所產(chǎn)生的數(shù)據(jù)量，以及可能導(dǎo)致大數(shù)據(jù)分析的數(shù)據(jù)類型。

　　調(diào)查顯示，目前正在大規(guī)模產(chǎn)生的海量數(shù)據(jù)預(yù)計(jì)也將用于大數(shù)據(jù)分析。IT專業(yè)受訪者們表示，目前產(chǎn)生最大數(shù)據(jù)量的來(lái)源為結(jié)構(gòu)化的事務(wù)處理數(shù)據(jù)和電子郵件數(shù)據(jù)，分類占到數(shù)據(jù)量的62.7%和53%。這兩大數(shù)據(jù)來(lái)源所產(chǎn)生的數(shù)據(jù)也是可用于大數(shù)據(jù)分析的最流行的兩種數(shù)據(jù)類型。

　　后起之秀：社會(huì)化媒體內(nèi)容

　　鑒于大多數(shù)IT用戶將能夠處理大量數(shù)據(jù)的能力作為大數(shù)據(jù)最為重要的益處。大容量的數(shù)據(jù)類型就更可能被用于先進(jìn)的分析了。

　　然而，也有例外的情況發(fā)生。社會(huì)化媒體內(nèi)容即是如此。相對(duì)而言，僅有較少的企業(yè)(26.9%)表示，社交媒體正在產(chǎn)生大量的數(shù)據(jù)信息，但是社會(huì)媒體的數(shù)據(jù)信息則占到了大數(shù)據(jù)分析很高的權(quán)重(40.5%)。

　　雖然從社會(huì)媒體所產(chǎn)生的數(shù)據(jù)量是巨大的，大多數(shù)企業(yè)尚未開(kāi)始捕獲并分析這些數(shù)據(jù)集。隨著社會(huì)媒體流動(dòng)性和影響力的繼續(xù)增加，更多的企業(yè)將轉(zhuǎn)向這方面平臺(tái)的洞察，屆時(shí)大數(shù)據(jù)技術(shù)有望在這個(gè)過(guò)程中發(fā)揮關(guān)鍵性的作用。相同的動(dòng)機(jī)驅(qū)動(dòng)因素在利用大數(shù)據(jù)來(lái)分析數(shù)字豐富的數(shù)字媒體，如視頻、音頻、圖像方面占到的比例更高(37.3%)。

　　分析當(dāng)前和未來(lái)的狀況

　　該調(diào)查還研究了不同類型的業(yè)務(wù)在當(dāng)前所支持和采用的先進(jìn)的分析方法，并預(yù)計(jì)其將在未來(lái)的發(fā)展趨勢(shì)。

　　頂級(jí)商務(wù)功能方面，目前正在采用和執(zhí)行的高級(jí)分析包括：業(yè)務(wù)報(bào)告(71.9%)，規(guī)劃和預(yù)測(cè)(56.8%)和預(yù)算(53.5%)，這幾項(xiàng)在未來(lái)先進(jìn)的分析性能預(yù)測(cè)中排名很低。

　　調(diào)查表明，目前的分析主要用于執(zhí)行操作的角色。更具戰(zhàn)略性的業(yè)務(wù)功能，如戰(zhàn)略管理(64.8%)，利潤(rùn)模型(58.7%)，企業(yè)績(jī)效管理(58.6%)和研發(fā)(58.3%)，預(yù)計(jì)在未來(lái)的先進(jìn)分析應(yīng)用中將占主導(dǎo)地位。

　　這一發(fā)現(xiàn)表明，香港地區(qū)的企業(yè)非常了解大數(shù)據(jù)分析的戰(zhàn)略價(jià)值。先進(jìn)的分析方法是將從當(dāng)前的業(yè)務(wù)支持更多轉(zhuǎn)向發(fā)揮戰(zhàn)略方面的作用。隨著企業(yè)對(duì)于更大量數(shù)據(jù)和更多類型數(shù)據(jù)的收集的增加，以及分析模型演進(jìn)，預(yù)計(jì)企業(yè)將在未來(lái)利用大數(shù)據(jù)分析進(jìn)行戰(zhàn)略決策。

　　輸入和處理速度仍然很重要

　　盡管受訪者對(duì)于數(shù)據(jù)分析速度的排名較低，但其性能似乎對(duì)本地企業(yè)來(lái)說(shuō)仍然是一個(gè)問(wèn)題。

　　該調(diào)研調(diào)查了受訪者們關(guān)于查詢分析結(jié)果的最佳時(shí)間。雖然大多數(shù)的IT受訪者(42.1%)表示可以為結(jié)果等待一分鐘的時(shí)間，超過(guò)三分之一(37.3%)的受訪者則希望能夠在不到10秒的時(shí)間內(nèi)就得到分析結(jié)果，以滿足其業(yè)務(wù)需要。

　　這一發(fā)現(xiàn)表明，輸入和處理速度、以及數(shù)據(jù)量的問(wèn)題將對(duì)企業(yè)的IT部門及其處理進(jìn)程提出相應(yīng)的要求。如果數(shù)據(jù)結(jié)構(gòu)和IT基礎(chǔ)設(shè)施還沒(méi)有準(zhǔn)備好能夠在10秒內(nèi)處理并分析100TB的數(shù)據(jù)，一些IT用戶則表示這是無(wú)法接受的。

　　調(diào)查結(jié)果表明，大多數(shù)IT用戶(58.5%)關(guān)心的是現(xiàn)有的信息基礎(chǔ)設(shè)施所采集的大數(shù)據(jù)的狀態(tài)。對(duì)于數(shù)據(jù)結(jié)構(gòu)和IT基礎(chǔ)設(shè)施缺乏信心是香港企業(yè)最為關(guān)注的問(wèn)題。而如果不建立這樣的信心，大數(shù)據(jù)項(xiàng)目的采用將很難實(shí)現(xiàn)。