大數(shù)據(jù)的五大迷思_數(shù)據(jù)分析師考試

目前，大量企業(yè)擁有海量的客戶(hù)信息，包括在線(xiàn)交易記錄及社交媒體數(shù)據(jù)等。但是，成功的關(guān)鍵是要能夠從不同渠道和來(lái)源的數(shù)據(jù)中洞察價(jià)值，而具備收集并分析這些數(shù)據(jù)能力的企業(yè)將在競(jìng)爭(zhēng)中擁有顯著優(yōu)勢(shì)。數(shù)據(jù)的非結(jié)構(gòu)化已經(jīng)成為企業(yè)的重大挑戰(zhàn)。企業(yè)已經(jīng)熟悉收集和分析結(jié)構(gòu)化數(shù)據(jù)，如傳統(tǒng)的銷(xiāo)售年報(bào)信息。

目前，許多企業(yè)都困惑于如何收集和分析更多類(lèi)型的多結(jié)構(gòu)化數(shù)據(jù)，如網(wǎng)絡(luò)日志、無(wú)線(xiàn)電射頻識(shí)別(RFID)、傳感器網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)文本和文件、互聯(lián)網(wǎng)搜索索引、詳細(xì)通話(huà)記錄、醫(yī)療記錄、攝影檔案、視頻檔案以及電子商務(wù)交易數(shù)據(jù)等。 由于這些數(shù)據(jù)的結(jié)構(gòu)問(wèn)題及大數(shù)據(jù)類(lèi)型的復(fù)雜關(guān)聯(lián)，導(dǎo)致無(wú)法應(yīng)用現(xiàn)有的傳統(tǒng)技巧進(jìn)行大數(shù)據(jù)分析。這為企業(yè)帶來(lái)了新的任務(wù)，需要開(kāi)發(fā)一套全新方法，不僅能夠處理傳統(tǒng)數(shù)據(jù)，而且可以便捷地分析和應(yīng)用這些新興數(shù)據(jù)，而不是僅僅進(jìn)行儲(chǔ)存。 迷思一：大數(shù)據(jù)是針對(duì)數(shù)據(jù)量和數(shù)據(jù)增長(zhǎng)量而言 這種說(shuō)法并不完全正確。的確，大數(shù)據(jù)包括海量的以指數(shù)速度增長(zhǎng)的傳統(tǒng)業(yè)務(wù)數(shù)據(jù)，也包括web應(yīng)用、傳感器網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、基因組、視頻、照片等新渠道生成的各種數(shù)據(jù)。同時(shí)，大數(shù)據(jù)還很復(fù)雜，進(jìn)行收集、儲(chǔ)存、管理和分析的難度極大。

 目前，兩種類(lèi)型的數(shù)據(jù)都在不斷增長(zhǎng)。據(jù)IDC集團(tuán)出版的《2011年十大預(yù)測(cè)》報(bào)告稱(chēng)：“企業(yè)正被淹沒(méi)在信息海洋里，卻仍渴望獲得更多信息，這也為大數(shù)據(jù)分析和管理帶來(lái)了巨大機(jī)遇。”該報(bào)告指出，企業(yè)的愿望終將實(shí)現(xiàn)?！叭驍?shù)據(jù)總量(digital universe)將擴(kuò)張近50%，達(dá)到約1.8 澤它字節(jié)(約合2萬(wàn)億Gb)。作為參考，專(zhuān)家們預(yù)計(jì)1澤它字節(jié)相當(dāng)于長(zhǎng)度高達(dá)3600萬(wàn)年高清視頻文件產(chǎn)生的數(shù)據(jù)量?！?迷思二：企業(yè)應(yīng)淘汰并更換現(xiàn)有分析系統(tǒng)以應(yīng)對(duì)大數(shù)據(jù)時(shí)代到來(lái) 錯(cuò)誤，沒(méi)有必要!建立大數(shù)據(jù)分析能力需要人才、流程和技術(shù)的完美組合。如果企業(yè)尚未發(fā)掘現(xiàn)有商業(yè)智能環(huán)境的價(jià)值，在啟用大數(shù)據(jù)分析平臺(tái)前需率先解決該問(wèn)題。當(dāng)傳統(tǒng)業(yè)務(wù)數(shù)據(jù)分析被賦予大數(shù)據(jù)的視野，才能實(shí)現(xiàn)大數(shù)據(jù)分析的真正價(jià)值，帶來(lái)透明和全面的業(yè)務(wù)觀(guān)點(diǎn)，從而創(chuàng)造出業(yè)務(wù)迅猛發(fā)展的機(jī)會(huì)。 

首先，企業(yè)應(yīng)制定計(jì)劃，明確應(yīng)用大數(shù)據(jù)分析要達(dá)成的業(yè)務(wù)目標(biāo)。依據(jù)這些目標(biāo)，企業(yè)應(yīng)部署適用的硬件和軟件以應(yīng)對(duì)挑戰(zhàn)。根據(jù)一線(xiàn)員工的需求部署商業(yè)智能解決方案，幫助他們做出最佳決策。在采用正確的技術(shù)支持后，企業(yè)用戶(hù)和數(shù)據(jù)科學(xué)家能夠迅速收集和分析新的數(shù)據(jù)源，發(fā)掘業(yè)務(wù)需要的洞察力。 迷思三：大數(shù)據(jù)只對(duì)谷歌、Facebook和亞馬遜這樣的高科技公司才有意義 無(wú)論是互聯(lián)網(wǎng)公司、財(cái)富500強(qiáng)、或者小型企業(yè)，都與大數(shù)據(jù)的爆炸式增長(zhǎng)息息相關(guān)。無(wú)論所在行業(yè)或企業(yè)規(guī)模，數(shù)據(jù)分析已經(jīng)成為當(dāng)前重要的業(yè)務(wù)需求?，F(xiàn)今，在企業(yè)運(yùn)營(yíng)中若無(wú)法從業(yè)務(wù)數(shù)據(jù)中獲得真正的洞察，是絕不可行。全球主要市場(chǎng)的企業(yè)正在實(shí)現(xiàn)新一代高級(jí)分析應(yīng)用的轉(zhuǎn)型，通過(guò)全新方式應(yīng)用海量的傳統(tǒng)數(shù)據(jù)和新型數(shù)據(jù)，提供更深入、更智慧的洞察力。而且，企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)取決于在商業(yè)環(huán)境中管理和分析所有關(guān)鍵數(shù)據(jù)的能力，以及幫助企業(yè)做出最佳決策的洞察力。 迷思四：數(shù)據(jù)科學(xué)家和大數(shù)據(jù)分析是2012年的IT界時(shí)尚 大數(shù)據(jù)分析絕非一時(shí)狂熱，這點(diǎn)毋庸置疑。正如O'Reilly Media創(chuàng)始人Tim O'Reilly所言：“我們正在開(kāi)創(chuàng)迷人的數(shù)據(jù)驅(qū)動(dòng)應(yīng)用新世界，這是一個(gè)任由我們塑造的世界?！蹦壳埃瑪?shù)據(jù)科學(xué)家已經(jīng)成為獨(dú)立的職業(yè)，奮戰(zhàn)在塑造這個(gè)商業(yè)新世界的最前線(xiàn)，精通數(shù)據(jù)的專(zhuān)家將成為新時(shí)代中的重要成員。

 數(shù)據(jù)科學(xué)家必須對(duì)數(shù)據(jù)充滿(mǎn)好奇，擁有專(zhuān)心鉆研的態(tài)度，積極進(jìn)取并善于批判性思考。他們具有對(duì)業(yè)務(wù)流程的深刻理解，同時(shí)融合數(shù)學(xué)、統(tǒng)計(jì)學(xué)，以及使用Excel、SQL和分析工作臺(tái)等技能。目前，市場(chǎng)對(duì)擁有技術(shù)能力及商業(yè)意識(shí)的專(zhuān)業(yè)人才需求量巨大。 迷思五：大數(shù)據(jù)的價(jià)值取決于Hadoop及同類(lèi)軟件的技術(shù)處理能力 沒(méi)有任何單一技術(shù)能夠滿(mǎn)足所有需求。

根據(jù)企業(yè)努力解決的業(yè)務(wù)問(wèn)題，建立大數(shù)據(jù)分析能力需要人才、流程和各種技術(shù)的完美組合，而最關(guān)鍵的是釋放這些數(shù)據(jù)的商業(yè)價(jià)值。這將需要復(fù)雜的分析應(yīng)用，其中包括數(shù)字營(yíng)銷(xiāo)優(yōu)化、欺詐偵測(cè)和預(yù)防，以及和社交網(wǎng)絡(luò)分析等。 Hadoop在大數(shù)據(jù)技術(shù)庫(kù)中擁有一定價(jià)值及重要位置。Hadoop既是框架，更是實(shí)現(xiàn)多結(jié)構(gòu)數(shù)據(jù)過(guò)濾、轉(zhuǎn)化及整合的優(yōu)異平臺(tái)，類(lèi)似于未搭載引擎或車(chē)身的跑車(chē)底盤(pán)。采用這種架構(gòu)，Hadoop可以支持迭代及實(shí)時(shí)數(shù)據(jù)探索和分析，快速發(fā)現(xiàn)新數(shù)據(jù)及數(shù)據(jù)的變化模式。

 成功的關(guān)鍵 成功的關(guān)鍵在于能夠整合企業(yè)既有傳統(tǒng)業(yè)務(wù)數(shù)據(jù)和新型數(shù)據(jù)。通過(guò)開(kāi)放訪(fǎng)問(wèn)整個(gè)企業(yè)生態(tài)系統(tǒng)并整合各種來(lái)源的數(shù)據(jù)，企業(yè)可以應(yīng)用大數(shù)據(jù)分析對(duì)客戶(hù)進(jìn)行超級(jí)全面的分析，進(jìn)一步改善客戶(hù)服務(wù)和銷(xiāo)售業(yè)績(jī)。