基于常規(guī)法則的大數(shù)據(jù)分析最佳實(shí)踐

由于出現(xiàn)了新詞匯、新技術(shù)、新產(chǎn)品和新提供商，“大數(shù)據(jù)”分析讓人很陌生，但是經(jīng)過(guò)檢驗(yàn)的數(shù)據(jù)管理最佳實(shí)踐方法一樣能夠在這個(gè)仍然屬于新興學(xué)科的領(lǐng)域發(fā)揮作用。

與各種商業(yè)智能(BI)和數(shù)據(jù)倉(cāng)庫(kù)一樣，專(zhuān)家認(rèn)為在開(kāi)始進(jìn)行大數(shù)據(jù)分析項(xiàng)目之前，清晰理解組織的數(shù)據(jù)管理需求和明確策略是非常重要的。大數(shù)據(jù)分析被廣泛地進(jìn)行討論，而且各種行業(yè)的公司都充斥著新數(shù)據(jù)源和不斷增多的信息。但是，在未明確這樣做能夠真正給公司帶來(lái)什么價(jià)值之前，就投入大量的資源應(yīng)用大數(shù)據(jù)技術(shù)，這就是所謂用戶(hù)的最嚴(yán)重失誤。

David Menninger是Ventana研究公司的一名分析師，他主要關(guān)注于BI、分析與信息管理技術(shù)。他認(rèn)為不要在這個(gè)技術(shù)上表現(xiàn)得太激進(jìn)，要先從業(yè)務(wù)角度著手，并且要與CIO、數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員進(jìn)行交流，一起確定業(yè)務(wù)目標(biāo)和預(yù)期價(jià)值，然后再開(kāi)始動(dòng)手。

準(zhǔn)確定義可用的數(shù)據(jù)和確定組織最佳利用這些資源的方式是整個(gè)過(guò)程中最關(guān)鍵的部分。Menninger指出，CIO、IT經(jīng)理和BI人員需要確定所保留、聚集和使用的數(shù)據(jù)是什么，并且將它們與丟棄的數(shù)據(jù)進(jìn)行比較。同時(shí)一定要考慮目前仍未涉及但可能會(huì)加入的外部數(shù)據(jù)源。

Menninger指出，即使公司不確定何時(shí)及如何應(yīng)用大數(shù)據(jù)分析，盡早進(jìn)行這種評(píng)估仍然是有好處的。此外，開(kāi)始數(shù)據(jù)捕捉的過(guò)程能夠幫助您準(zhǔn)備好實(shí)現(xiàn)最終的跳躍。他說(shuō)：“即使您不知道將使用它來(lái)做什么，也要先捕捉數(shù)據(jù)。否則，您就會(huì)失去一個(gè)機(jī)會(huì)，因?yàn)槟鷽](méi)有足夠的歷史數(shù)據(jù)可以分析?！?/span>

? 大數(shù)據(jù)要從小開(kāi)始

分析大數(shù)據(jù)集也一樣要從小機(jī)會(huì)開(kāi)始，然后再使用它們作為起點(diǎn)。隨著公司不斷地?cái)U(kuò)大分析的數(shù)據(jù)源和信息類(lèi)型，以及開(kāi)始創(chuàng)建最重要的分析模型，幫助他們發(fā)現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的模式和相關(guān)性，他們需要注意那些對(duì)于預(yù)期業(yè)務(wù)目標(biāo)而言最重要的結(jié)果。

Gartner公司的分析師Yvonne Genovese指出：“如果您最終只能尋找新的模式，而且它們毫無(wú)用處，那么您肯定遇到死角了。”

ComScore公司專(zhuān)門(mén)跟蹤互聯(lián)網(wǎng)使用，為企業(yè)客戶(hù)提供Web分析和銷(xiāo)售智能服務(wù)。它們很早就認(rèn)識(shí)到需要某種大數(shù)據(jù)策略。但是，ComScore選取了一些非常有針對(duì)性的點(diǎn)，然后再慢慢建立自己的大數(shù)據(jù)分析項(xiàng)目。

ComScore的軟件工程副總裁Will Duckworth說(shuō)：“我們從小開(kāi)始——提取各個(gè)數(shù)據(jù)流，再將它們傳輸?shù)讲煌南到y(tǒng)。如果您無(wú)法達(dá)到一定的規(guī)模，您是無(wú)法一夜之間做到這一點(diǎn)的?！?/span>

鑒于公司處理的數(shù)據(jù)量，規(guī)模正是comScore重視的方面。早在2009年，當(dāng)它一開(kāi)始每天只采集到3億條記錄的時(shí)候——現(xiàn)在每天達(dá)到230億條記錄并仍在增長(zhǎng)，Duckworth就開(kāi)始尋找一些新系統(tǒng)和技術(shù)基礎(chǔ)架構(gòu)，以高效地完成comScore的數(shù)據(jù)處理。

? 不要忘記最終目標(biāo)仍是大數(shù)據(jù)

通過(guò)利用開(kāi)源Hadoop 技術(shù)和新型分析工具，Duckworth對(duì)開(kāi)源環(huán)境進(jìn)行了優(yōu)化，這樣SQL的業(yè)務(wù)分析人員便可以更容易地接受。他指出，在確定大數(shù)據(jù)分析實(shí)施計(jì)劃時(shí)，公司一定要重視規(guī)模因素。

他解釋說(shuō)：“您一定要考慮到變化——從現(xiàn)在開(kāi)始的半年內(nèi)，您需要處理多少數(shù)據(jù)，您需要增加多少服務(wù)器，是否由軟件來(lái)完成這些任務(wù)。人們并沒(méi)有考慮到數(shù)據(jù)增長(zhǎng)的程度，以及觖決方案部署到生產(chǎn)環(huán)境后的流行程度?！?/span>

在陷入大數(shù)據(jù)“新常態(tài)”之后，許多公司經(jīng)常忽略的另一個(gè)方面是數(shù)據(jù)管理的“舊常態(tài)”仍然是有效的。

Gartner的另一位分析師Marcus Collins指出，“信息管理實(shí)踐方法對(duì)于現(xiàn)在的大數(shù)據(jù)和以前的數(shù)據(jù)倉(cāng)庫(kù)都是一樣重要的。即使是對(duì)于希望增加處理靈活性的公司而言，他們也要記住一點(diǎn)，信息是企業(yè)資產(chǎn)，應(yīng)該一如繼往地保持重視?！?/span>