基于常規(guī)法則的大數(shù)據(jù)分析最佳實踐

由于出現(xiàn)了新詞匯、新技術、新產(chǎn)品和新提供商，“大數(shù)據(jù)”分析讓人很陌生，但是經(jīng)過檢驗的數(shù)據(jù)管理最佳實踐方法一樣能夠在這個仍然屬于新興學科的領域發(fā)揮作用。

與各種商業(yè)智能(BI)和數(shù)據(jù)倉庫一樣，專家認為在開始進行大數(shù)據(jù)分析項目之前，清晰理解組織的數(shù)據(jù)管理需求和明確策略是非常重要的。大數(shù)據(jù)分析被廣泛地進行討論，而且各種行業(yè)的公司都充斥著新數(shù)據(jù)源和不斷增多的信息。但是，在未明確這樣做能夠真正給公司帶來什么價值之前，就投入大量的資源應用大數(shù)據(jù)技術，這就是所謂用戶的最嚴重失誤。

David Menninger是Ventana研究公司的一名分析師，他主要關注于BI、分析與信息管理技術。他認為不要在這個技術上表現(xiàn)得太激進，要先從業(yè)務角度著手，并且要與CIO、數(shù)據(jù)科學家和業(yè)務人員進行交流，一起確定業(yè)務目標和預期價值，然后再開始動手。

準確定義可用的數(shù)據(jù)和確定組織最佳利用這些資源的方式是整個過程中最關鍵的部分。Menninger指出，CIO、IT經(jīng)理和BI人員需要確定所保留、聚集和使用的數(shù)據(jù)是什么，并且將它們與丟棄的數(shù)據(jù)進行比較。同時一定要考慮目前仍未涉及但可能會加入的外部數(shù)據(jù)源。

Menninger指出，即使公司不確定何時及如何應用大數(shù)據(jù)分析，盡早進行這種評估仍然是有好處的。此外，開始數(shù)據(jù)捕捉的過程能夠幫助您準備好實現(xiàn)最終的跳躍。他說：“即使您不知道將使用它來做什么，也要先捕捉數(shù)據(jù)。否則，您就會失去一個機會，因為您沒有足夠的歷史數(shù)據(jù)可以分析?！?/span>

? 大數(shù)據(jù)要從小開始

分析大數(shù)據(jù)集也一樣要從小機會開始，然后再使用它們作為起點。隨著公司不斷地擴大分析的數(shù)據(jù)源和信息類型，以及開始創(chuàng)建最重要的分析模型，幫助他們發(fā)現(xiàn)結構化和非結構化數(shù)據(jù)的模式和相關性，他們需要注意那些對于預期業(yè)務目標而言最重要的結果。

Gartner公司的分析師Yvonne Genovese指出：“如果您最終只能尋找新的模式，而且它們毫無用處，那么您肯定遇到死角了。”

ComScore公司專門跟蹤互聯(lián)網(wǎng)使用，為企業(yè)客戶提供Web分析和銷售智能服務。它們很早就認識到需要某種大數(shù)據(jù)策略。但是，ComScore選取了一些非常有針對性的點，然后再慢慢建立自己的大數(shù)據(jù)分析項目。

ComScore的軟件工程副總裁Will Duckworth說：“我們從小開始——提取各個數(shù)據(jù)流，再將它們傳輸?shù)讲煌南到y(tǒng)。如果您無法達到一定的規(guī)模，您是無法一夜之間做到這一點的?！?/span>

鑒于公司處理的數(shù)據(jù)量，規(guī)模正是comScore重視的方面。早在2009年，當它一開始每天只采集到3億條記錄的時候——現(xiàn)在每天達到230億條記錄并仍在增長，Duckworth就開始尋找一些新系統(tǒng)和技術基礎架構，以高效地完成comScore的數(shù)據(jù)處理。

? 不要忘記最終目標仍是大數(shù)據(jù)

通過利用開源Hadoop 技術和新型分析工具，Duckworth對開源環(huán)境進行了優(yōu)化，這樣SQL的業(yè)務分析人員便可以更容易地接受。他指出，在確定大數(shù)據(jù)分析實施計劃時，公司一定要重視規(guī)模因素。

他解釋說：“您一定要考慮到變化——從現(xiàn)在開始的半年內(nèi)，您需要處理多少數(shù)據(jù)，您需要增加多少服務器，是否由軟件來完成這些任務。人們并沒有考慮到數(shù)據(jù)增長的程度，以及觖決方案部署到生產(chǎn)環(huán)境后的流行程度。”

在陷入大數(shù)據(jù)“新常態(tài)”之后，許多公司經(jīng)常忽略的另一個方面是數(shù)據(jù)管理的“舊常態(tài)”仍然是有效的。

Gartner的另一位分析師Marcus Collins指出，“信息管理實踐方法對于現(xiàn)在的大數(shù)據(jù)和以前的數(shù)據(jù)倉庫都是一樣重要的。即使是對于希望增加處理靈活性的公司而言，他們也要記住一點，信息是企業(yè)資產(chǎn)，應該一如繼往地保持重視?！?/span>