實現(xiàn)潛在大數(shù)據(jù)交付的七個步驟

大數(shù)據(jù)趨勢代表了不斷變化的處理大量數(shù)據(jù)的需求，需要新的技術(shù)解決方案，而不一定是老一代的數(shù)據(jù)庫處理方式。那么，企業(yè)開始與大數(shù)據(jù)打交道時需要考慮哪些因素呢？
    首先，他們需要知道什么是大數(shù)據(jù)。如下是我如何定義大數(shù)據(jù)這一概念：
    “新興技術(shù)和實踐方案，使收集、處理、發(fā)現(xiàn)和儲存大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)變得快速而富有成本效益。”
   大數(shù)據(jù)涵蓋了眾多社會生活的范疇——從金融交易到人類基因組，從汽車的遙測傳感器到互聯(lián)網(wǎng)上社會媒體日志。利用傳統(tǒng)的數(shù)據(jù)庫方式來處理和存儲這些大數(shù)據(jù)是相當昂貴的。為了解決這個問題的新技術(shù)，利用開放源解決方案和商業(yè)硬件高效存儲數(shù)據(jù)，并行工作負載，提供快速處理能力。
    隨著越來越多的IT部門開始研究大數(shù)據(jù)的替代品，討論中心棧，處理速度和平臺。而這些IT部門無法很好的把握其現(xiàn)有技術(shù)的局限性，許多不能闡明這些替代方案的商業(yè)價值，更遑論他們將如何進行分類和優(yōu)先級的數(shù)據(jù)排序，進入大數(shù)據(jù)治理。
    事實上，我們所看到的新出現(xiàn)的大數(shù)據(jù)需求，以及關(guān)于其處理平臺和流程的討論只是大數(shù)據(jù)傳輸整體的一部分。在現(xiàn)實中，實現(xiàn)的全部潛在大數(shù)據(jù)的交付過程，需要七個步驟：
    收集：從數(shù)據(jù)源和分布在多個節(jié)點處收集數(shù)據(jù)——通常是一個網(wǎng)格——每個進程的一個子集，并行數(shù)據(jù)。
    流程：然后系統(tǒng)使用相同的高功率并行執(zhí)行，對每個節(jié)點上的數(shù)據(jù)進行快速計算。節(jié)點“壓縮”結(jié)果數(shù)據(jù)到更多的消費數(shù)據(jù)，由此產(chǎn)生的數(shù)據(jù)集可以被人工（在分析的情況下）或機器（在解釋大型結(jié)果的情況下）使用。[page]    管理：正在處理大數(shù)據(jù)往往是異構(gòu)的，來自不同的交易系統(tǒng)。這些數(shù)據(jù)通常需要理解、定義、注釋，并且以安全起見，還要進行掃描和審核。
    測量：公司往往會測量數(shù)據(jù)的速率，可與其他客戶的行為或記錄進行整合，并隨時間的推移來決定是否對其進行整合或校正。業(yè)務要求應告知測量和持續(xù)跟蹤的類型。
    消耗：所產(chǎn)生的使用數(shù)據(jù)應符合原要求的處理流程。例如，如果利用幾百TB的社會化媒體數(shù)據(jù)互動，有助于我們了解社會媒體數(shù)據(jù)如何驅(qū)動用戶額外購買產(chǎn)品，那么我們應該建立社會媒體的數(shù)據(jù)應當如何被訪問和更新的規(guī)則。這與機器對機器的數(shù)據(jù)訪問是同樣重要的。
    存儲：由于“數(shù)據(jù)即服務”趨勢的形成，越來越多的數(shù)據(jù)開始存儲在單一位置，以便于進程的訪問。數(shù)據(jù)用于短期的存儲批處理或長期保留，應審慎處理存儲解決方案。
    數(shù)據(jù)管理：數(shù)據(jù)治理是驅(qū)動業(yè)務的決策和監(jiān)督數(shù)據(jù)。根據(jù)數(shù)據(jù)治理的定義，數(shù)據(jù)治理適用于六個前階段的大數(shù)據(jù)傳輸。通過建立流程和指導原則，制裁圍繞數(shù)據(jù)的行為。大數(shù)據(jù)需要根據(jù)其預期消費進行管轄。其他的風險是對于數(shù)據(jù)分配的不滿，更不用說過度投資。
    大多數(shù)工作人員負責調(diào)查和獲取大數(shù)據(jù)解決方案側(cè)重于收集和存儲步驟，而犧牲了其他的步驟。他們的問題是：“我們?nèi)绾问占羞@些數(shù)據(jù)，我們把這些數(shù)據(jù)存儲在何處？”
    但許多IT部門仍然逃避了定義離散的大數(shù)據(jù)業(yè)務需求的進程。而業(yè)務人士經(jīng)常將大數(shù)據(jù)的趨勢看成只是一個IT重新整修的借口，沒有明確的終點的游戲。這種相互嘲諷的環(huán)境就是為什么大數(shù)據(jù)沒有超越“前期調(diào)查階段”的罪魁禍首。