大數(shù)據(jù)的生命周期的九個階段

企業(yè)建立大數(shù)據(jù)的生命周期應該包括這些部分：大數(shù)據(jù)組織、評估現(xiàn)狀、制定大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)定義、數(shù)據(jù)收集、數(shù)據(jù)分析、數(shù)據(jù)治理、持續(xù)改進。

   一、大數(shù)據(jù)的組織
    沒有人，一切都是妄談。大數(shù)據(jù)生命周期的第一步應該是建立一個專門預算和獨立KPI的“大數(shù)據(jù)規(guī)劃、建設(shè)和運營組織”。包括高層的首席數(shù)據(jù)官，作為sponsor，然后是公司數(shù)據(jù)管理委員會或大數(shù)據(jù)執(zhí)行籌劃指導委員會，再往下就是大數(shù)據(jù)的項目組或大數(shù)據(jù)項目組的前身：大數(shù)據(jù)項目預研究團隊或大數(shù)據(jù)項目籌備組。這個團隊是今后大數(shù)據(jù)戰(zhàn)略的制定和實施者的中堅力量。由于人數(shù)眾多，建議引入RACI模型來明確所有人的角色和職責。
   二、大數(shù)據(jù)的現(xiàn)狀評估和差距分析
    定戰(zhàn)略之前，先要做現(xiàn)狀評估，評估前的調(diào)研包括三個方面：一是對外調(diào)研：了解業(yè)界大數(shù)據(jù)有哪些最新的發(fā)展，行業(yè)頂尖企業(yè)的大數(shù)據(jù)應用水平如何？行業(yè)的平均尤其是主要競爭對手的大數(shù)據(jù)應用水準如何？二是對內(nèi)客戶調(diào)研。管理層、業(yè)務(wù)部門、IT部門自身、我們的最終用戶，對我們的大數(shù)據(jù)業(yè)務(wù)有何期望？三是自身狀況摸底，了解自己的技術(shù)、人員儲備情況。最后對標，作差距分析，找出gap。
    找出gap后，要給出成熟度現(xiàn)狀評估。一般而言，一個公司的大數(shù)據(jù)應用成熟度可以劃分為四個階段：初始期（僅有概念，沒有實踐）；探索期（已經(jīng)了解基本概念，也有專人進行了探索和探討，有了基本的大數(shù)據(jù)技術(shù)儲備）；發(fā)展期（已經(jīng)擁有或正在建設(shè)明確的戰(zhàn)略、團隊、工具、流程，交付了初步的成果）；成熟期（有了穩(wěn)定且不斷成熟的戰(zhàn)略、團隊、工具、流程，不斷交付高質(zhì)量成果）。
   三、大數(shù)據(jù)的戰(zhàn)略
    有了大數(shù)據(jù)組織、知道了本公司大數(shù)據(jù)現(xiàn)狀、差距和需求，我們就可以制定大數(shù)據(jù)的戰(zhàn)略目標了。大數(shù)據(jù)戰(zhàn)略的制定是整個大數(shù)據(jù)生命周期的靈魂和核心，它將成為整個組織大數(shù)據(jù)發(fā)展的指引。
    大數(shù)據(jù)戰(zhàn)略的內(nèi)容，沒有統(tǒng)一的模板，但有一些基本的要求：
    1. 要簡潔，又要能涵蓋公司內(nèi)外干系人的需求。
    2. 要明確，以便清晰地告訴所有人我們的目標和愿景是什么。
    3. 要現(xiàn)實，這個目標經(jīng)過努力是能達成的。
   四、大數(shù)據(jù)的定義
    我認為：“數(shù)據(jù)不去定義它，你就無法采集它；無法采集它，你就無法分析它；無法分析它，你就無法衡量它；無法衡量它，你就無法控制它；無法控制它，你就無法管理它；無法管理它，你就無法利用它”。所以“在需求和戰(zhàn)略明確之后，數(shù)據(jù)定義就是一切數(shù)據(jù)管理的前提”。
  五、 數(shù)據(jù)采集
    1. 大數(shù)據(jù)時代的數(shù)據(jù)源很廣泛，它們可能來自于三個主要方面：現(xiàn)有公司內(nèi)部網(wǎng)各應用系統(tǒng)產(chǎn)生的數(shù)據(jù)（比如辦公、經(jīng)營生產(chǎn)數(shù)據(jù)），也有來自公司外互聯(lián)網(wǎng)的數(shù)據(jù)（比如社交網(wǎng)絡(luò)數(shù)據(jù)）和物聯(lián)網(wǎng)等。
    2.大數(shù)據(jù)種類很多，總的來講可以分為：傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，大量的非結(jié)構(gòu)化數(shù)據(jù)（比如音視頻等）。
    3. 數(shù)據(jù)采集、挖掘工具很多?？梢曰诨蚣蒱adoop的ETL平臺、以交互式探索及數(shù)據(jù)挖掘為代表的數(shù)據(jù)價值發(fā)掘類工具漸成趨勢。
    4. 數(shù)據(jù)采集的原則：在數(shù)據(jù)源廣泛、數(shù)據(jù)量巨大、采集挖掘工具眾多的背景下，大數(shù)據(jù)決策者必須清楚地確定數(shù)據(jù)采集的原則：“能夠采集到的數(shù)據(jù)，并不意味著值得或需要去采集它。需要采集的數(shù)據(jù)和能夠采集到的數(shù)據(jù)的"交集"，才是我們確定要去采集的數(shù)據(jù)。”
   六、數(shù)據(jù)處理和分析
    業(yè)界有很多工具能幫助企業(yè)構(gòu)建一個集成的“數(shù)據(jù)處理和分析平臺”。對企業(yè)大數(shù)據(jù)管理者、規(guī)劃者來講，關(guān)鍵是“工具要滿足平臺要求，平臺要滿足業(yè)務(wù)需求，而不是業(yè)務(wù)要去適應平臺要求，平臺要去適應廠商的工具要求”。那么這個集成的平臺應該有怎樣的能力構(gòu)成呢？它應該能檢索、分類、關(guān)聯(lián)、推送和方便地實施元數(shù)據(jù)管理等。見下圖：
   七、 數(shù)據(jù)呈現(xiàn)
   大數(shù)據(jù)管理的價值，最終要通過多種形式的數(shù)據(jù)呈現(xiàn)，來幫助管理層和業(yè)務(wù)部門進行商業(yè)決策。大數(shù)據(jù)的決策者需要將大數(shù)據(jù)的系統(tǒng)與BI（商業(yè)智能）系統(tǒng)和KM（知識管理）系統(tǒng)集成。下圖就是大數(shù)據(jù)的各種呈現(xiàn)形式。
   八、 審計、治理與控制
    1.大數(shù)據(jù)的審計、治理和控制指的是大數(shù)據(jù)管理層，組建專門的治理控制團隊，制定一系列策略、流程、制度和考核指標體系，來監(jiān)督、檢查、協(xié)調(diào)多個相關(guān)職能部門的目標，從而優(yōu)化、保護和利用大數(shù)據(jù)，保障其作為一項企業(yè)戰(zhàn)略資產(chǎn)真正發(fā)揮價值。
    2.大數(shù)據(jù)的治理是IT治理的組成部分，大數(shù)據(jù)的審計是IT審計的組成部分，這個體系要統(tǒng)籌規(guī)劃和實施，而不是割裂的規(guī)劃和實施。
    3.大數(shù)據(jù)的審計、治理與控制的核心是數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量和數(shù)據(jù)效率。
   九、 持續(xù)改進
    基于不斷變化的業(yè)務(wù)需求和審計與治理中發(fā)現(xiàn)的大數(shù)據(jù)整個生命周期中暴露的問題，引入PDCA等方法論，去不斷優(yōu)化策略、方法、流程、工具，不斷提升相關(guān)人員的技能，從而確保大數(shù)據(jù)戰(zhàn)略的持續(xù)成功！