大數(shù)據(jù)為生命周期管理帶來挑戰(zhàn)

無論數(shù)據(jù)的規(guī)模和類型是什么，它們必須要在生命周期中接受管理，即便管理工具并不成熟也必須如此。
    伴隨著大數(shù)據(jù)的出現(xiàn)，整合的生命周期管理（Integrated Lifecycle Management，簡稱為ILM）遇到了一個(gè)全新的領(lǐng)域。核心挑戰(zhàn)來自三個(gè)方面：首先大數(shù)據(jù)的規(guī)模沒有上限，其次許多新數(shù)據(jù)的生命周期都極為短暫，再次由于數(shù)據(jù)或多或少具有大數(shù)據(jù)的3V特征（數(shù)據(jù)規(guī)模大、處理速度快和數(shù)據(jù)種類繁多）因而難以保持始終如一的品質(zhì)。
    以上這些是我從Loraine Lawson所寫的文章中總結(jié)出來的。她的觀點(diǎn)與我對這一問題的總體看法基本一致。但是我并不認(rèn)同她關(guān)于“與小型數(shù)據(jù)分析環(huán)境相比，ILM對于大數(shù)據(jù)環(huán)境來說更為重要”的說法。無論是以前，還是進(jìn)入到了大數(shù)據(jù)時(shí)代，讓所有的商業(yè)數(shù)據(jù)資產(chǎn)處于安全、可控和受管理的狀態(tài)都同等重要，它們之間的重要性沒有發(fā)生絲毫的改變。
    它們之間的不同之處在于，在大數(shù)據(jù)環(huán)境中，由于以下幾個(gè)方面正在迅速發(fā)生變化，使得全面的ILM越來越難以確保數(shù)據(jù)資產(chǎn)處于安全、可控和受管理的狀態(tài)之下。
    ■新的大數(shù)據(jù)平臺(tái)：除了MPP 關(guān)系型數(shù)據(jù)庫系統(tǒng)、縱列數(shù)據(jù)庫、多維數(shù)據(jù)庫外， Hadoop、NoSQL、內(nèi)存數(shù)據(jù)庫、圖形數(shù)據(jù)庫等新的技術(shù)平臺(tái)逐漸在企業(yè)計(jì)算環(huán)境中發(fā)揮越來越重要的作用?，F(xiàn)有的ILM工具幾乎不可能支持這些新的平臺(tái)。同時(shí)，為了能夠在公有云上處理大數(shù)據(jù)，你可能需要使用由服務(wù)提供商提供的ILM功能。為了降低在新環(huán)境中的風(fēng)險(xiǎn)，以及維護(hù)核心數(shù)據(jù)的高度可信性，你需要仔細(xì)測試新的大數(shù)據(jù)平臺(tái)，以確保它們具備ILM功能（數(shù)據(jù)安全、管理、歸檔和保留），以及這些功能是否與你計(jì)劃賦予它們的角色相對應(yīng)。
    ■新的大數(shù)據(jù)主題域：大數(shù)據(jù)并沒有改變企業(yè)對存儲(chǔ)和管理辦公系統(tǒng)（例如客戶、財(cái)務(wù)和人力資源等）記錄的數(shù)據(jù)管理樞紐的需求。這些是現(xiàn)有企業(yè)級數(shù)據(jù)倉庫（EDW）的功能。目前大部分EDW是運(yùn)行在傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)平臺(tái)上，并集成有功能強(qiáng)大的ILM。不過，這些記錄數(shù)據(jù)域系統(tǒng)可能無法在最新的大數(shù)據(jù)平臺(tái)上運(yùn)行，因?yàn)樵S多平臺(tái)已經(jīng)將重點(diǎn)放在了處理由社交、事件、傳感器、點(diǎn)擊流、地理空間，以及其他新來源所產(chǎn)生的新數(shù)據(jù)之上。然而，這些新的數(shù)據(jù)域通常生命周期都非常短。從這個(gè)意義上說，我們可能不需要將其中的大部分?jǐn)?shù)據(jù)保存在永久性記錄系統(tǒng)中。
    ■新的大數(shù)據(jù)擴(kuò)展：大數(shù)據(jù)并不意味著你的新平臺(tái)能夠支持無限大的容量、極高的速度或無數(shù)的數(shù)據(jù)種類。由于受到技術(shù)上和經(jīng)濟(jì)上的束縛，新數(shù)據(jù)的龐大規(guī)模導(dǎo)致它們不可能被隨意存儲(chǔ)在任何地方。這一現(xiàn)實(shí)將迫使大數(shù)據(jù)管理人員將更多的精力放在調(diào)整多溫度存儲(chǔ)管理、歸檔和保留策略上。隨著大數(shù)據(jù)環(huán)境的擴(kuò)展，你需要確保ILM需求不超過現(xiàn)有容量（存儲(chǔ)容量）、速度（帶寬、管理器和存儲(chǔ)速度）和類型（元數(shù)據(jù)深度）所能支持的范圍。
    此外，我還與一些專家進(jìn)行了探討。這些專家認(rèn)為，除非我們真的想刪除數(shù)據(jù)，否則大數(shù)據(jù)革命可使我們無需刪除任何數(shù)據(jù)。目前大數(shù)據(jù)看起來似乎將持續(xù)以指數(shù)級速度增長，并且大數(shù)據(jù)平臺(tái)的成本似乎也將持續(xù)大幅下降，但是我對大數(shù)據(jù)云的執(zhí)行和管理將跌至接近零成本的觀點(diǎn)存在嚴(yán)重懷疑。
    如果我的預(yù)感正確，那么我們將無法阻止大數(shù)據(jù)源源不斷的涌到云上——即便我們想阻止也無能為力。幸運(yùn)的是，生命周期管理能夠?yàn)闊o用數(shù)據(jù)劃上一個(gè)終點(diǎn)，而這正是我們將ILM擺在需求第一位的關(guān)鍵原因。