大數(shù)據(jù)為生命周期管理帶來挑戰(zhàn)

無論數(shù)據(jù)的規(guī)模和類型是什么，它們必須要在生命周期中接受管理，即便管理工具并不成熟也必須如此。
    伴隨著大數(shù)據(jù)的出現(xiàn)，整合的生命周期管理（Integrated Lifecycle Management，簡稱為ILM）遇到了一個全新的領(lǐng)域。核心挑戰(zhàn)來自三個方面：首先大數(shù)據(jù)的規(guī)模沒有上限，其次許多新數(shù)據(jù)的生命周期都極為短暫，再次由于數(shù)據(jù)或多或少具有大數(shù)據(jù)的3V特征（數(shù)據(jù)規(guī)模大、處理速度快和數(shù)據(jù)種類繁多）因而難以保持始終如一的品質(zhì)。
    以上這些是我從Loraine Lawson所寫的文章中總結(jié)出來的。她的觀點與我對這一問題的總體看法基本一致。但是我并不認同她關(guān)于“與小型數(shù)據(jù)分析環(huán)境相比，ILM對于大數(shù)據(jù)環(huán)境來說更為重要”的說法。無論是以前，還是進入到了大數(shù)據(jù)時代，讓所有的商業(yè)數(shù)據(jù)資產(chǎn)處于安全、可控和受管理的狀態(tài)都同等重要，它們之間的重要性沒有發(fā)生絲毫的改變。
    它們之間的不同之處在于，在大數(shù)據(jù)環(huán)境中，由于以下幾個方面正在迅速發(fā)生變化，使得全面的ILM越來越難以確保數(shù)據(jù)資產(chǎn)處于安全、可控和受管理的狀態(tài)之下。
    ■新的大數(shù)據(jù)平臺：除了MPP 關(guān)系型數(shù)據(jù)庫系統(tǒng)、縱列數(shù)據(jù)庫、多維數(shù)據(jù)庫外， Hadoop、NoSQL、內(nèi)存數(shù)據(jù)庫、圖形數(shù)據(jù)庫等新的技術(shù)平臺逐漸在企業(yè)計算環(huán)境中發(fā)揮越來越重要的作用。現(xiàn)有的ILM工具幾乎不可能支持這些新的平臺。同時，為了能夠在公有云上處理大數(shù)據(jù)，你可能需要使用由服務(wù)提供商提供的ILM功能。為了降低在新環(huán)境中的風(fēng)險，以及維護核心數(shù)據(jù)的高度可信性，你需要仔細測試新的大數(shù)據(jù)平臺，以確保它們具備ILM功能（數(shù)據(jù)安全、管理、歸檔和保留），以及這些功能是否與你計劃賦予它們的角色相對應(yīng)。
    ■新的大數(shù)據(jù)主題域：大數(shù)據(jù)并沒有改變企業(yè)對存儲和管理辦公系統(tǒng)（例如客戶、財務(wù)和人力資源等）記錄的數(shù)據(jù)管理樞紐的需求。這些是現(xiàn)有企業(yè)級數(shù)據(jù)倉庫（EDW）的功能。目前大部分EDW是運行在傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)平臺上，并集成有功能強大的ILM。不過，這些記錄數(shù)據(jù)域系統(tǒng)可能無法在最新的大數(shù)據(jù)平臺上運行，因為許多平臺已經(jīng)將重點放在了處理由社交、事件、傳感器、點擊流、地理空間，以及其他新來源所產(chǎn)生的新數(shù)據(jù)之上。然而，這些新的數(shù)據(jù)域通常生命周期都非常短。從這個意義上說，我們可能不需要將其中的大部分數(shù)據(jù)保存在永久性記錄系統(tǒng)中。
    ■新的大數(shù)據(jù)擴展：大數(shù)據(jù)并不意味著你的新平臺能夠支持無限大的容量、極高的速度或無數(shù)的數(shù)據(jù)種類。由于受到技術(shù)上和經(jīng)濟上的束縛，新數(shù)據(jù)的龐大規(guī)模導(dǎo)致它們不可能被隨意存儲在任何地方。這一現(xiàn)實將迫使大數(shù)據(jù)管理人員將更多的精力放在調(diào)整多溫度存儲管理、歸檔和保留策略上。隨著大數(shù)據(jù)環(huán)境的擴展，你需要確保ILM需求不超過現(xiàn)有容量（存儲容量）、速度（帶寬、管理器和存儲速度）和類型（元數(shù)據(jù)深度）所能支持的范圍。
    此外，我還與一些專家進行了探討。這些專家認為，除非我們真的想刪除數(shù)據(jù)，否則大數(shù)據(jù)革命可使我們無需刪除任何數(shù)據(jù)。目前大數(shù)據(jù)看起來似乎將持續(xù)以指數(shù)級速度增長，并且大數(shù)據(jù)平臺的成本似乎也將持續(xù)大幅下降，但是我對大數(shù)據(jù)云的執(zhí)行和管理將跌至接近零成本的觀點存在嚴(yán)重懷疑。
    如果我的預(yù)感正確，那么我們將無法阻止大數(shù)據(jù)源源不斷的涌到云上——即便我們想阻止也無能為力。幸運的是，生命周期管理能夠為無用數(shù)據(jù)劃上一個終點，而這正是我們將ILM擺在需求第一位的關(guān)鍵原因。