數(shù)據(jù)湖將如何改變大數(shù)據(jù)？

世界對數(shù)據(jù)湖的興趣依然在不斷增長，但如果說對數(shù)據(jù)湖的宣傳都是的話，這就貶低了數(shù)據(jù)湖真正的能力?！?/span>數(shù)據(jù)倉庫”和“大數(shù)據(jù)”等概念都逐漸深入人心，但“數(shù)據(jù)湖”仍然是讓IT和業(yè)務相關(guān)者頭疼的一件事情。

隨著人們對于數(shù)據(jù)湖的清晰定義、使用案例、最佳實踐等信息的需求不斷增長，IT專業(yè)人士需要一則明確的數(shù)據(jù)湖指南，回答以下問題：數(shù)據(jù)湖是什么?我們應該如何利用它?數(shù)據(jù)湖又將如何改變大數(shù)據(jù)呢?

1.定義及觀點

數(shù)據(jù)湖成為了核心數(shù)據(jù)架構(gòu)中發(fā)展得很快的一環(huán)，但IT專業(yè)人士常有疑惑，數(shù)據(jù)湖究竟是一個架構(gòu)策略還是架構(gòu)的目標呢?實際上并沒有清晰的界限，但仍然有方法來解決定義的問題。數(shù)據(jù)湖是一個中央儲存庫，為多種數(shù)據(jù)工作負載儲存企業(yè)數(shù)據(jù);通過數(shù)據(jù)湖，終端架構(gòu)可以得到解決，同時數(shù)據(jù)結(jié)構(gòu)相關(guān)的決策也是建立數(shù)據(jù)湖時的關(guān)鍵。

數(shù)據(jù)湖被越來越多的采用，而它的實施分為四個關(guān)鍵的階段：

技術(shù)評估。通過進行大數(shù)據(jù)實驗項目，關(guān)注幾個特定的業(yè)務目標和成果，數(shù)據(jù)湖的使用者可以對這項技術(shù)進行測試，并熟悉Apache Hadoop環(huán)境的管理。

做出反應。在這個階段，各公司開始利用Hadoop來解決現(xiàn)有架構(gòu)的低效率問題，確立清晰可測的業(yè)務機會。此外，這個采納過程對于IT效率的提高也是非常關(guān)鍵的。

主動利用。通過為分析項目合并數(shù)據(jù)以及利用Hadoop獲得經(jīng)濟的可拓展性這兩種手段，各公司可以在一個單一的中央存儲中管理大量新出現(xiàn)的數(shù)據(jù)源，例如物聯(lián)網(wǎng)、社交媒體和非結(jié)構(gòu)化的數(shù)據(jù)。

建立核心競爭力。隨著大數(shù)據(jù)成為IT戰(zhàn)略的核心組成部分，各公司最終能夠達到發(fā)展的高峰，消除所有業(yè)務應用和分析應用之間的隔閡，重新建立一個單一的企業(yè)平臺。

2.數(shù)據(jù)湖的組織

得益于Hadoop的靈活性和可拓展性，我們今天能夠保存、分類、探索并利用的數(shù)據(jù)類型比以往任何時候都要多。但避免數(shù)據(jù)湖成為數(shù)據(jù)沼澤的關(guān)鍵在于數(shù)據(jù)治理，數(shù)據(jù)的組織和安全性也是決定數(shù)據(jù)探索成敗的關(guān)鍵。一個清晰而有條理的數(shù)據(jù)組織(通常是按類目或者按數(shù)據(jù)用法劃分)能夠幫助Hadoop工程師建立更加完善的技術(shù)決策，幫助分析師和數(shù)據(jù)科學家從數(shù)據(jù)中獲取真正的洞察。

3.統(tǒng)一數(shù)據(jù)探索、數(shù)據(jù)科學和商務智能

對于企業(yè)BI需求、數(shù)據(jù)探索和數(shù)據(jù)科學的支持是推動數(shù)據(jù)湖部署的主要因素，這三項技術(shù)能將原始數(shù)據(jù)用于機器學習算法和統(tǒng)計功能。因為敏捷方法學為企業(yè)級BI提供了自適應途徑，數(shù)據(jù)湖就能夠落實更多具體的企業(yè)業(yè)務、性能指標和度量權(quán)值，同時可用于儲存歷史數(shù)據(jù)。

充滿競爭的商業(yè)環(huán)境讓人目不暇接，各公司必須認識到探索技術(shù)的關(guān)鍵作用，并認識到解答未知的重要性。這刺激了我們的需要，要把數(shù)據(jù)直接用于分析技術(shù)，產(chǎn)生意義重大的洞察、為企業(yè)創(chuàng)造附加價值。

4.成功的關(guān)鍵

要幫助企業(yè)從他們的數(shù)據(jù)湖中實現(xiàn)最大化效益，就必須要考慮以下幾個要素：

從長遠角度考慮數(shù)據(jù)。在開始一個數(shù)據(jù)項目時，必須仔細考慮數(shù)據(jù)在今后其他應用中的可重用性。要明白未來新產(chǎn)生的數(shù)據(jù)需求往往是不可預知的，了解這一點后公司就可以更好地相應準備并利用起他們的數(shù)據(jù)。

先確立數(shù)據(jù)治理結(jié)構(gòu)。數(shù)據(jù)治理被應用在了整個企業(yè)的數(shù)據(jù)和信息政策當中，所以在考慮數(shù)據(jù)湖時也不應該例外。數(shù)據(jù)治理規(guī)范了企業(yè)中的每個人對數(shù)據(jù)湖的使用，并最小化了發(fā)生錯誤和不當數(shù)據(jù)管理的可能性。

預先解決安全問題。以數(shù)據(jù)為中心的安全保護提供了從整個數(shù)據(jù)的生命周期來看數(shù)據(jù)的宏大視角，此處的關(guān)鍵要素就是從第一天開始就正視安全問題，確立好哪些數(shù)據(jù)可以引入數(shù)據(jù)湖，并為數(shù)據(jù)湖中的各類數(shù)據(jù)制定使用權(quán)限。

盡管數(shù)據(jù)湖在大數(shù)據(jù)領(lǐng)域還是一個比較新的詞匯，但它已經(jīng)成為了企業(yè)級IT架構(gòu)和整體數(shù)據(jù)戰(zhàn)略的重要部分。數(shù)據(jù)湖戰(zhàn)略擁有合理的架構(gòu)，能夠和數(shù)據(jù)科學以及成本低廉、擁有商業(yè)基礎的機器學習分析完美結(jié)合。對于數(shù)據(jù)湖核心概念的了解能夠幫助企業(yè)更好地利用并保護自己的數(shù)據(jù)，同時提高通過數(shù)據(jù)進行探索的能力。