數(shù)據(jù)湖將如何改變大數(shù)據(jù)？

世界對(duì)數(shù)據(jù)湖的興趣依然在不斷增長(zhǎng)，但如果說(shuō)對(duì)數(shù)據(jù)湖的宣傳都是的話，這就貶低了數(shù)據(jù)湖真正的能力。“數(shù)據(jù)倉(cāng)庫(kù)”和“大數(shù)據(jù)”等概念都逐漸深入人心，但“數(shù)據(jù)湖”仍然是讓IT和業(yè)務(wù)相關(guān)者頭疼的一件事情。

隨著人們對(duì)于數(shù)據(jù)湖的清晰定義、使用案例、最佳實(shí)踐等信息的需求不斷增長(zhǎng)，IT專(zhuān)業(yè)人士需要一則明確的數(shù)據(jù)湖指南，回答以下問(wèn)題：數(shù)據(jù)湖是什么?我們應(yīng)該如何利用它?數(shù)據(jù)湖又將如何改變大數(shù)據(jù)呢?

1.定義及觀點(diǎn)

數(shù)據(jù)湖成為了核心數(shù)據(jù)架構(gòu)中發(fā)展得很快的一環(huán)，但I(xiàn)T專(zhuān)業(yè)人士常有疑惑，數(shù)據(jù)湖究竟是一個(gè)架構(gòu)策略還是架構(gòu)的目標(biāo)呢?實(shí)際上并沒(méi)有清晰的界限，但仍然有方法來(lái)解決定義的問(wèn)題。數(shù)據(jù)湖是一個(gè)中央儲(chǔ)存庫(kù)，為多種數(shù)據(jù)工作負(fù)載儲(chǔ)存企業(yè)數(shù)據(jù);通過(guò)數(shù)據(jù)湖，終端架構(gòu)可以得到解決，同時(shí)數(shù)據(jù)結(jié)構(gòu)相關(guān)的決策也是建立數(shù)據(jù)湖時(shí)的關(guān)鍵。

數(shù)據(jù)湖被越來(lái)越多的采用，而它的實(shí)施分為四個(gè)關(guān)鍵的階段：

技術(shù)評(píng)估。通過(guò)進(jìn)行大數(shù)據(jù)實(shí)驗(yàn)項(xiàng)目，關(guān)注幾個(gè)特定的業(yè)務(wù)目標(biāo)和成果，數(shù)據(jù)湖的使用者可以對(duì)這項(xiàng)技術(shù)進(jìn)行測(cè)試，并熟悉Apache Hadoop環(huán)境的管理。

做出反應(yīng)。在這個(gè)階段，各公司開(kāi)始利用Hadoop來(lái)解決現(xiàn)有架構(gòu)的低效率問(wèn)題，確立清晰可測(cè)的業(yè)務(wù)機(jī)會(huì)。此外，這個(gè)采納過(guò)程對(duì)于IT效率的提高也是非常關(guān)鍵的。

主動(dòng)利用。通過(guò)為分析項(xiàng)目合并數(shù)據(jù)以及利用Hadoop獲得經(jīng)濟(jì)的可拓展性這兩種手段，各公司可以在一個(gè)單一的中央存儲(chǔ)中管理大量新出現(xiàn)的數(shù)據(jù)源，例如物聯(lián)網(wǎng)、社交媒體和非結(jié)構(gòu)化的數(shù)據(jù)。

建立核心競(jìng)爭(zhēng)力。隨著大數(shù)據(jù)成為IT戰(zhàn)略的核心組成部分，各公司最終能夠達(dá)到發(fā)展的高峰，消除所有業(yè)務(wù)應(yīng)用和分析應(yīng)用之間的隔閡，重新建立一個(gè)單一的企業(yè)平臺(tái)。

2.數(shù)據(jù)湖的組織

得益于Hadoop的靈活性和可拓展性，我們今天能夠保存、分類(lèi)、探索并利用的數(shù)據(jù)類(lèi)型比以往任何時(shí)候都要多。但避免數(shù)據(jù)湖成為數(shù)據(jù)沼澤的關(guān)鍵在于數(shù)據(jù)治理，數(shù)據(jù)的組織和安全性也是決定數(shù)據(jù)探索成敗的關(guān)鍵。一個(gè)清晰而有條理的數(shù)據(jù)組織(通常是按類(lèi)目或者按數(shù)據(jù)用法劃分)能夠幫助Hadoop工程師建立更加完善的技術(shù)決策，幫助分析師和數(shù)據(jù)科學(xué)家從數(shù)據(jù)中獲取真正的洞察。

3.統(tǒng)一數(shù)據(jù)探索、數(shù)據(jù)科學(xué)和商務(wù)智能

對(duì)于企業(yè)BI需求、數(shù)據(jù)探索和數(shù)據(jù)科學(xué)的支持是推動(dòng)數(shù)據(jù)湖部署的主要因素，這三項(xiàng)技術(shù)能將原始數(shù)據(jù)用于機(jī)器學(xué)習(xí)算法和統(tǒng)計(jì)功能。因?yàn)槊艚莘椒▽W(xué)為企業(yè)級(jí)BI提供了自適應(yīng)途徑，數(shù)據(jù)湖就能夠落實(shí)更多具體的企業(yè)業(yè)務(wù)、性能指標(biāo)和度量權(quán)值，同時(shí)可用于儲(chǔ)存歷史數(shù)據(jù)。

充滿競(jìng)爭(zhēng)的商業(yè)環(huán)境讓人目不暇接，各公司必須認(rèn)識(shí)到探索技術(shù)的關(guān)鍵作用，并認(rèn)識(shí)到解答未知的重要性。這刺激了我們的需要，要把數(shù)據(jù)直接用于分析技術(shù)，產(chǎn)生意義重大的洞察、為企業(yè)創(chuàng)造附加價(jià)值。

4.成功的關(guān)鍵

要幫助企業(yè)從他們的數(shù)據(jù)湖中實(shí)現(xiàn)最大化效益，就必須要考慮以下幾個(gè)要素：

從長(zhǎng)遠(yuǎn)角度考慮數(shù)據(jù)。在開(kāi)始一個(gè)數(shù)據(jù)項(xiàng)目時(shí)，必須仔細(xì)考慮數(shù)據(jù)在今后其他應(yīng)用中的可重用性。要明白未來(lái)新產(chǎn)生的數(shù)據(jù)需求往往是不可預(yù)知的，了解這一點(diǎn)后公司就可以更好地相應(yīng)準(zhǔn)備并利用起他們的數(shù)據(jù)。

先確立數(shù)據(jù)治理結(jié)構(gòu)。數(shù)據(jù)治理被應(yīng)用在了整個(gè)企業(yè)的數(shù)據(jù)和信息政策當(dāng)中，所以在考慮數(shù)據(jù)湖時(shí)也不應(yīng)該例外。數(shù)據(jù)治理規(guī)范了企業(yè)中的每個(gè)人對(duì)數(shù)據(jù)湖的使用，并最小化了發(fā)生錯(cuò)誤和不當(dāng)數(shù)據(jù)管理的可能性。

預(yù)先解決安全問(wèn)題。以數(shù)據(jù)為中心的安全保護(hù)提供了從整個(gè)數(shù)據(jù)的生命周期來(lái)看數(shù)據(jù)的宏大視角，此處的關(guān)鍵要素就是從第一天開(kāi)始就正視安全問(wèn)題，確立好哪些數(shù)據(jù)可以引入數(shù)據(jù)湖，并為數(shù)據(jù)湖中的各類(lèi)數(shù)據(jù)制定使用權(quán)限。

盡管數(shù)據(jù)湖在大數(shù)據(jù)領(lǐng)域還是一個(gè)比較新的詞匯，但它已經(jīng)成為了企業(yè)級(jí)IT架構(gòu)和整體數(shù)據(jù)戰(zhàn)略的重要部分。數(shù)據(jù)湖戰(zhàn)略擁有合理的架構(gòu)，能夠和數(shù)據(jù)科學(xué)以及成本低廉、擁有商業(yè)基礎(chǔ)的機(jī)器學(xué)習(xí)分析完美結(jié)合。對(duì)于數(shù)據(jù)湖核心概念的了解能夠幫助企業(yè)更好地利用并保護(hù)自己的數(shù)據(jù)，同時(shí)提高通過(guò)數(shù)據(jù)進(jìn)行探索的能力。