企業(yè)要想更快地做出反應(yīng)并提供一流的客戶體驗，就必須對數(shù)據(jù)管理進行全面的改造。到目前為止，技術(shù)已經(jīng)解決了存儲和處理大數(shù)據(jù)的問題。它也已經(jīng)達(dá)到了將大數(shù)據(jù)用于深度分析的能力。當(dāng)我們在做這件事的時候，預(yù)計到2025年，高級數(shù)據(jù)管理解決方案的全球市場規(guī)模將達(dá)到1229億美元。

然而，數(shù)據(jù)源類型和數(shù)量的日益多樣化繼續(xù)阻礙著無縫數(shù)據(jù)生命周期。到目前為止，數(shù)據(jù)管理景觀是捕捉和流式數(shù)據(jù)到一個集中的數(shù)據(jù)湖。該湖將進一步處理和清理結(jié)構(gòu)解決方案中的數(shù)據(jù)集。展望未來，數(shù)據(jù)專業(yè)人員已經(jīng)找到了一種新的方式，通過數(shù)據(jù)網(wǎng)狀結(jié)構(gòu)解決來源的可擴展性。

什么是數(shù)據(jù)網(wǎng)格？

數(shù)據(jù)網(wǎng)格是一種分布式架構(gòu)解決方案，用于分析數(shù)據(jù)的生命周期管理。基于分散化，網(wǎng)狀結(jié)構(gòu)消除了數(shù)據(jù)可用性和可訪問性方面的障礙。它使用戶能夠從多個來源捕捉和操作洞察力，而不論其位置和類型。隨后，它執(zhí)行自動查詢，而不必將其傳送到集中的數(shù)據(jù)湖。

網(wǎng)狀結(jié)構(gòu)的分布式架構(gòu)分散了每個業(yè)務(wù)領(lǐng)域的所有權(quán)。這意味著每個領(lǐng)域都能控制分析和操作用例的數(shù)據(jù)的質(zhì)量、隱私、新鮮度、準(zhǔn)確性和合規(guī)性。

從集中式數(shù)據(jù)湖遷移到分布式網(wǎng)格

隨著數(shù)據(jù)源的數(shù)量不斷增加，數(shù)據(jù)湖無法按需進行整合。有了數(shù)據(jù)網(wǎng)，將大量的數(shù)據(jù)傾倒到湖中是一種瀕臨滅絕的做法。

新的數(shù)據(jù)管理框架確保所有節(jié)點的協(xié)作參與，每個節(jié)點控制一個特定的業(yè)務(wù)單元。它通過遵循 "數(shù)據(jù)即產(chǎn)品 "的原則做到這一點。這意味著每個數(shù)據(jù)集都被當(dāng)作一個數(shù)字產(chǎn)品，由干凈、完整和結(jié)論性的數(shù)據(jù)集組成。這些可以按需交付給任何人和任何地方。對于一個快速增長的數(shù)據(jù)管理生態(tài)系統(tǒng)來說，Mesh是一個有助于提供組織數(shù)據(jù)見解的方法。

所有權(quán)的分散化減少了對工程師和科學(xué)家的依賴性。每個業(yè)務(wù)部門都控制著自己的特定領(lǐng)域數(shù)據(jù)。然而，每個領(lǐng)域仍然依賴于數(shù)據(jù)建模、安全協(xié)議和治理合規(guī)的集中標(biāo)準(zhǔn)化政策。

使用數(shù)據(jù)網(wǎng)格和結(jié)構(gòu)

任何關(guān)于數(shù)據(jù)管理的討論，如果忽略了結(jié)構(gòu)架構(gòu)，都是不完整和不相關(guān)的。圍繞著數(shù)據(jù)結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)相互競爭的事實，有一個神話。這是不正確的。Gartner對這兩個標(biāo)題進行了并列討論，并澄清了事實。

數(shù)據(jù)結(jié)構(gòu)是一個古老而相關(guān)的架構(gòu)，它推動了不同行業(yè)對結(jié)構(gòu)的持續(xù)和優(yōu)化使用。它自動發(fā)現(xiàn)并提出一個管理架構(gòu)，從而簡化整個數(shù)據(jù)生命周期。它還假設(shè)支持驗證數(shù)據(jù)對象和重用這些對象的上下文參考。一個Mesh通過消耗當(dāng)前的主題專業(yè)技術(shù)和準(zhǔn)備數(shù)據(jù)對象的解決方案來完成這個不同的工作。

有一個神話，圍繞著數(shù)據(jù)結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)相互競爭的事實。這是不真實的。事實上，織物可以在從Mesh架構(gòu)中提取最佳價值方面起到作用。

用基于實體的數(shù)據(jù)結(jié)構(gòu)實施數(shù)據(jù)網(wǎng)格

考慮K2View的基于實體的數(shù)據(jù)結(jié)構(gòu)架構(gòu)。它可以將每個業(yè)務(wù)實體的數(shù)據(jù)保存在一個專屬的微型數(shù)據(jù)庫中，從而支持成百上千的這些數(shù)據(jù)庫。進一步融合 "業(yè)務(wù)實體 "和 "數(shù)據(jù)作為產(chǎn)品 "的概念，他們的結(jié)構(gòu)支持?jǐn)?shù)據(jù)網(wǎng)狀設(shè)計模式的實施。在這里，結(jié)構(gòu)創(chuàng)建了一個來自多個來源的連接數(shù)據(jù)集的集成層。這為運營和分析工作負(fù)載提供了一個整體的景觀視圖。

基于實體的結(jié)構(gòu)規(guī)范了所有數(shù)據(jù)產(chǎn)品的語義定義。根據(jù)規(guī)定，它建立了數(shù)據(jù)攝取方法和治理政策，以確保數(shù)據(jù)集的安全。鑒于結(jié)構(gòu)的這種支持，網(wǎng)狀模式在實體級存儲方面表現(xiàn)得更好。

因此，對于網(wǎng)狀分布式網(wǎng)絡(luò)中的每個業(yè)務(wù)域，都會部署一個專屬的結(jié)構(gòu)節(jié)點。這些特定于某一業(yè)務(wù)實體的域擁有對服務(wù)和管道的本地控制，以便為消費者訪問產(chǎn)品。

分散的數(shù)據(jù)所有權(quán)模式

企業(yè)必須從多個來源導(dǎo)入多種數(shù)據(jù)類型到一個集中的存儲庫，如數(shù)據(jù)湖。在這里，數(shù)據(jù)處理通常會消耗大量的精力，也容易出現(xiàn)錯誤。查詢這種異質(zhì)數(shù)據(jù)集進行分析，會直接打擊成本。因此，數(shù)據(jù)專業(yè)人員一直在尋找一種替代這種集中式方法的方法。通過Mesh的分布式架構(gòu)，他們能夠?qū)崿F(xiàn)每個商業(yè)實體的所有權(quán)分散?，F(xiàn)在，這樣的模式減少了產(chǎn)生定性見解的時間，從而增加了核心目的的價值--快速訪問數(shù)據(jù)并影響關(guān)鍵業(yè)務(wù)決策。

分散化的方法解決了更多的問題。例如，傳統(tǒng)數(shù)據(jù)管理中的查詢方法可能會隨著數(shù)據(jù)量的不可控制的增加而失去效率。它勢必會迫使整個管道發(fā)生變化，最終無法做出反應(yīng)。因此，隨著數(shù)據(jù)源數(shù)量的增加，響應(yīng)時間急劇減慢。這一直影響著提取數(shù)據(jù)價值和擴大業(yè)務(wù)成果的流程敏捷性。

通過分散化，Mesh將所有權(quán)分配給不同的領(lǐng)域，以滿足傳入數(shù)據(jù)量的挑戰(zhàn)，并最終在他們的水平上對他們的相關(guān)集進行查詢。因此，該架構(gòu)使企業(yè)流程能夠縮小事件和其消費分析之間的差距。企業(yè)能夠在關(guān)鍵決策上有所改進。

通過提供數(shù)據(jù)即服務(wù)架構(gòu)，Mesh為業(yè)務(wù)運營帶來了靈活性。它不僅減少了IT積壓，而且使數(shù)據(jù)團隊能夠只在精簡和相關(guān)的數(shù)據(jù)流上工作。

因此，授權(quán)的消費者將很容易獲得他們各自的數(shù)據(jù)集，而不會意識到背后的復(fù)雜性。

結(jié)論

從數(shù)字?jǐn)?shù)據(jù)出發(fā)，web3.0致力于分散企業(yè)流程。而數(shù)據(jù)管理是這個方向上的一個重要用例。很明顯，集中式的權(quán)威在一定程度上無法適應(yīng)爆炸性的、傳入的數(shù)據(jù)。等待和觀察2022年將把數(shù)據(jù)網(wǎng)狀結(jié)構(gòu)放在前面。