企業(yè)要想更快地做出反應(yīng)并提供一流的客戶體驗(yàn)，就必須對(duì)數(shù)據(jù)管理進(jìn)行全面的改造。到目前為止，技術(shù)已經(jīng)解決了存儲(chǔ)和處理大數(shù)據(jù)的問(wèn)題。它也已經(jīng)達(dá)到了將大數(shù)據(jù)用于深度分析的能力。當(dāng)我們?cè)谧鲞@件事的時(shí)候，預(yù)計(jì)到2025年，高級(jí)數(shù)據(jù)管理解決方案的全球市場(chǎng)規(guī)模將達(dá)到1229億美元。

然而，數(shù)據(jù)源類(lèi)型和數(shù)量的日益多樣化繼續(xù)阻礙著無(wú)縫數(shù)據(jù)生命周期。到目前為止，數(shù)據(jù)管理景觀是捕捉和流式數(shù)據(jù)到一個(gè)集中的數(shù)據(jù)湖。該湖將進(jìn)一步處理和清理結(jié)構(gòu)解決方案中的數(shù)據(jù)集。展望未來(lái)，數(shù)據(jù)專(zhuān)業(yè)人員已經(jīng)找到了一種新的方式，通過(guò)數(shù)據(jù)網(wǎng)狀結(jié)構(gòu)解決來(lái)源的可擴(kuò)展性。

什么是數(shù)據(jù)網(wǎng)格？

數(shù)據(jù)網(wǎng)格是一種分布式架構(gòu)解決方案，用于分析數(shù)據(jù)的生命周期管理。基于分散化，網(wǎng)狀結(jié)構(gòu)消除了數(shù)據(jù)可用性和可訪問(wèn)性方面的障礙。它使用戶能夠從多個(gè)來(lái)源捕捉和操作洞察力，而不論其位置和類(lèi)型。隨后，它執(zhí)行自動(dòng)查詢，而不必將其傳送到集中的數(shù)據(jù)湖。

網(wǎng)狀結(jié)構(gòu)的分布式架構(gòu)分散了每個(gè)業(yè)務(wù)領(lǐng)域的所有權(quán)。這意味著每個(gè)領(lǐng)域都能控制分析和操作用例的數(shù)據(jù)的質(zhì)量、隱私、新鮮度、準(zhǔn)確性和合規(guī)性。

從集中式數(shù)據(jù)湖遷移到分布式網(wǎng)格

隨著數(shù)據(jù)源的數(shù)量不斷增加，數(shù)據(jù)湖無(wú)法按需進(jìn)行整合。有了數(shù)據(jù)網(wǎng)，將大量的數(shù)據(jù)傾倒到湖中是一種瀕臨滅絕的做法。

新的數(shù)據(jù)管理框架確保所有節(jié)點(diǎn)的協(xié)作參與，每個(gè)節(jié)點(diǎn)控制一個(gè)特定的業(yè)務(wù)單元。它通過(guò)遵循 "數(shù)據(jù)即產(chǎn)品 "的原則做到這一點(diǎn)。這意味著每個(gè)數(shù)據(jù)集都被當(dāng)作一個(gè)數(shù)字產(chǎn)品，由干凈、完整和結(jié)論性的數(shù)據(jù)集組成。這些可以按需交付給任何人和任何地方。對(duì)于一個(gè)快速增長(zhǎng)的數(shù)據(jù)管理生態(tài)系統(tǒng)來(lái)說(shuō)，Mesh是一個(gè)有助于提供組織數(shù)據(jù)見(jiàn)解的方法。

所有權(quán)的分散化減少了對(duì)工程師和科學(xué)家的依賴性。每個(gè)業(yè)務(wù)部門(mén)都控制著自己的特定領(lǐng)域數(shù)據(jù)。然而，每個(gè)領(lǐng)域仍然依賴于數(shù)據(jù)建模、安全協(xié)議和治理合規(guī)的集中標(biāo)準(zhǔn)化政策。

使用數(shù)據(jù)網(wǎng)格和結(jié)構(gòu)

任何關(guān)于數(shù)據(jù)管理的討論，如果忽略了結(jié)構(gòu)架構(gòu)，都是不完整和不相關(guān)的。圍繞著數(shù)據(jù)結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)相互競(jìng)爭(zhēng)的事實(shí)，有一個(gè)神話。這是不正確的。Gartner對(duì)這兩個(gè)標(biāo)題進(jìn)行了并列討論，并澄清了事實(shí)。

數(shù)據(jù)結(jié)構(gòu)是一個(gè)古老而相關(guān)的架構(gòu)，它推動(dòng)了不同行業(yè)對(duì)結(jié)構(gòu)的持續(xù)和優(yōu)化使用。它自動(dòng)發(fā)現(xiàn)并提出一個(gè)管理架構(gòu)，從而簡(jiǎn)化整個(gè)數(shù)據(jù)生命周期。它還假設(shè)支持驗(yàn)證數(shù)據(jù)對(duì)象和重用這些對(duì)象的上下文參考。一個(gè)Mesh通過(guò)消耗當(dāng)前的主題專(zhuān)業(yè)技術(shù)和準(zhǔn)備數(shù)據(jù)對(duì)象的解決方案來(lái)完成這個(gè)不同的工作。

有一個(gè)神話，圍繞著數(shù)據(jù)結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)相互競(jìng)爭(zhēng)的事實(shí)。這是不真實(shí)的。事實(shí)上，織物可以在從Mesh架構(gòu)中提取最佳價(jià)值方面起到作用。

用基于實(shí)體的數(shù)據(jù)結(jié)構(gòu)實(shí)施數(shù)據(jù)網(wǎng)格

考慮K2View的基于實(shí)體的數(shù)據(jù)結(jié)構(gòu)架構(gòu)。它可以將每個(gè)業(yè)務(wù)實(shí)體的數(shù)據(jù)保存在一個(gè)專(zhuān)屬的微型數(shù)據(jù)庫(kù)中，從而支持成百上千的這些數(shù)據(jù)庫(kù)。進(jìn)一步融合 "業(yè)務(wù)實(shí)體 "和 "數(shù)據(jù)作為產(chǎn)品 "的概念，他們的結(jié)構(gòu)支持?jǐn)?shù)據(jù)網(wǎng)狀設(shè)計(jì)模式的實(shí)施。在這里，結(jié)構(gòu)創(chuàng)建了一個(gè)來(lái)自多個(gè)來(lái)源的連接數(shù)據(jù)集的集成層。這為運(yùn)營(yíng)和分析工作負(fù)載提供了一個(gè)整體的景觀視圖。

基于實(shí)體的結(jié)構(gòu)規(guī)范了所有數(shù)據(jù)產(chǎn)品的語(yǔ)義定義。根據(jù)規(guī)定，它建立了數(shù)據(jù)攝取方法和治理政策，以確保數(shù)據(jù)集的安全。鑒于結(jié)構(gòu)的這種支持，網(wǎng)狀模式在實(shí)體級(jí)存儲(chǔ)方面表現(xiàn)得更好。

因此，對(duì)于網(wǎng)狀分布式網(wǎng)絡(luò)中的每個(gè)業(yè)務(wù)域，都會(huì)部署一個(gè)專(zhuān)屬的結(jié)構(gòu)節(jié)點(diǎn)。這些特定于某一業(yè)務(wù)實(shí)體的域擁有對(duì)服務(wù)和管道的本地控制，以便為消費(fèi)者訪問(wèn)產(chǎn)品。

分散的數(shù)據(jù)所有權(quán)模式

企業(yè)必須從多個(gè)來(lái)源導(dǎo)入多種數(shù)據(jù)類(lèi)型到一個(gè)集中的存儲(chǔ)庫(kù)，如數(shù)據(jù)湖。在這里，數(shù)據(jù)處理通常會(huì)消耗大量的精力，也容易出現(xiàn)錯(cuò)誤。查詢這種異質(zhì)數(shù)據(jù)集進(jìn)行分析，會(huì)直接打擊成本。因此，數(shù)據(jù)專(zhuān)業(yè)人員一直在尋找一種替代這種集中式方法的方法。通過(guò)Mesh的分布式架構(gòu)，他們能夠?qū)崿F(xiàn)每個(gè)商業(yè)實(shí)體的所有權(quán)分散?，F(xiàn)在，這樣的模式減少了產(chǎn)生定性見(jiàn)解的時(shí)間，從而增加了核心目的的價(jià)值--快速訪問(wèn)數(shù)據(jù)并影響關(guān)鍵業(yè)務(wù)決策。

分散化的方法解決了更多的問(wèn)題。例如，傳統(tǒng)數(shù)據(jù)管理中的查詢方法可能會(huì)隨著數(shù)據(jù)量的不可控制的增加而失去效率。它勢(shì)必會(huì)迫使整個(gè)管道發(fā)生變化，最終無(wú)法做出反應(yīng)。因此，隨著數(shù)據(jù)源數(shù)量的增加，響應(yīng)時(shí)間急劇減慢。這一直影響著提取數(shù)據(jù)價(jià)值和擴(kuò)大業(yè)務(wù)成果的流程敏捷性。

通過(guò)分散化，Mesh將所有權(quán)分配給不同的領(lǐng)域，以滿足傳入數(shù)據(jù)量的挑戰(zhàn)，并最終在他們的水平上對(duì)他們的相關(guān)集進(jìn)行查詢。因此，該架構(gòu)使企業(yè)流程能夠縮小事件和其消費(fèi)分析之間的差距。企業(yè)能夠在關(guān)鍵決策上有所改進(jìn)。

通過(guò)提供數(shù)據(jù)即服務(wù)架構(gòu)，Mesh為業(yè)務(wù)運(yùn)營(yíng)帶來(lái)了靈活性。它不僅減少了IT積壓，而且使數(shù)據(jù)團(tuán)隊(duì)能夠只在精簡(jiǎn)和相關(guān)的數(shù)據(jù)流上工作。

因此，授權(quán)的消費(fèi)者將很容易獲得他們各自的數(shù)據(jù)集，而不會(huì)意識(shí)到背后的復(fù)雜性。

結(jié)論

從數(shù)字?jǐn)?shù)據(jù)出發(fā)，web3.0致力于分散企業(yè)流程。而數(shù)據(jù)管理是這個(gè)方向上的一個(gè)重要用例。很明顯，集中式的權(quán)威在一定程度上無(wú)法適應(yīng)爆炸性的、傳入的數(shù)據(jù)。等待和觀察2022年將把數(shù)據(jù)網(wǎng)狀結(jié)構(gòu)放在前面。