如何將大數(shù)據(jù)集成到數(shù)據(jù)倉庫

利用大數(shù)據(jù)可以在大型商店的相關(guān)客戶數(shù)據(jù)上進行快速高級分析，以發(fā)現(xiàn)新的客戶關(guān)系，使我們更好地了解客戶需求，優(yōu)化價格、提供更好的產(chǎn)品和服務(wù)，并最終獲得更高的利潤。

這些分析所提供解決方案的質(zhì)量不僅取決于被分析的大量原始數(shù)據(jù)，還和這些數(shù)據(jù)與企業(yè)數(shù)據(jù)倉庫的集成度有關(guān)。例如，大數(shù)據(jù)應(yīng)用程序可能包含所有客戶購買產(chǎn)生詳細的交易信息；然而，數(shù)據(jù)倉庫僅包含實體標(biāo)識(產(chǎn)品和服務(wù)名稱)、摘要和聚合類別如地理(哪個區(qū)域的哪個商店)，產(chǎn)品類別，銷售地區(qū)，管理層次結(jié)構(gòu)、定價數(shù)據(jù)，客戶類別和概要文件等等。

在多數(shù)情況下，大數(shù)據(jù)應(yīng)用的成功與其如何集成到您的企業(yè)數(shù)據(jù)倉庫息息相關(guān)。本文將介紹幾種方法，以便快速有效地完成這項工作。

大數(shù)據(jù)一體機

在今天的商業(yè)信息技術(shù)系統(tǒng)中，越來越多的數(shù)據(jù)被收集并存儲。為了能夠捕獲、存儲和分析這些數(shù)據(jù)，大多數(shù)企業(yè)轉(zhuǎn)而尋求專門的硬件和軟件解決方案。一個常見的解決方案是使用一個專用的硬件數(shù)據(jù)存儲(有時稱為一體機)加上配套的商業(yè)信息分析軟件。一個例子就是IBM DB2 AnalyticsAccelerator (IDAA)。

配置一體機以適應(yīng)大容量。一體機之所以能夠執(zhí)行高速查詢，是因為它們具有專用的高容量磁盤存儲陣列，允許大規(guī)模并行處理。這一過程只有在被引用的所有表都存儲在一體機中時才能正常工作。如果你的大數(shù)據(jù)應(yīng)用程序使用了多用戶社區(qū)發(fā)布的跨許多商業(yè)實體和關(guān)系的復(fù)雜查詢，你應(yīng)該接受所有數(shù)據(jù)表都要存儲在一體機中這一事實。

注意，您的數(shù)據(jù)倉庫表也應(yīng)該存在于你當(dāng)前的數(shù)據(jù)庫管理系統(tǒng)(DBMS)中；這樣做為了使你的當(dāng)前操作和常用倉庫查詢可以更快地在DBMS中執(zhí)行。

限制對一體機的初始訪問。大多數(shù)大數(shù)據(jù)應(yīng)用程序被安裝來支持特定的用例。這些用例目的是使分析能夠有助于立即降低成本或提高利潤。最好是限制這些用戶訪問一體機，尤其是在他們使用標(biāo)準(zhǔn)的商業(yè)智能(BI)工具來構(gòu)造查詢時。為大數(shù)據(jù)所定制BI工具允許用戶以圖形化的形式組織SQL語句，而后在后臺執(zhí)行實際的SQL查詢。這允許軟件設(shè)計師通過正確的SQL語法來使用一體機。

另一個限制一體機只能被個別用戶訪問的原因與性能調(diào)優(yōu)有關(guān)。最初交付給客戶的大數(shù)據(jù)一體機并不具有性能調(diào)優(yōu)的能力。這是因為人們認(rèn)為那些先進的軟件和硬件一體機速度極快，性能調(diào)優(yōu)沒有存在的必要。現(xiàn)在，隨著越來越多的用戶獲得大數(shù)據(jù)一體機存儲和訪問路徑查詢的經(jīng)驗，新交付的一體機出現(xiàn)了性能調(diào)優(yōu)的選項。限制一體機訪問可以使你的一體機運維團隊在一個相對穩(wěn)定的環(huán)境中進行一體機的性能調(diào)優(yōu)。

您需要確定如何處理被更改的數(shù)據(jù)。為了使一體機返回有用的信息，數(shù)據(jù)必須是最新的。這里所說的數(shù)據(jù)包括數(shù)據(jù)倉庫數(shù)據(jù)，這些數(shù)據(jù)我們也建議您實例化到一體機中去。然而，由于大多數(shù)數(shù)據(jù)倉庫每天都執(zhí)行提取-轉(zhuǎn)換-裝載(ETL)流程，你現(xiàn)在必須協(xié)調(diào)這些數(shù)據(jù)，以便其順利加載到一體機中。通常ETL最后一步執(zhí)行數(shù)據(jù)庫應(yīng)用程序，將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中?，F(xiàn)在，ETL有一個額外的步驟，將數(shù)據(jù)加載到一體機中。沒有將這些新數(shù)據(jù)加載到一體機中是十分危險的，你的查詢操作訪問數(shù)據(jù)倉庫中的表，會返回一個查詢結(jié)果，而當(dāng)查詢操作訪問的是一體機表數(shù)據(jù)時，返回的又是另一個結(jié)果，兩個結(jié)果無法保持一致性。

解決這個問題的最簡單方法是在數(shù)據(jù)倉庫ETL過程中添加一步，即當(dāng)數(shù)據(jù)加載數(shù)據(jù)庫后立即加載到一體機中。然而，會有很多數(shù)據(jù)加載選項。假如ETL過程是在表中追加記錄，而不是覆蓋整個表會怎樣？一體機加載過程通常有一個“加載被更改數(shù)據(jù)”的選項，該選項允許一體機只加載那些最近被更改過的數(shù)據(jù)。這種方法也適用于分區(qū)表，一次只有一個分區(qū)被加載。

讓你的數(shù)據(jù)倉庫做好準(zhǔn)備

升級數(shù)據(jù)倉庫體系結(jié)構(gòu)。企業(yè)數(shù)據(jù)倉庫已經(jīng)成為商業(yè)智能查詢的平臺。數(shù)據(jù)倉庫業(yè)務(wù)分析師查詢數(shù)據(jù)倉庫數(shù)據(jù)以供分析；所以倉庫已經(jīng)包含類別和維度表用于構(gòu)造子集，合計和聚合。這樣的類別數(shù)據(jù)通常存儲在產(chǎn)品類別、客戶類型、地理區(qū)域等維度表中。

考慮到大數(shù)據(jù)的用例(BI查詢隨著大數(shù)據(jù)的實現(xiàn)已經(jīng)被定義為高回報的)，檢查你的倉庫，以確保倉庫中存在所有必須的類別和維度表，且表中數(shù)據(jù)正確。另外你可能需要進一步檢查以確定原始源系統(tǒng)數(shù)據(jù)是正確和最新的。檢查你的企業(yè)數(shù)據(jù)字典和元數(shù)據(jù)以確認(rèn)數(shù)據(jù)元素定義的正確性和相關(guān)性。

加快ETL處理過程，特別是數(shù)據(jù)倉庫的數(shù)據(jù)加載過程。隨著查詢數(shù)量和復(fù)雜性的增加，BI用戶將需求更多地使用大數(shù)據(jù)存儲庫。然而，由于大數(shù)據(jù)需要與數(shù)據(jù)倉庫集成，這自然轉(zhuǎn)化為更快的數(shù)據(jù)處理要求。分析整個數(shù)據(jù)轉(zhuǎn)換鏈，包括源數(shù)據(jù)的采集、數(shù)據(jù)清理和轉(zhuǎn)換，以及最終數(shù)據(jù)倉庫裝載過程。你應(yīng)該考慮升級相關(guān)網(wǎng)絡(luò)和服務(wù)器來應(yīng)對數(shù)據(jù)量的增加。對舊的、過時的倉庫數(shù)據(jù)進行分析，清洗或歸檔不再使用的數(shù)據(jù)。審查數(shù)據(jù)加載程序，為速度提升做好準(zhǔn)備，這包括并行表加載過程，以及制定相應(yīng)分區(qū)方案來允許原有數(shù)據(jù)被查詢的同時加載新的數(shù)據(jù)。

為新崗位培訓(xùn)員工。大數(shù)據(jù)的應(yīng)用程序和企業(yè)數(shù)據(jù)倉庫完成集成后將會共同成長。這將改變數(shù)據(jù)倉庫運維人員的工作內(nèi)容。倉庫分析師必須擴大視野，并意識到現(xiàn)在的數(shù)據(jù)存儲在一個或多個大數(shù)據(jù)的應(yīng)用程序中。他們必須去熟悉任何新的BI分析軟件，以幫助用戶實現(xiàn)報表和查詢。

隨著大數(shù)據(jù)消費的擴張，性能將成為一個問題。企業(yè)急需數(shù)據(jù)科學(xué)家，這些科學(xué)家了解數(shù)據(jù)以及數(shù)據(jù)庫管理系統(tǒng)和一體機，并能對其進行監(jiān)視和性能優(yōu)化。最后，這些專家在數(shù)據(jù)來源和操作系統(tǒng)領(lǐng)域具備淵博的學(xué)識，這將幫助企業(yè)確定哪些數(shù)據(jù)應(yīng)該被添加到當(dāng)前數(shù)據(jù)倉庫和一體機中。