讓你的大數(shù)據(jù)應(yīng)用具備更高性能

大數(shù)據(jù)應(yīng)用在大型企業(yè)中變得越來越常見。企業(yè)具備歷史數(shù)據(jù)分析和趨勢預(yù)測的能力，能夠為自身創(chuàng)造可觀價值；此外，商業(yè)智能分析不僅可以避免出現(xiàn)運輸中斷、資源短缺，還能減少服務(wù)水平協(xié)議SLA和預(yù)測客戶所需的產(chǎn)品和服務(wù)。BI能夠給企業(yè)帶來巨額紅利。

隨著購物節(jié)的臨近，利用客戶交互的明顯增加，可以預(yù)期到你的企業(yè)將會開展更多的BI活動。通過優(yōu)化大數(shù)據(jù)應(yīng)用，提高性能，IT企業(yè)應(yīng)該積極為更大數(shù)據(jù)量和更多的分析活動做好準(zhǔn)備

從哪里開始

DBA、支持人員應(yīng)將他們的努力集中在以下幾個領(lǐng)域：災(zāi)難恢復(fù)，數(shù)據(jù)倉庫性能和數(shù)據(jù)組織以及大數(shù)據(jù)的應(yīng)用中的數(shù)據(jù)存儲。

災(zāi)難恢復(fù)

大多數(shù)IT人員認為災(zāi)難恢復(fù)并不屬于性能調(diào)優(yōu)的范疇。在大數(shù)據(jù)環(huán)境下，這一誤解又有所加深，因為人們普遍認為建立在大數(shù)據(jù)應(yīng)用上的數(shù)據(jù)分析，相對于計算工資，總帳，訂單輸入，運輸和客戶服務(wù)之類的應(yīng)用來說，并不十分重要。

但是，大數(shù)據(jù)應(yīng)用在過去的幾年里已經(jīng)日趨成熟，企業(yè)所使用的業(yè)務(wù)分析功能也隨之日臻完善。曾經(jīng)的臨時查詢現(xiàn)在被作為常規(guī)報表來執(zhí)行；額外的歷史數(shù)據(jù)允許查詢對大量數(shù)據(jù)進行比較和分析，通過進行負載均衡，商業(yè)分析軟件可以讓你的大數(shù)據(jù)應(yīng)用得以更加方便快捷的執(zhí)行查詢。這使得今天的大數(shù)據(jù)應(yīng)用提供了大量的可操作數(shù)據(jù)，可以提供更好的客戶服務(wù)，消耗更低的成本并獲得更高的利潤。

這意味著，即使大數(shù)據(jù)應(yīng)用遭遇一次很小的中斷，都可能在你的用戶群中產(chǎn)生連鎖反應(yīng)，報表無法按時交付、查詢無法正常運行、以及那些基于商業(yè)分析結(jié)果的決策被延遲等。

DBA應(yīng)該經(jīng)常審核DR計劃，以保證大數(shù)據(jù)應(yīng)用在其控制之下。他們需要關(guān)注下列幾種情況。

審核恢復(fù)過程。一年中最忙的時候就是遭到災(zāi)難性故障的時候。中斷將會顯著的影響企業(yè)的營利，特別是在事務(wù)頻繁的時期。DBA應(yīng)該協(xié)助恢復(fù)過程，避免浪費時間和精力。

驗證恢復(fù)時間。很多DR計劃包括一個目標(biāo)恢復(fù)時間，表示可以完全恢復(fù)的最晚時間點。對于數(shù)據(jù)庫來說，這可能意味著從備份文件恢復(fù)數(shù)據(jù)，并將日志從備份時間調(diào)整到恢復(fù)時間點。在高峰時期，數(shù)據(jù)和事務(wù)量較大；因此，恢復(fù)時間可能延長。為了降低這種風(fēng)險，DBA應(yīng)該考慮實施更頻繁的關(guān)鍵數(shù)據(jù)庫備份。由于在數(shù)據(jù)表恢復(fù)過程中，通常需要花時間來重建索引，DBA應(yīng)該將DB2的備份和恢復(fù)能力考慮在內(nèi)。

數(shù)據(jù)倉庫性能

一般來說，大數(shù)據(jù)的存儲和分析或存在于企業(yè)數(shù)據(jù)倉庫(EDW)內(nèi)部，或者與其相關(guān)。要整合各地的大數(shù)據(jù)解決方案，你需要為每一部分的EDW過程設(shè)置接口。下面是一個關(guān)于EDW子系統(tǒng)的總結(jié)，涉及大數(shù)據(jù)對它們的影響，以及如何提前制定性能計劃。

數(shù)據(jù)獲取和采集。包括一個在數(shù)據(jù)轉(zhuǎn)移到EDW之前，用于暫存數(shù)據(jù)的方案，以避免硬件故障造成的延誤。還應(yīng)確定這些新資產(chǎn)和流程將如何影響你的災(zāi)難恢復(fù)計劃。開發(fā)人員喜歡在旺季開始之前實現(xiàn)新功能或加固操作系統(tǒng)。其中一些增強數(shù)據(jù)可能需要傳遞到你的數(shù)據(jù)倉庫，隨后為大數(shù)據(jù)應(yīng)用可能執(zhí)行的查詢提供服務(wù)。在此之前你要確定，這些新應(yīng)用或者改動后的應(yīng)用可能需要一個業(yè)務(wù)分析組件，

數(shù)據(jù)轉(zhuǎn)換和遷移?？焖龠w移大量數(shù)據(jù)可能需要額外的資源，甚至特殊的軟件或硬件。你的網(wǎng)絡(luò)有能力將日益增長的數(shù)據(jù)從操作系統(tǒng)遷移到數(shù)據(jù)倉庫，并最終部署到大數(shù)據(jù)應(yīng)用中么?

數(shù)據(jù)訪問和分析。隨著數(shù)據(jù)持續(xù)填滿倉庫，在倉庫和大數(shù)據(jù)的應(yīng)用合并后，用戶可以運行分析軟件。捕獲數(shù)據(jù)訪問路徑和數(shù)據(jù)分布統(tǒng)計信息并留作分析。你需要確定是否有足夠的系統(tǒng)資源(CPU、磁盤存儲、網(wǎng)絡(luò)容量等)來支持預(yù)期的查詢工作負載。

數(shù)據(jù)歸檔。大量的數(shù)據(jù)分析，龐大的數(shù)據(jù)量可能會占用寶貴的存儲介質(zhì)，使一些進程運行緩慢。IT和業(yè)務(wù)合作伙伴必須決定如何以及何時將舊的大數(shù)據(jù)存檔清除，以及它是否必須保留以供日后使用。

大數(shù)據(jù)的組織和存儲

供應(yīng)商銷售的第一大數(shù)據(jù)應(yīng)用通常是即插即用型的。幾乎沒有調(diào)優(yōu)選項。主要的原因是，應(yīng)用依賴一個專有的，混合的硬件和軟件解決方案，該解決方案使用大規(guī)模并行存儲和I / O，以實現(xiàn)對分析查詢的快速應(yīng)答。

客戶對于大數(shù)據(jù)分析的需求日益成熟，供應(yīng)商解決方案需要提供多個同步存儲和檢索數(shù)據(jù)的方法。其結(jié)果是供應(yīng)商設(shè)計并實現(xiàn)了可選數(shù)據(jù)存儲和檢索選項。一個例子是指定關(guān)鍵記錄如何存儲的能力。設(shè)想一個大數(shù)據(jù)應(yīng)用，實現(xiàn)了一百個獨立的磁盤驅(qū)動器。原始的應(yīng)用通常將記錄隨機分散到這些驅(qū)動器。一些分析查詢可以在邏輯上分成一百個獨立的查詢，每個查詢訪問一個驅(qū)動器，所有查詢的結(jié)果合并成最終的答案，比相同的序列數(shù)據(jù)庫查詢快上一百倍。

然而，考慮一個基于鍵的，需要連接兩個表的查詢。隨機分布在一百個磁盤驅(qū)動器的兩個表將不再具備性能優(yōu)勢，因為行連接操作與兩個表存儲在同一個磁盤驅(qū)動器上時已經(jīng)完全不同了。

目前很多大數(shù)據(jù)應(yīng)用解決方案包含選項和算法以支持跨驅(qū)動器的表查詢，存儲是按鍵值排序的，并不是隨機分布。通過在每一個磁盤驅(qū)動器存儲相同范圍的鍵值行，行連接操作將在同一個驅(qū)動器上執(zhí)行。因此按鍵值指定數(shù)據(jù)分布的能力提供了巨大性能提升。

考慮到這一點，以下是一些建議，可用于大數(shù)據(jù)應(yīng)用的性能調(diào)優(yōu)。

檢查數(shù)據(jù)分布統(tǒng)計信息。使用RunStats程序來收集表鍵和數(shù)據(jù)分布信息。特別是主鍵和外鍵索引，因為表連接通常會基于這些列。

審查數(shù)據(jù)訪問路徑。在本質(zhì)上分析查詢是臨時的，數(shù)據(jù)表最有可能使用相同或相似的訪問路徑加被訪問。捕獲和分析這些訪問路徑尋找常見的連接方法。這一信息，加上數(shù)據(jù)分布統(tǒng)計信息，將幫助您確定數(shù)據(jù)表應(yīng)如何按鍵值分布在大數(shù)據(jù)應(yīng)用中。

存儲數(shù)據(jù)訪問路徑以進行分析。作為上面的建議的延伸，你應(yīng)該有一個方法用于捕獲和儲存分析查詢的訪問路徑。方法返回結(jié)果應(yīng)展示出表和索引是如何被訪問，以及使用了哪些索引，執(zhí)行了哪些排序等等。查詢獲取更多的數(shù)據(jù)，數(shù)據(jù)量增加返過來審查你的歷史訪問路徑并比較。數(shù)據(jù)量增加引起的變化，觀察訪問路徑的變化都可能表明性能出了問題。

總結(jié)

通過審核數(shù)據(jù)恢復(fù)流程，提高數(shù)據(jù)倉庫的性能，評估當(dāng)前大數(shù)據(jù)應(yīng)用性能的優(yōu)化選項，可以讓你的大數(shù)據(jù)應(yīng)用為即將到來高峰做好準(zhǔn)備。大數(shù)據(jù)應(yīng)用的數(shù)據(jù)組織方式對性能有這十分顯著的影響；此外，你還應(yīng)該仔細考慮可能發(fā)生的故障，為災(zāi)難做好準(zhǔn)備，即使大數(shù)據(jù)應(yīng)用上一個小的中斷都可能對企業(yè)利益造成重大影響。