大數(shù)據(jù)查詢?cè)鯓硬拍鼙苊庠絹?lái)越慢_數(shù)據(jù)分析師培訓(xùn)

大多數(shù)大型組織都實(shí)現(xiàn)了一個(gè)或多個(gè)大數(shù)據(jù)應(yīng)用程序。隨著他們積累越來(lái)越多的金融交易、銷售數(shù)據(jù)和客戶交互，他們就可以生成更加準(zhǔn)確的銷售預(yù)報(bào)和預(yù)測(cè)客戶需求趨勢(shì)。這將轉(zhuǎn)換為更大的市場(chǎng)份額和更高的收益。

然而，隨著積累的數(shù)據(jù)越來(lái)越多，內(nèi)部用戶和分析師會(huì)執(zhí)行更多的報(bào)表和預(yù)報(bào)。這些都會(huì)導(dǎo)致額外的查詢、分析及報(bào)表。這個(gè)循環(huán)還在繼續(xù)：數(shù)據(jù)增長(zhǎng)帶來(lái)更好的分析，而分析又會(huì)產(chǎn)生更多的報(bào)表。最終，大數(shù)據(jù)應(yīng)用程序會(huì)充滿大量的數(shù)據(jù)，從而影響查詢性能。

如何避免這個(gè)問(wèn)題呢？

大數(shù)據(jù)信息獲取與存儲(chǔ)

信息技術(shù)（IT）支持人員可以從幾個(gè)方面去主動(dòng)解決大數(shù)據(jù)應(yīng)用程序的性能問(wèn)題。第一個(gè)是數(shù)據(jù)獲取與存儲(chǔ)，有時(shí)候也稱為提取、轉(zhuǎn)換與加載（ETL）。

大數(shù)據(jù)應(yīng)用程序會(huì)將它們的數(shù)據(jù)存儲(chǔ)在一個(gè)大型數(shù)據(jù)庫(kù)或者一個(gè)特殊的混合硬件/軟件設(shè)備中。有時(shí)候也會(huì)混合使用這兩種方法。大型數(shù)據(jù)庫(kù)可能是關(guān)系數(shù)據(jù)庫(kù)（如IBM DB2）或數(shù)據(jù)庫(kù)機(jī)器（Teradata）。設(shè)備是一種整合大規(guī)模并行I/O通道和超大磁盤陣列的新數(shù)據(jù)存儲(chǔ)手段。在很多時(shí)候，它們還需要與一個(gè)現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)協(xié)同工作，因?yàn)榭赡芙M織中大量現(xiàn)有分析數(shù)據(jù)都已經(jīng)存儲(chǔ)在這個(gè)數(shù)據(jù)倉(cāng)庫(kù)中。

數(shù)據(jù)的最后一個(gè)方面是幫助我們確定需要對(duì)運(yùn)營(yíng)數(shù)據(jù)執(zhí)行多少預(yù)處理。這有時(shí)候稱為數(shù)據(jù)整理。常見(jiàn)的例子包括處理缺失或無(wú)效的數(shù)據(jù)，將代碼替換為描述性分類數(shù)據(jù)，以及為具有唯一自然鍵的實(shí)體分配代理鍵。

數(shù)據(jù)從運(yùn)營(yíng)系統(tǒng)和外部數(shù)據(jù)源到達(dá)應(yīng)用程序。IT必須保證來(lái)自運(yùn)營(yíng)系統(tǒng)的數(shù)據(jù)元素的正確性，其格式要適合批量加載。數(shù)據(jù)通道既要有足夠快的數(shù)據(jù)傳輸速度，也要有足夠大的帶寬去支持多數(shù)據(jù)流的交行傳輸。大數(shù)據(jù)應(yīng)用程序的日常增長(zhǎng)每天都會(huì)增加GB數(shù)量級(jí)的數(shù)據(jù)。

一定要保證這些數(shù)據(jù)能夠快速高效地傳輸。

大多數(shù)據(jù)數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）和設(shè)備都有一些用于加載數(shù)據(jù)的專有工具。這些工具有時(shí)候要求輸入數(shù)據(jù)使用一種固定的格式。要檢查這些需求及其他選項(xiàng)，確定是否有一些方法可以保證數(shù)據(jù)加載速度滿足要求。對(duì)于關(guān)系數(shù)據(jù)庫(kù)，有一種常用方法是合適分區(qū)表。例如，在表中定義用4個(gè)分區(qū)來(lái)存儲(chǔ)一天的數(shù)據(jù)。這樣IT人員就可以設(shè)計(jì)一個(gè)加載流程來(lái)并發(fā)加載4個(gè)分區(qū)。

最后一領(lǐng)域是數(shù)據(jù)存檔和凈化。雖然表面上數(shù)據(jù)量越多就自然可以推出分析更好，但是一些歷史數(shù)據(jù)可能變老或失效。例如，一些已停止銷售產(chǎn)品的銷售數(shù)據(jù)，公司停止服務(wù)地區(qū)的客戶數(shù)據(jù)等。這些數(shù)據(jù)應(yīng)該凈化或存檔。凈化可以減少所需要的數(shù)據(jù)存儲(chǔ)量，而存檔則允許在將來(lái)需要數(shù)據(jù)時(shí)重新加載數(shù)據(jù)。無(wú)論是哪一種情況，減小工作數(shù)據(jù)庫(kù)的大叔都可以加快查詢速度，因?yàn)樗辉傩枰^(guò)時(shí)的數(shù)據(jù)。

大數(shù)據(jù)用戶

誰(shuí)是你的用戶，他們?nèi)绾尾樵兡愕臄?shù)據(jù)？典型的用戶是一位業(yè)務(wù)分析師和主題專家，他們理解你的業(yè)務(wù)數(shù)據(jù)，具有高明又高效地訪問(wèn)大數(shù)據(jù)應(yīng)用程序的技術(shù)知識(shí)。這可能意味著他們精通SQL等查詢語(yǔ)言。另一個(gè)方法是安裝分析軟件，展示圖形化業(yè)務(wù)數(shù)據(jù)視圖，并且基于用戶界面來(lái)構(gòu)建查詢。

在許多組織中，他們安裝的第一個(gè)大數(shù)據(jù)應(yīng)用程序就是為了解決一些特殊問(wèn)題，或者為了分析預(yù)定問(wèn)題，即用例。分析師已經(jīng)知道哪一些查詢可以產(chǎn)生有用且可操作的智能。

接下來(lái)，第一次分析的結(jié)果是產(chǎn)生“如果……將會(huì)怎么樣（what if）”的問(wèn)題，這會(huì)導(dǎo)致需要訪問(wèn)更多數(shù)據(jù)的更多查詢。隨著這些查詢提供數(shù)量更多的有用結(jié)果，管理層自然會(huì)開(kāi)始將它們調(diào)整為常規(guī)報(bào)表。

IT支持人員必須規(guī)劃查詢?cè)跀?shù)量與復(fù)雜度方面的增長(zhǎng)需求。這比規(guī)劃未來(lái)數(shù)據(jù)存儲(chǔ)容量增長(zhǎng)要復(fù)雜得多。復(fù)雜查詢要求數(shù)據(jù)庫(kù)管理系統(tǒng)選擇一條高效的數(shù)據(jù)訪問(wèn)路徑。這可能要求增加給數(shù)據(jù)庫(kù)一些提升性能的特性，如索引或數(shù)據(jù)分區(qū)。有可能多個(gè)查詢使用同一個(gè)數(shù)據(jù)集合，如按區(qū)域劃分的銷售數(shù)據(jù)或按月份及客戶類型劃分的客戶數(shù)據(jù)。在這些情況下，就有可能預(yù)先計(jì)算好這些數(shù)據(jù)集合，將它們單獨(dú)存儲(chǔ)在不同的位置，從而大大提升查詢性能。

另一個(gè)關(guān)注的問(wèn)題是系統(tǒng)資源?？赡苡幸恍┵Y源是有限的或受性能約束，如CPU或磁盤存儲(chǔ)。這一類資源的可用性將決定大多數(shù)可見(jiàn)的性能指標(biāo)和查詢耗時(shí)。

IT人員應(yīng)該監(jiān)控資源消耗和收集常規(guī)性能測(cè)量數(shù)據(jù)。將這些指標(biāo)制成分時(shí)圖表就可能反映出一些趨勢(shì)。在一些時(shí)候，使用一種資源就有可能減輕另一種資源的結(jié)束。例如，如果CPU資源緊張，導(dǎo)致查詢速度變慢，那么就可以給數(shù)據(jù)表增加索引。這樣會(huì)占用更多的磁盤存儲(chǔ)空間，但是可以加快數(shù)據(jù)訪問(wèn)速度。其他可用的方法包括增加專用于排序處理的磁盤存儲(chǔ)，給DBMS增加內(nèi)存，以便有更多的內(nèi)存用于緩沖數(shù)據(jù)。

大數(shù)據(jù)查詢

這自然就到了使用查詢優(yōu)化方法的時(shí)候。大多數(shù)DBMS都有一個(gè)分析查詢?cè)L問(wèn)路徑的特性，它稱為解釋。解釋的輸入是一個(gè)查詢，它會(huì)分析多個(gè)可能的數(shù)據(jù)訪問(wèn)路徑，然后每一個(gè)路徑指定成本，然后執(zhí)行具有最低成本的訪問(wèn)路徑。在這里，成本是指數(shù)據(jù)查詢時(shí)所需要的CPU使用率和磁盤I/O。

這種查詢路徑優(yōu)化要求DBMS提供一個(gè)關(guān)于數(shù)據(jù)庫(kù)或設(shè)備所存儲(chǔ)數(shù)據(jù)的統(tǒng)計(jì)模板。這種統(tǒng)計(jì)信息包括每一個(gè)數(shù)據(jù)元素的最大值和最小值、平均值、最常見(jiàn)值及其他數(shù)據(jù)分布信息。

假設(shè)有一個(gè)表包含按日期劃分的銷售數(shù)據(jù)，其中交易日期從01-01-2014到12-31-2014。只查詢01-01-2014的數(shù)據(jù)查詢可能只需要訪問(wèn)數(shù)據(jù)表中很小的一部分；因此，這時(shí)很可能需要增加一個(gè)索引訪問(wèn)路徑。

類似地，在上面這個(gè)表中，假設(shè)將數(shù)據(jù)分割為12個(gè)數(shù)據(jù)集或分區(qū)，其中每一個(gè)分區(qū)對(duì)應(yīng)一個(gè)月份。那么查詢一月份數(shù)據(jù)的查詢可能只需要訪問(wèn)其中一個(gè)分區(qū)，從而篩選數(shù)據(jù)時(shí)不需要掃描整個(gè)數(shù)據(jù)表。

顯然，分析的需求會(huì)對(duì)所生成查詢的類型產(chǎn)生重大影響；同時(shí)，可用的存儲(chǔ)方法和數(shù)據(jù)訪問(wèn)路徑將會(huì)影響查詢性能。最明顯的結(jié)論是IT支持人員必須與分析人員緊密協(xié)作，定期開(kāi)會(huì)一起審查報(bào)表需求和文檔可行的數(shù)據(jù)訪問(wèn)策略。此外，IT人員還應(yīng)該開(kāi)發(fā)一種捕捉所有已提交查詢的方法，這樣通過(guò)對(duì)它們分析就可能得到通用模式。

小結(jié)

為了避免大數(shù)據(jù)應(yīng)用程序潛在的性能問(wèn)題，IT人員應(yīng)該主動(dòng)與分析人員協(xié)調(diào)，收集數(shù)據(jù)訪問(wèn)指標(biāo)。在技術(shù)方面，要用文檔記錄數(shù)據(jù)提取、轉(zhuǎn)換和加載流程，確定有一些方法可以提升數(shù)據(jù)查詢速度或處理更大的數(shù)據(jù)容量。要考慮凈化過(guò)時(shí)數(shù)據(jù)，并且確定是否有一些提升數(shù)據(jù)性能的通用手段，如分區(qū)或索引會(huì)很有效。

開(kāi)發(fā)一個(gè)用戶庫(kù)概要。用戶數(shù)量有多少，他們創(chuàng)建查詢的技術(shù)水平有多高，以及他們提交查詢的頻率有多快？這些數(shù)據(jù)在將來(lái)是否會(huì)繼續(xù)增長(zhǎng)？

捕捉用戶查詢，執(zhí)行解釋流程，然后保存訪問(wèn)路徑。要用這些數(shù)據(jù)去分析性能問(wèn)題和趨勢(shì)。

要監(jiān)控用于支持大數(shù)據(jù)應(yīng)用程序的系統(tǒng)資源。預(yù)報(bào)趨勢(shì)，特別是那些已經(jīng)或可能會(huì)成為約束的資源。在這些情況下，要使用現(xiàn)有資源開(kāi)發(fā)一些方法，抵消其中一些約束。

最后，要定期與業(yè)務(wù)分析人員會(huì)面，討論你得到的結(jié)果和將來(lái)可能的變化。這種交流和協(xié)調(diào)是與用戶保持良好關(guān)系的重要條件。