大數(shù)據(jù)查詢怎樣才能避免越來越慢_數(shù)據(jù)分析師培訓(xùn)

大多數(shù)大型組織都實現(xiàn)了一個或多個大數(shù)據(jù)應(yīng)用程序。隨著他們積累越來越多的金融交易、銷售數(shù)據(jù)和客戶交互，他們就可以生成更加準(zhǔn)確的銷售預(yù)報和預(yù)測客戶需求趨勢。這將轉(zhuǎn)換為更大的市場份額和更高的收益。

然而，隨著積累的數(shù)據(jù)越來越多，內(nèi)部用戶和分析師會執(zhí)行更多的報表和預(yù)報。這些都會導(dǎo)致額外的查詢、分析及報表。這個循環(huán)還在繼續(xù)：數(shù)據(jù)增長帶來更好的分析，而分析又會產(chǎn)生更多的報表。最終，大數(shù)據(jù)應(yīng)用程序會充滿大量的數(shù)據(jù)，從而影響查詢性能。

如何避免這個問題呢？

大數(shù)據(jù)信息獲取與存儲

信息技術(shù)（IT）支持人員可以從幾個方面去主動解決大數(shù)據(jù)應(yīng)用程序的性能問題。第一個是數(shù)據(jù)獲取與存儲，有時候也稱為提取、轉(zhuǎn)換與加載（ETL）。

大數(shù)據(jù)應(yīng)用程序會將它們的數(shù)據(jù)存儲在一個大型數(shù)據(jù)庫或者一個特殊的混合硬件/軟件設(shè)備中。有時候也會混合使用這兩種方法。大型數(shù)據(jù)庫可能是關(guān)系數(shù)據(jù)庫（如IBM DB2）或數(shù)據(jù)庫機器（Teradata）。設(shè)備是一種整合大規(guī)模并行I/O通道和超大磁盤陣列的新數(shù)據(jù)存儲手段。在很多時候，它們還需要與一個現(xiàn)有數(shù)據(jù)倉庫協(xié)同工作，因為可能組織中大量現(xiàn)有分析數(shù)據(jù)都已經(jīng)存儲在這個數(shù)據(jù)倉庫中。

數(shù)據(jù)的最后一個方面是幫助我們確定需要對運營數(shù)據(jù)執(zhí)行多少預(yù)處理。這有時候稱為數(shù)據(jù)整理。常見的例子包括處理缺失或無效的數(shù)據(jù)，將代碼替換為描述性分類數(shù)據(jù)，以及為具有唯一自然鍵的實體分配代理鍵。

數(shù)據(jù)從運營系統(tǒng)和外部數(shù)據(jù)源到達(dá)應(yīng)用程序。IT必須保證來自運營系統(tǒng)的數(shù)據(jù)元素的正確性，其格式要適合批量加載。數(shù)據(jù)通道既要有足夠快的數(shù)據(jù)傳輸速度，也要有足夠大的帶寬去支持多數(shù)據(jù)流的交行傳輸。大數(shù)據(jù)應(yīng)用程序的日常增長每天都會增加GB數(shù)量級的數(shù)據(jù)。

一定要保證這些數(shù)據(jù)能夠快速高效地傳輸。

大多數(shù)據(jù)數(shù)據(jù)庫管理系統(tǒng)（DBMS）和設(shè)備都有一些用于加載數(shù)據(jù)的專有工具。這些工具有時候要求輸入數(shù)據(jù)使用一種固定的格式。要檢查這些需求及其他選項，確定是否有一些方法可以保證數(shù)據(jù)加載速度滿足要求。對于關(guān)系數(shù)據(jù)庫，有一種常用方法是合適分區(qū)表。例如，在表中定義用4個分區(qū)來存儲一天的數(shù)據(jù)。這樣IT人員就可以設(shè)計一個加載流程來并發(fā)加載4個分區(qū)。

最后一領(lǐng)域是數(shù)據(jù)存檔和凈化。雖然表面上數(shù)據(jù)量越多就自然可以推出分析更好，但是一些歷史數(shù)據(jù)可能變老或失效。例如，一些已停止銷售產(chǎn)品的銷售數(shù)據(jù)，公司停止服務(wù)地區(qū)的客戶數(shù)據(jù)等。這些數(shù)據(jù)應(yīng)該凈化或存檔。凈化可以減少所需要的數(shù)據(jù)存儲量，而存檔則允許在將來需要數(shù)據(jù)時重新加載數(shù)據(jù)。無論是哪一種情況，減小工作數(shù)據(jù)庫的大叔都可以加快查詢速度，因為它不再需要過時的數(shù)據(jù)。

大數(shù)據(jù)用戶

誰是你的用戶，他們?nèi)绾尾樵兡愕臄?shù)據(jù)？典型的用戶是一位業(yè)務(wù)分析師和主題專家，他們理解你的業(yè)務(wù)數(shù)據(jù)，具有高明又高效地訪問大數(shù)據(jù)應(yīng)用程序的技術(shù)知識。這可能意味著他們精通SQL等查詢語言。另一個方法是安裝分析軟件，展示圖形化業(yè)務(wù)數(shù)據(jù)視圖，并且基于用戶界面來構(gòu)建查詢。

在許多組織中，他們安裝的第一個大數(shù)據(jù)應(yīng)用程序就是為了解決一些特殊問題，或者為了分析預(yù)定問題，即用例。分析師已經(jīng)知道哪一些查詢可以產(chǎn)生有用且可操作的智能。

接下來，第一次分析的結(jié)果是產(chǎn)生“如果……將會怎么樣（what if）”的問題，這會導(dǎo)致需要訪問更多數(shù)據(jù)的更多查詢。隨著這些查詢提供數(shù)量更多的有用結(jié)果，管理層自然會開始將它們調(diào)整為常規(guī)報表。

IT支持人員必須規(guī)劃查詢在數(shù)量與復(fù)雜度方面的增長需求。這比規(guī)劃未來數(shù)據(jù)存儲容量增長要復(fù)雜得多。復(fù)雜查詢要求數(shù)據(jù)庫管理系統(tǒng)選擇一條高效的數(shù)據(jù)訪問路徑。這可能要求增加給數(shù)據(jù)庫一些提升性能的特性，如索引或數(shù)據(jù)分區(qū)。有可能多個查詢使用同一個數(shù)據(jù)集合，如按區(qū)域劃分的銷售數(shù)據(jù)或按月份及客戶類型劃分的客戶數(shù)據(jù)。在這些情況下，就有可能預(yù)先計算好這些數(shù)據(jù)集合，將它們單獨存儲在不同的位置，從而大大提升查詢性能。

另一個關(guān)注的問題是系統(tǒng)資源。可能有一些資源是有限的或受性能約束，如CPU或磁盤存儲。這一類資源的可用性將決定大多數(shù)可見的性能指標(biāo)和查詢耗時。

IT人員應(yīng)該監(jiān)控資源消耗和收集常規(guī)性能測量數(shù)據(jù)。將這些指標(biāo)制成分時圖表就可能反映出一些趨勢。在一些時候，使用一種資源就有可能減輕另一種資源的結(jié)束。例如，如果CPU資源緊張，導(dǎo)致查詢速度變慢，那么就可以給數(shù)據(jù)表增加索引。這樣會占用更多的磁盤存儲空間，但是可以加快數(shù)據(jù)訪問速度。其他可用的方法包括增加專用于排序處理的磁盤存儲，給DBMS增加內(nèi)存，以便有更多的內(nèi)存用于緩沖數(shù)據(jù)。

大數(shù)據(jù)查詢

這自然就到了使用查詢優(yōu)化方法的時候。大多數(shù)DBMS都有一個分析查詢訪問路徑的特性，它稱為解釋。解釋的輸入是一個查詢，它會分析多個可能的數(shù)據(jù)訪問路徑，然后每一個路徑指定成本，然后執(zhí)行具有最低成本的訪問路徑。在這里，成本是指數(shù)據(jù)查詢時所需要的CPU使用率和磁盤I/O。

這種查詢路徑優(yōu)化要求DBMS提供一個關(guān)于數(shù)據(jù)庫或設(shè)備所存儲數(shù)據(jù)的統(tǒng)計模板。這種統(tǒng)計信息包括每一個數(shù)據(jù)元素的最大值和最小值、平均值、最常見值及其他數(shù)據(jù)分布信息。

假設(shè)有一個表包含按日期劃分的銷售數(shù)據(jù)，其中交易日期從01-01-2014到12-31-2014。只查詢01-01-2014的數(shù)據(jù)查詢可能只需要訪問數(shù)據(jù)表中很小的一部分；因此，這時很可能需要增加一個索引訪問路徑。

類似地，在上面這個表中，假設(shè)將數(shù)據(jù)分割為12個數(shù)據(jù)集或分區(qū)，其中每一個分區(qū)對應(yīng)一個月份。那么查詢一月份數(shù)據(jù)的查詢可能只需要訪問其中一個分區(qū)，從而篩選數(shù)據(jù)時不需要掃描整個數(shù)據(jù)表。

顯然，分析的需求會對所生成查詢的類型產(chǎn)生重大影響；同時，可用的存儲方法和數(shù)據(jù)訪問路徑將會影響查詢性能。最明顯的結(jié)論是IT支持人員必須與分析人員緊密協(xié)作，定期開會一起審查報表需求和文檔可行的數(shù)據(jù)訪問策略。此外，IT人員還應(yīng)該開發(fā)一種捕捉所有已提交查詢的方法，這樣通過對它們分析就可能得到通用模式。

小結(jié)

為了避免大數(shù)據(jù)應(yīng)用程序潛在的性能問題，IT人員應(yīng)該主動與分析人員協(xié)調(diào)，收集數(shù)據(jù)訪問指標(biāo)。在技術(shù)方面，要用文檔記錄數(shù)據(jù)提取、轉(zhuǎn)換和加載流程，確定有一些方法可以提升數(shù)據(jù)查詢速度或處理更大的數(shù)據(jù)容量。要考慮凈化過時數(shù)據(jù)，并且確定是否有一些提升數(shù)據(jù)性能的通用手段，如分區(qū)或索引會很有效。

開發(fā)一個用戶庫概要。用戶數(shù)量有多少，他們創(chuàng)建查詢的技術(shù)水平有多高，以及他們提交查詢的頻率有多快？這些數(shù)據(jù)在將來是否會繼續(xù)增長？

捕捉用戶查詢，執(zhí)行解釋流程，然后保存訪問路徑。要用這些數(shù)據(jù)去分析性能問題和趨勢。

要監(jiān)控用于支持大數(shù)據(jù)應(yīng)用程序的系統(tǒng)資源。預(yù)報趨勢，特別是那些已經(jīng)或可能會成為約束的資源。在這些情況下，要使用現(xiàn)有資源開發(fā)一些方法，抵消其中一些約束。

最后，要定期與業(yè)務(wù)分析人員會面，討論你得到的結(jié)果和將來可能的變化。這種交流和協(xié)調(diào)是與用戶保持良好關(guān)系的重要條件。