選擇合適技術(shù)進行大數(shù)據(jù)分析_數(shù)據(jù)分析師考試

大數(shù)據(jù)的能量和其為企業(yè)帶來的競爭力優(yōu)勢已經(jīng)逐漸顯現(xiàn)，現(xiàn)在大數(shù)據(jù)已經(jīng)成為商業(yè)智能、分析和數(shù)據(jù)管理市場領域中討論度最高的話題之一，當然也是最熱門的流行語之一。此外，企業(yè)已經(jīng)看到了將大數(shù)據(jù)與云計算綁定所帶來的好處。云計算提供可擴展性，使得其成為大數(shù)據(jù)分析的實踐之車。

　　對于企業(yè)而言，大數(shù)據(jù)不僅是個熱門話題，更是真切的需求所在。許多企業(yè)開始著手于大數(shù)據(jù)分析項目，但是現(xiàn)在，越來越多的企業(yè)存儲的信息量就算不是PB級，起碼也有TB量級。這些企業(yè)可能希望每天能分析幾次關(guān)鍵數(shù)據(jù)，甚至是實現(xiàn)實時分析;而傳統(tǒng)BI流程對歷史數(shù)據(jù)進行分析的頻率是以周或月為單位的。

　　此外，越來越多復雜查詢的處理帶來了各種不同的數(shù)據(jù)集，其中有可能包含來自企業(yè)資源計劃(ERP)系統(tǒng)和客戶關(guān)系管理(CRM)系統(tǒng)交易數(shù)據(jù)、社交媒介和地理空間數(shù)據(jù)，還有內(nèi)部文檔和其它格式信息等等。

　　要進行大數(shù)據(jù)分析，選擇合適的技術(shù)是規(guī)劃的第一部分，企業(yè)選擇了數(shù)據(jù)庫軟件、分析工具以及相關(guān)的技術(shù)架構(gòu)后，才可以進行下一步并開發(fā)一個真正成功的大數(shù)據(jù)平臺。技術(shù)供應商處理這些需求的方式是多種多樣的。許多數(shù)據(jù)庫和數(shù)據(jù)倉庫供應商都在關(guān)注及時處理大量復雜數(shù)據(jù)的能力。有的用列式數(shù)據(jù)存儲來實現(xiàn)更快速的查詢，有的提供內(nèi)建的查詢優(yōu)化器，有的增加對Hadoop和MapReduce這類開源技術(shù)的支持功能。

　　內(nèi)存分析工具可能對分析處理速度的提升有所幫助，因為它能減少磁盤數(shù)據(jù)轉(zhuǎn)換的需求;而數(shù)據(jù)虛擬化軟件和其它實時數(shù)據(jù)集成技術(shù)可對運行中不同數(shù)據(jù)源的信息進行收集。對于垂直市場而言，現(xiàn)成的分析應用程序都是專門為其定制的，因為諸如電信、金融服務和網(wǎng)絡游戲這些行業(yè)都必須處理大數(shù)據(jù)。當公司管理人員和業(yè)務經(jīng)理需要查看大數(shù)據(jù)分析查詢結(jié)果時，數(shù)據(jù)可視化工具可以簡化其流程。

　　企業(yè)在在制定實施方案、對大數(shù)據(jù)基礎設施進行選型之前，還需要考慮一些問題，比如數(shù)據(jù)及時性，因為并不是所有數(shù)據(jù)庫都支持實時數(shù)據(jù)可用性。各種數(shù)據(jù)源需要與數(shù)據(jù)關(guān)聯(lián)性和業(yè)務規(guī)則復雜度進行鏈接，以獲得一個包含企業(yè)績效、銷售機會、客戶行為、風險因素和其它業(yè)務指標的全面視圖。由于分析的需要，歷史數(shù)據(jù)的數(shù)量也需考慮在內(nèi)。如果我們需要五年的數(shù)據(jù)，而一個數(shù)據(jù)源只包含兩年的信息，那么該怎么辦呢？然，這些因素并不能從根本上影響需求的規(guī)劃，但是它們可以幫助企業(yè)部署大數(shù)據(jù)分析系統(tǒng)、選擇最為合適的技術(shù)。

　　大數(shù)據(jù)正在以穩(wěn)定的步伐滲透到各行各業(yè)，未來我們的生活中大數(shù)據(jù)的應用會越來越多，而對于企業(yè)而言，其整個企業(yè)的信息質(zhì)量會變得更好，而且信息能夠更高效的得到利用。