選擇合適技術(shù)進(jìn)行大數(shù)據(jù)分析_數(shù)據(jù)分析師考試

大數(shù)據(jù)的能量和其為企業(yè)帶來的競爭力優(yōu)勢已經(jīng)逐漸顯現(xiàn)，現(xiàn)在大數(shù)據(jù)已經(jīng)成為商業(yè)智能、分析和數(shù)據(jù)管理市場領(lǐng)域中討論度最高的話題之一，當(dāng)然也是最熱門的流行語之一。此外，企業(yè)已經(jīng)看到了將大數(shù)據(jù)與云計(jì)算綁定所帶來的好處。云計(jì)算提供可擴(kuò)展性，使得其成為大數(shù)據(jù)分析的實(shí)踐之車。

　　對于企業(yè)而言，大數(shù)據(jù)不僅是個(gè)熱門話題，更是真切的需求所在。許多企業(yè)開始著手于大數(shù)據(jù)分析項(xiàng)目，但是現(xiàn)在，越來越多的企業(yè)存儲的信息量就算不是PB級，起碼也有TB量級。這些企業(yè)可能希望每天能分析幾次關(guān)鍵數(shù)據(jù)，甚至是實(shí)現(xiàn)實(shí)時(shí)分析;而傳統(tǒng)BI流程對歷史數(shù)據(jù)進(jìn)行分析的頻率是以周或月為單位的。

　　此外，越來越多復(fù)雜查詢的處理帶來了各種不同的數(shù)據(jù)集，其中有可能包含來自企業(yè)資源計(jì)劃(ERP)系統(tǒng)和客戶關(guān)系管理(CRM)系統(tǒng)交易數(shù)據(jù)、社交媒介和地理空間數(shù)據(jù)，還有內(nèi)部文檔和其它格式信息等等。

　　要進(jìn)行大數(shù)據(jù)分析，選擇合適的技術(shù)是規(guī)劃的第一部分，企業(yè)選擇了數(shù)據(jù)庫軟件、分析工具以及相關(guān)的技術(shù)架構(gòu)后，才可以進(jìn)行下一步并開發(fā)一個(gè)真正成功的大數(shù)據(jù)平臺。技術(shù)供應(yīng)商處理這些需求的方式是多種多樣的。許多數(shù)據(jù)庫和數(shù)據(jù)倉庫供應(yīng)商都在關(guān)注及時(shí)處理大量復(fù)雜數(shù)據(jù)的能力。有的用列式數(shù)據(jù)存儲來實(shí)現(xiàn)更快速的查詢，有的提供內(nèi)建的查詢優(yōu)化器，有的增加對Hadoop和MapReduce這類開源技術(shù)的支持功能。

　　內(nèi)存分析工具可能對分析處理速度的提升有所幫助，因?yàn)樗軠p少磁盤數(shù)據(jù)轉(zhuǎn)換的需求;而數(shù)據(jù)虛擬化軟件和其它實(shí)時(shí)數(shù)據(jù)集成技術(shù)可對運(yùn)行中不同數(shù)據(jù)源的信息進(jìn)行收集。對于垂直市場而言，現(xiàn)成的分析應(yīng)用程序都是專門為其定制的，因?yàn)橹T如電信、金融服務(wù)和網(wǎng)絡(luò)游戲這些行業(yè)都必須處理大數(shù)據(jù)。當(dāng)公司管理人員和業(yè)務(wù)經(jīng)理需要查看大數(shù)據(jù)分析查詢結(jié)果時(shí)，數(shù)據(jù)可視化工具可以簡化其流程。

　　企業(yè)在在制定實(shí)施方案、對大數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行選型之前，還需要考慮一些問題，比如數(shù)據(jù)及時(shí)性，因?yàn)椴⒉皇撬袛?shù)據(jù)庫都支持實(shí)時(shí)數(shù)據(jù)可用性。各種數(shù)據(jù)源需要與數(shù)據(jù)關(guān)聯(lián)性和業(yè)務(wù)規(guī)則復(fù)雜度進(jìn)行鏈接，以獲得一個(gè)包含企業(yè)績效、銷售機(jī)會、客戶行為、風(fēng)險(xiǎn)因素和其它業(yè)務(wù)指標(biāo)的全面視圖。由于分析的需要，歷史數(shù)據(jù)的數(shù)量也需考慮在內(nèi)。如果我們需要五年的數(shù)據(jù)，而一個(gè)數(shù)據(jù)源只包含兩年的信息，那么該怎么辦呢？然，這些因素并不能從根本上影響需求的規(guī)劃，但是它們可以幫助企業(yè)部署大數(shù)據(jù)分析系統(tǒng)、選擇最為合適的技術(shù)。

　　大數(shù)據(jù)正在以穩(wěn)定的步伐滲透到各行各業(yè)，未來我們的生活中大數(shù)據(jù)的應(yīng)用會越來越多，而對于企業(yè)而言，其整個(gè)企業(yè)的信息質(zhì)量會變得更好，而且信息能夠更高效的得到利用。