如何選擇大數(shù)據(jù)分析項目技術(shù)

"大數(shù)據(jù)"已經(jīng)成為商業(yè)智能（BI）、分析和數(shù)據(jù)管理市場領(lǐng)域中討論度最高的話題之一，當(dāng)然也是最熱門的流行語之一。越來越多的企業(yè)開始關(guān)注BI和分析供應(yīng)商，希望可以解決大數(shù)據(jù)環(huán)境中的業(yè)務(wù)問題。不幸的是，要在大數(shù)據(jù)中獲得可見性是說起來容易做起來難。而且，隨著供應(yīng)商不斷攻破大數(shù)據(jù)分析項目的各種難題，投放到市場的產(chǎn)品種類越來越繁多，企業(yè)要想選擇最能滿足他們需求的一款產(chǎn)品也相當(dāng)不易。
　　那么，到底什么才是真正的大數(shù)據(jù)呢？最近，IT電子雜志eWeek的一篇報道對大數(shù)據(jù)做了如下定義（其中部分參考了Gartner公司對這一提法的定義）："大數(shù)據(jù)指結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)跨網(wǎng)絡(luò)傳輸?shù)教幚砥骱痛鎯υO(shè)備的數(shù)量、種類和速度，以及這些數(shù)據(jù)轉(zhuǎn)化為企業(yè)業(yè)務(wù)建議的過程。"
　　這樣說來大數(shù)據(jù)就等于數(shù)據(jù)管理和數(shù)據(jù)分析，漏掉了關(guān)于大數(shù)據(jù)所面臨的業(yè)務(wù)挑戰(zhàn)中很重要的一個方面--復(fù)雜度。例如，大數(shù)據(jù)部署經(jīng)常涉及到各方面信息，包括來自社交媒體網(wǎng)絡(luò)、電子郵件、傳感器、Web活動日志以及其它數(shù)據(jù)源的信息等，這些數(shù)據(jù)很可能與傳統(tǒng)的數(shù)據(jù)倉庫系統(tǒng)不兼容。
　　在許多情況下，所有分離的數(shù)據(jù)都需要整合，以便在更廣泛的層面上產(chǎn)生影響。這可能對業(yè)務(wù)規(guī)則、表連接和大數(shù)據(jù)分析系統(tǒng)的其它組件關(guān)系重大。在考慮存儲和查詢管理的時候，大數(shù)據(jù)由于其復(fù)雜度，與傳統(tǒng)數(shù)據(jù)完全不同；正因為如此，分析數(shù)據(jù)庫和數(shù)據(jù)分析軟件供應(yīng)商不得不加快腳步幫助公司處理大數(shù)據(jù)問題。
　　理解大數(shù)據(jù)是評估技術(shù)需求和實施大數(shù)據(jù)分析規(guī)劃的第一步，然后根據(jù)日益龐大和多樣化的數(shù)據(jù)集，理解市場、理解企業(yè)在實現(xiàn)商業(yè)價值與發(fā)揮競爭優(yōu)勢中所遇到的阻礙因素。
　　大數(shù)據(jù)分析項目的重大議程
　　當(dāng)然，許多企業(yè)一直擁有大數(shù)據(jù)集。但是現(xiàn)在，越來越多的企業(yè)存儲的信息量就算不是PB級，起碼也有TB量級。此外，他們希望每天能分析幾次關(guān)鍵數(shù)據(jù)，甚至是實時分析；而傳統(tǒng)BI流程對歷史數(shù)據(jù)進行分析的頻率是以周或月為單位的。越來越多復(fù)雜查詢的處理帶來了各種不同的數(shù)據(jù)集，其中有可能包含來自企業(yè)資源計劃（ERP）系統(tǒng)和客戶關(guān)系管理（CRM）系統(tǒng)交易數(shù)據(jù)、社交媒介和地理空間數(shù)據(jù)，還有內(nèi)部文檔和其它格式信息等等。越來越多的公司也會想給企業(yè)客戶提供自助服務(wù)的BI功能，讓對分析結(jié)果的理解變得容易一些。[page]
　　所有這一切都涉及到大數(shù)據(jù)分析戰(zhàn)略，而且技術(shù)供應(yīng)商處理這些需求的方式是多種多樣的。許多數(shù)據(jù)庫和數(shù)據(jù)倉庫供應(yīng)商都在關(guān)注及時處理大量復(fù)雜數(shù)據(jù)的能力。有的用列式數(shù)據(jù)存儲來實現(xiàn)更快速的查詢，有的提供內(nèi)建的查詢優(yōu)化器，有的增加對Hadoop和MapReduce這類開源技術(shù)的支持功能。
　　內(nèi)存分析工具可能對分析處理速度的提升有所幫助，因為它能減少磁盤數(shù)據(jù)轉(zhuǎn)換的需求；而數(shù)據(jù)虛擬化軟件和其它實時數(shù)據(jù)集成技術(shù)可對運行中不同數(shù)據(jù)源的信息進行收集。對于垂直市場而言，現(xiàn)成的分析應(yīng)用程序都是專門為其定制的，因為諸如電信、金融服務(wù)和網(wǎng)絡(luò)游戲這些行業(yè)都必須處理大數(shù)據(jù)。當(dāng)公司管理人員和業(yè)務(wù)經(jīng)理需要查看大數(shù)據(jù)分析查詢結(jié)果時，數(shù)據(jù)可視化工具可以簡化其流程。
　　在數(shù)據(jù)和分析需求方面符合以上分類描述的企業(yè)，在制定實施方案、對大數(shù)據(jù)基礎(chǔ)設(shè)施進行選型之前，需要考慮以下問題：
　　數(shù)據(jù)及時性（并不是所有數(shù)據(jù)庫都支持實時數(shù)據(jù)可用性）
　　各種數(shù)據(jù)源需要與數(shù)據(jù)關(guān)聯(lián)性和業(yè)務(wù)規(guī)則復(fù)雜度進行鏈接，以獲得一個包含企業(yè)績效、銷售機會、客戶行為、風(fēng)險因素和其它業(yè)務(wù)指標(biāo)的全面視圖。
　　由于分析的需要，歷史數(shù)據(jù)的數(shù)量也需考慮在內(nèi)。如果我們需要五年的數(shù)據(jù)，而一個數(shù)據(jù)源只包含兩年的信息，那么該怎么辦呢？
　　哪些技術(shù)供應(yīng)商在業(yè)內(nèi)具有大數(shù)據(jù)分析方面的經(jīng)驗？有沒有他們的業(yè)績記錄？
　　在企業(yè)內(nèi)部，不同數(shù)據(jù)入口的負責(zé)人是誰？他們在大數(shù)據(jù)分析策略中分別扮演什么角色？
　　這些因素并不能從根本上影響需求的規(guī)劃，但是它們可以幫助企業(yè)部署大數(shù)據(jù)分析系統(tǒng)、選擇最為合適的技術(shù)。