盤(pán)點(diǎn)大數(shù)據(jù)分析的十二大殺手锏_數(shù)據(jù)分析師

當(dāng)數(shù)據(jù)以成百上千TB不斷增長(zhǎng)的時(shí)候，我們需要一種獨(dú)特技術(shù)來(lái)應(yīng)對(duì)這種前所未有的挑戰(zhàn)。

　　大數(shù)據(jù)分析迎來(lái)大時(shí)代

　　全球各行各業(yè)的組織機(jī)構(gòu)已經(jīng)意識(shí)到，最準(zhǔn)確的商務(wù)決策來(lái)自于事實(shí)，而不是憑空臆想。這也就意味著，他們需要在內(nèi)部交易系統(tǒng)的歷史信息之外，采用基于數(shù)據(jù)分析的決策模型和技術(shù)支持?；ヂ?lián)網(wǎng)點(diǎn)擊數(shù)據(jù)、傳感數(shù)據(jù)、日志文件、具有豐富地理空間信息的移動(dòng)數(shù)據(jù)和涉及網(wǎng)絡(luò)的各類評(píng)論，成為了海量信息的多種形式。

　　極具挑戰(zhàn)性的是，傳統(tǒng)的數(shù)據(jù)庫(kù)部署不能處理數(shù)TB數(shù)據(jù)，也不能很好的支持高級(jí)別的數(shù)據(jù)分析。在過(guò)去十幾年中，大規(guī)模并行處理（MPP）平臺(tái)和列存儲(chǔ)數(shù)據(jù)庫(kù)開(kāi)啟了新一輪數(shù)據(jù)分析史上的革命。而且近年來(lái)技術(shù)不斷發(fā)展，我們開(kāi)始看到，技術(shù)升級(jí)帶來(lái)的已知架構(gòu)之間的界限變得更加模糊。更為重要的是，開(kāi)始逐步出現(xiàn)了處理半結(jié)構(gòu)化和非結(jié)構(gòu)化信息的NoSQL等平臺(tái)。

　　本文中，我們將向大家介紹迄今為止，包括EMC的Greenplum、Hadoop和MapReduce等提供大數(shù)據(jù)分析的產(chǎn)品。此外，惠普前段時(shí)間收購(gòu)實(shí)時(shí)分析平臺(tái)Vertica、IBM獨(dú)立的基于DB2智能分析系統(tǒng)和Netezza的相關(guān)產(chǎn)品。當(dāng)然，也有微軟的Parallel Data  Warehouse、SAP旗下公司Sybase的Sybase IQ數(shù)據(jù)倉(cāng)庫(kù)分析工具等。下面，就讓我們來(lái)了解業(yè)界大數(shù)據(jù)分析的這十二大產(chǎn)品：

　　1、模塊化EMC Appliance處理多種數(shù)據(jù)類型

　　2010年EMC收購(gòu)了Greenplum，隨后，利用EMC自身存儲(chǔ)硬件和支持復(fù)制與備份功能的Greenplum大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)，推出了EMC Greenplum Data Computing Appliance (DCA)。通過(guò)與SAS和MapR等合作伙伴，DCA擴(kuò)大了對(duì)Greenplum的數(shù)據(jù)庫(kù)支持 。

　　今年5月，EMC推出了自己的Hadoop軟件工具，而且該公司還承諾，今年秋季發(fā)布的模塊化DCA將支持Greenplum SQL/關(guān)系型數(shù)據(jù)庫(kù)，Hadoop部署也能在同樣的設(shè)備上得到支持。借助Hadoop，EMC能夠解決諸如網(wǎng)絡(luò)點(diǎn)擊數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)等真正大數(shù)據(jù)分析的困難。模塊化的DCA也能夠在同樣的設(shè)備上支持長(zhǎng)期保留的高容量的存儲(chǔ)模塊，從而滿足監(jiān)測(cè)需求。

2、Hadoop和MapReduce提煉大數(shù)據(jù)

　　Hadoop是一個(gè)開(kāi)放源碼的分布式數(shù)據(jù)處理系統(tǒng)架構(gòu)，主要面向存儲(chǔ)和處理結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化、真正意義上的大數(shù)據(jù)（通常成百上千的TB甚至PB級(jí)別數(shù)據(jù)）應(yīng)用。網(wǎng)絡(luò)點(diǎn)擊和社交媒體分析應(yīng)用，正在極大地推動(dòng)應(yīng)用需求。Hadoop提供的MapReduce（和其他一些環(huán)境）是處理大數(shù)據(jù)集理想解決方案。

　　MapReduce能將大數(shù)據(jù)問(wèn)題分解成多個(gè)子問(wèn)題，將它們分配到成百上千個(gè)處理節(jié)點(diǎn)之上，然后將結(jié)果匯集到一個(gè)小數(shù)據(jù)集當(dāng)中，從而更容易分析得出最后的結(jié)果。

　　Hadoop可以運(yùn)行在低成本的硬件產(chǎn)品之上，通過(guò)擴(kuò)展可以成為商業(yè)存儲(chǔ)和數(shù)據(jù)分析的替代方案。它已經(jīng)成為很多互聯(lián)網(wǎng)巨頭，比如AOL、eHarmony（美國(guó)在線約會(huì)網(wǎng)站）、易趣、Facebook、Twitter和Netflix大數(shù)據(jù)分析的主要解決方案。也有更多傳統(tǒng)的巨頭公司比如摩根大通銀行，也正在考慮采用這一解決方案。

　　3、惠普Vertica電子商務(wù)分析

　　今年二月被惠普收購(gòu)的Vertica，是能提供高效數(shù)據(jù)存儲(chǔ)和快速查詢的列存儲(chǔ)數(shù)據(jù)庫(kù)實(shí)時(shí)分析平臺(tái)。相比傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，更低的維護(hù)和運(yùn)營(yíng)成本，就可以獲得更快速的部署、運(yùn)行和維護(hù)。該數(shù)據(jù)庫(kù)還支持大規(guī)模并行處理（MPP）。在收購(gòu)之后，惠普隨即推出了基于x86硬件的HP Vertica。通過(guò)MPP的擴(kuò)展性可以讓Vertica為高端數(shù)字營(yíng)銷、電子商務(wù)客戶（比如AOL、Twitter、 Groupon）分析處理的數(shù)據(jù)達(dá)到PB級(jí)

　　其實(shí)，早在惠普收購(gòu)之前，Vertica就推出有包括內(nèi)存、閃存快速分析等一系列創(chuàng)新產(chǎn)品。它是首個(gè)新增Hadoop鏈接支持客戶管理關(guān)系型數(shù)據(jù)的產(chǎn)品之一，也是首個(gè)基于云部署風(fēng)險(xiǎn)的產(chǎn)品平臺(tái)之一。目前，Vertica支持惠普的云服務(wù)自動(dòng)化解決方案。

4、IBM提供運(yùn)維和分析數(shù)據(jù)倉(cāng)庫(kù)

　　去年，IBM推出了基于DB2的Smart Analytic System（圖中左側(cè)），那么它為何還要收購(gòu)另外的Netezza方案平臺(tái)呢？因?yàn)榍罢呤蔷邆涓邤U(kuò)展性企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的平臺(tái)，可以支持成千上萬(wàn)的用戶和各類應(yīng)用操作。比如，呼叫中心通常擁有大量的雇員需要快速回?fù)芸蛻舻臍v史通話記錄。Smart Analytic System提供了整合信息的DB2數(shù)據(jù)庫(kù)，預(yù)配置Cognos BI軟件模塊，可以在IBM Power System（RISC或者X86架構(gòu)）上運(yùn)行。

　　Netezza致力于為數(shù)字化營(yíng)銷公司、電信、和其他挖掘成百上千TB甚至PB級(jí)別數(shù)據(jù)的公司，提供高可擴(kuò)展分析應(yīng)用的解決方案。IBM的Netezza TwinFin數(shù)據(jù)倉(cāng)庫(kù)設(shè)備，支持大規(guī)模并行處理，可以在一天時(shí)間內(nèi)部署完畢。Netezza支持多種語(yǔ)言和方式進(jìn)行數(shù)據(jù)庫(kù)分析，其中包括Java、C、C++、Python和MapReduce。與此同時(shí)，它還支持如SAS，IBM SPSS使用的矩陣操作方法和R編程語(yǔ)言。IBM Netezza最近增加了一個(gè)高容量長(zhǎng)期存檔設(shè)備以滿足更多要求。

　　5、Infobright減少DBA工作量和查詢時(shí)間

　　Infobright列存儲(chǔ)數(shù)據(jù)庫(kù)，旨在為數(shù)十TB級(jí)別數(shù)據(jù)提供各類分析服務(wù)。而這一塊也正是甲骨文和微軟SQL Server的核心市場(chǎng)之一。InfoBright還表示，建立在MySQL基礎(chǔ)之上的數(shù)據(jù)庫(kù)也提供了另外一種選擇，它專門(mén)針對(duì)分析應(yīng)用、低成本簡(jiǎn)化勞動(dòng)力工作、交付高性能的服務(wù)進(jìn)行設(shè)計(jì)。

　　列存儲(chǔ)數(shù)據(jù)庫(kù)能夠自動(dòng)創(chuàng)建索引，而且無(wú)需進(jìn)行數(shù)據(jù)分區(qū)和DBA調(diào)整。相比傳統(tǒng)數(shù)據(jù)庫(kù)，它可以減少90%的人工工作量，而且由 于其采用高數(shù)據(jù)壓縮，在數(shù)據(jù)庫(kù)許可和存儲(chǔ)等方面的開(kāi)支也可以減少一半。

　　InfoBright最新的4.0版本產(chǎn)品，新增了一個(gè)DomainExpert的功能。企業(yè)用戶可以借此忽略不斷重復(fù)的那些數(shù)據(jù)，比如郵箱地址 、URL和IP地址。與此同時(shí)，公司還可以增加與呼叫記錄、業(yè)務(wù)交易或者地理位置信息相關(guān)的數(shù)據(jù)。Kowledge Grid查詢引擎則可以幫助過(guò)濾那些靜態(tài)數(shù)據(jù)而只關(guān)注那些變化的數(shù)據(jù)。也就是說(shuō)，它可以幫助節(jié)省數(shù)據(jù)查詢的時(shí)間，因?yàn)槟切o(wú)關(guān)的數(shù)據(jù)無(wú)需進(jìn)行解壓縮和篩選。

6、Kognitio提供三倍速度和虛擬多維數(shù)據(jù)集

　　Kognitio是一家本身不生產(chǎn)硬件產(chǎn)品的數(shù)據(jù)庫(kù)廠商，它看到了客戶對(duì)快速部署的廣泛興趣和市場(chǎng)需求，推出了在惠普、IBM硬件產(chǎn)品上預(yù)配置有WX2數(shù)據(jù)庫(kù)的Lakes、Rivers和Rapids解決方案。

　　Lakes能夠以低成本、10TB數(shù)據(jù)存儲(chǔ)和每個(gè)模塊48個(gè)運(yùn)算核心提供大容量存儲(chǔ)服務(wù)。電信或金融服務(wù)公司，可以使用這種配置來(lái)掃描大量的分支結(jié)構(gòu)的各種信息記錄。Rivers則提供了容量和速度之間的平衡，預(yù)配置為2.5TB存儲(chǔ)容量，它的每個(gè)模塊擁有48個(gè)運(yùn)算核心。而追求查詢性能的Rapids，其預(yù)配置提供有96個(gè)運(yùn)算核心，每個(gè)模塊僅僅為1.5TB。該產(chǎn)品方案主要針對(duì)金融公司在算法交易或者其他高性能要求方面的需求。

　　今年， Kognitio新增了一個(gè)虛擬化OLAP風(fēng)格的Pablo分析引擎。它提供了靈活的、為企業(yè)用戶進(jìn)行分析的解決方案。用戶可升級(jí)選用WX2構(gòu)建一個(gè)虛擬多維數(shù)據(jù)集。因此，WX2數(shù)據(jù)庫(kù)中任何一個(gè)維度的數(shù)據(jù)都可在內(nèi)存中用于快速分析。這種分析的前端接口是我們常見(jiàn)的Microsoft Excel。

　　7、微軟SQL Server新增PDW功能

　　今年年初微軟發(fā)布的SQL Server R2 Parallel Data Warehouse（PDW，并行數(shù)據(jù)倉(cāng)庫(kù)），一改以往SQL Server部署時(shí)間需要花 費(fèi)兩年半時(shí)間的歷史，它可以幫助客戶擴(kuò)展部署數(shù)百TB級(jí)別數(shù)據(jù)的分析解決方案。支持這一產(chǎn)品的包括有合作伙伴惠普的硬件平臺(tái)。發(fā)布之初，雖然微軟官網(wǎng)提供有讓利折扣，但PDW售價(jià)仍超過(guò)13000美元/TB（用戶和硬件訪問(wèn)量）。

　　和很多產(chǎn)品一樣，PDW使用了大規(guī)模并行處理來(lái)支持高擴(kuò)展性，但微軟進(jìn)入這一市場(chǎng)實(shí)屬“姍姍來(lái)遲”，而且在一定程度上說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)分析和內(nèi)存分析計(jì)算市場(chǎng)落下了后腿。目前，微軟寄希望于其整體數(shù)據(jù)庫(kù)平臺(tái)在市場(chǎng)上帶來(lái)的差異化競(jìng)爭(zhēng)力。這意味著，所有沿襲了基于微軟平臺(tái)的數(shù)據(jù)和數(shù)據(jù)管理，將被廣泛應(yīng)用在信息集成領(lǐng)域――Reporting and Analysis Services，而這一切都基于SQL Server數(shù)據(jù)庫(kù)。

　　微軟在今年10月12日通過(guò)推出Apache Hadoop和相關(guān)的SQL Azure Hadoop服務(wù)，宣布進(jìn)入大數(shù)據(jù)領(lǐng)域。Azure服務(wù)將在2011年底亮相，而相應(yīng)的本地配套軟件要在明年上半年推出，現(xiàn)在也不清楚微軟是否會(huì)與其他硬件合作伙伴或者相關(guān)大數(shù)據(jù)設(shè)備廠商合作。

8、甲骨文講述Engineered Systems的故事

　　甲骨文表示，Exadata（圖中左側(cè)）是迄今以來(lái)發(fā)布的產(chǎn)品中最為成功的產(chǎn)品，自從2008年推出以來(lái)，已經(jīng)擁有超過(guò)1000名客戶。而engineered system使得甲骨文11g數(shù)據(jù)庫(kù)，可以支持基于X86的數(shù)據(jù)處理和磁盤(pán)存儲(chǔ)層，其閃存緩存也使得可以實(shí)現(xiàn)超快速查詢處理。

    它既可應(yīng)用在任意事務(wù)環(huán)境中，也可以應(yīng)用在數(shù)據(jù)倉(cāng)庫(kù)（但不能同時(shí)進(jìn)行）。Exadata的混合柱狀壓縮能夠?qū)崿F(xiàn)列存儲(chǔ)數(shù)據(jù)庫(kù)的某些高效率特點(diǎn)，提供高達(dá)10:1的壓縮比，而大部分行存儲(chǔ)數(shù)據(jù)庫(kù)的平均壓縮比為4:1。

　　甲骨文在9月通過(guò)宣布Oracle SuperCluster（圖中右側(cè)），擴(kuò)展了engineered systems產(chǎn)品家族。它采用了最新的Sun Sparc T-4芯片。SuperCluster支持全機(jī)架/半機(jī)架配置，而且用戶可以在半機(jī)架容量基礎(chǔ)上進(jìn)行擴(kuò)容。滿額配置提供有1200個(gè)CPU線程，4TB內(nèi)存，97TB至198TB磁盤(pán)存儲(chǔ)，8.66TB閃存。

　　甲骨文聲稱，SuperCluster事務(wù)處理和數(shù)據(jù)倉(cāng)庫(kù)性能相比傳統(tǒng)服務(wù)器架構(gòu)能分別帶來(lái)10倍和50倍速度提升。但作為一個(gè)專有的Unix機(jī)器，甲骨文想通過(guò)SuperCluster，在面向x86硬件的數(shù)據(jù)倉(cāng)庫(kù)部署遷移大潮中力挽狂瀾。甲骨文的Exadata和Exalogic都基于x86架構(gòu)而且運(yùn)行Linux系統(tǒng)。

　　在十月召開(kāi)的Oracle OpenWorld中，甲骨文宣布將新增一個(gè)分布式pache Hadoop軟件和相關(guān)的大數(shù)據(jù)設(shè)備。甲骨文也計(jì)劃推出一個(gè)獨(dú)立的基于開(kāi)源BerkeleyDB產(chǎn)品的NoSQL。

　　9、ParAccel大打列存儲(chǔ)、MPP和數(shù)據(jù)庫(kù)分析組合拳

　　ParAccel是ParAccel Analytic Database（PADB）的開(kāi)發(fā)廠商――提供快速、選擇性查詢和列存儲(chǔ)數(shù)據(jù)庫(kù)，并基于大規(guī)模并行處理優(yōu)勢(shì)特點(diǎn)的產(chǎn)品。該公式表示，其平臺(tái)支持一系列針對(duì)各種復(fù)雜、先進(jìn)應(yīng)用的工作負(fù)載報(bào)告和分析。

　　內(nèi)置的分析算法可以為分析師提供高級(jí)數(shù)學(xué)運(yùn)算、數(shù)據(jù)統(tǒng)計(jì)、和數(shù)據(jù)挖掘等各種功能，同時(shí)，它還提供一個(gè)開(kāi)放的API，可以擴(kuò)展數(shù)據(jù)庫(kù)的各種數(shù)據(jù)處理能力和第三方分析應(yīng)用。

　　Table functions被用來(lái)傳送和接收第三方和采用C、C++等編寫(xiě)的定制算法的數(shù)據(jù)結(jié)果。ParAccel與Fuzzy Logix――一家提供各種描述統(tǒng)計(jì)學(xué)、統(tǒng)計(jì)實(shí)驗(yàn)?zāi)M和模式識(shí)別功能庫(kù)功能的服務(wù)商。此外， Table functions還支持MapReduce和廣泛應(yīng)用在金融服務(wù)的700多種分析技術(shù)。

10、Sybase推進(jìn)IQ列存儲(chǔ)數(shù)據(jù)庫(kù)

　　SAP旗下的Sybase是列存儲(chǔ)數(shù)據(jù)庫(kù)管理系統(tǒng)的首批廠商，而且目前仍然是擁有2000多個(gè)客戶的暢銷廠商。今年夏天推出了Sybase IQ 15.3版本，該版本產(chǎn)品能夠處理更多數(shù)據(jù)和更多數(shù)據(jù)類型，也能勝任更多查詢，當(dāng)然這主要得益于其包含了一個(gè)名叫PlexQ 的大規(guī)模并行處理功能。

　　基于MPP大規(guī)模并行處理的PlexQ分布式查詢平臺(tái)，通過(guò)將任務(wù)分散到網(wǎng)格配置中的多臺(tái)計(jì)算機(jī)，加速了高度復(fù)雜的查詢。有報(bào)道說(shuō)，它能提供比現(xiàn)有的IQ部署快12倍的交付能力。

　　為了支持不同的分析，15.3版本的產(chǎn)品增加了分布式處理功能，來(lái)執(zhí)行PlexQ網(wǎng)格中跨CPU的查詢服務(wù)。為了確保實(shí)現(xiàn)最快速度的查詢，PlexQ包含了一個(gè)邏輯服務(wù)器――讓管理員對(duì)PlexQ網(wǎng)格的物理服務(wù)器組成虛擬群集，以便優(yōu)化分析工作負(fù)載、用戶需求和應(yīng)用程序。

　　Sybase IQ和其他大多數(shù)的支持MPP功能的產(chǎn)品之間區(qū)別主要在于，它采用了全共享的方式。全共享的缺點(diǎn)是CPU會(huì)爭(zhēng)相訪問(wèn)共享存儲(chǔ)（通常是SAN），而這會(huì)降低查詢性能。不過(guò)Sybase堅(jiān)持認(rèn)為，從優(yōu)化查詢的角度來(lái)說(shuō)全共享會(huì)更加靈活，因?yàn)樗械腃PU 都會(huì)訪問(wèn)所有的數(shù)據(jù)。所以，我們可以對(duì)某個(gè)特定的查詢盡可能多（或者少）地分配計(jì)算資源。

　　11、Teradata從EDWs跨入大規(guī)模分析領(lǐng)域

　　一旦成為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)（EDW）的宣傳者，近年來(lái)Teradata就已經(jīng)放松了擴(kuò)展Teradata數(shù)據(jù)庫(kù)產(chǎn)品家族的步伐。該公司的高性能、高容量產(chǎn)品被廣泛采用和復(fù)制，因?yàn)槠渲邪撕芏嗥髽I(yè)工作量管理的功能模塊，包括虛擬OLAP（三維立體式）分析模型 。

　　Teradata在數(shù)據(jù)庫(kù)分析領(lǐng)域不斷推陳出新，但在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒(méi)有很大成果。這也就是為什么該公司要收購(gòu)Aster Data――一家提供SQL-MapReduce框架的公司。MapReduce處理?yè)碛袕V泛的市場(chǎng)需求，因?yàn)榇嬖谥罅康幕ヂ?lián)網(wǎng)點(diǎn)擊數(shù)據(jù)、傳感數(shù)據(jù)和社交媒體內(nèi)容。

　　Teradata日前宣布了一項(xiàng)Aster Data MapReduce產(chǎn)品的計(jì)劃，它建立在以往產(chǎn)品同樣的硬件平臺(tái)之上，而且在Teradata和Aster Data之間新增了兩種集成方法。通過(guò)收購(gòu)，Teradata打破了在數(shù)據(jù)倉(cāng)儲(chǔ)業(yè)被認(rèn)為最廣泛、最具擴(kuò)展性的界限。

12、1010data提供基于云計(jì)算大數(shù)據(jù)分析

　　正如標(biāo)題所說(shuō)，1010data能夠提供基于云計(jì)算的大數(shù)據(jù)分析平臺(tái)。很大數(shù)據(jù)庫(kù)平臺(tái)供應(yīng)商提供基于云的沙箱測(cè)試和開(kāi)發(fā)環(huán)境， 但1010data的管理數(shù)據(jù)庫(kù)服務(wù)，主要針對(duì)將整個(gè)工作負(fù)載遷移到云的全過(guò)程。

　　該服務(wù)支持一種提供“豐富而又高級(jí)的內(nèi)置分析功能”，其中包括有預(yù)測(cè)分析。其一大賣點(diǎn)是服務(wù)包括了數(shù)據(jù)建模和設(shè)計(jì)、信息集成和數(shù)據(jù)轉(zhuǎn)換。

　　其客戶包括有對(duì)沖基金、全球各大銀行、證券交易商，零售商和包裝消費(fèi)品公司。

　　何謂大數(shù)據(jù)？

　　大數(shù)據(jù)，也就是國(guó)外常說(shuō)的Big Data。IBM把大數(shù)據(jù)概括成了三個(gè)V，即大量化（Volume）、多樣化（Variety）和快速化（Velocity）。這些特點(diǎn)也反映了大數(shù)據(jù)所潛藏的價(jià)值（Value），我們也可以認(rèn)為，四個(gè)V高度概括了大數(shù)據(jù)的基本特征。

　　業(yè)界比較一致對(duì)大數(shù)據(jù)的定義是：大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。