盤點(diǎn)大數(shù)據(jù)分析的十二大殺手锏_數(shù)據(jù)分析師

當(dāng)數(shù)據(jù)以成百上千TB不斷增長的時(shí)候，我們需要一種獨(dú)特技術(shù)來應(yīng)對這種前所未有的挑戰(zhàn)。

　　大數(shù)據(jù)分析迎來大時(shí)代

　　全球各行各業(yè)的組織機(jī)構(gòu)已經(jīng)意識到，最準(zhǔn)確的商務(wù)決策來自于事實(shí)，而不是憑空臆想。這也就意味著，他們需要在內(nèi)部交易系統(tǒng)的歷史信息之外，采用基于數(shù)據(jù)分析的決策模型和技術(shù)支持?；ヂ?lián)網(wǎng)點(diǎn)擊數(shù)據(jù)、傳感數(shù)據(jù)、日志文件、具有豐富地理空間信息的移動數(shù)據(jù)和涉及網(wǎng)絡(luò)的各類評論，成為了海量信息的多種形式。

　　極具挑戰(zhàn)性的是，傳統(tǒng)的數(shù)據(jù)庫部署不能處理數(shù)TB數(shù)據(jù)，也不能很好的支持高級別的數(shù)據(jù)分析。在過去十幾年中，大規(guī)模并行處理（MPP）平臺和列存儲數(shù)據(jù)庫開啟了新一輪數(shù)據(jù)分析史上的革命。而且近年來技術(shù)不斷發(fā)展，我們開始看到，技術(shù)升級帶來的已知架構(gòu)之間的界限變得更加模糊。更為重要的是，開始逐步出現(xiàn)了處理半結(jié)構(gòu)化和非結(jié)構(gòu)化信息的NoSQL等平臺。

　　本文中，我們將向大家介紹迄今為止，包括EMC的Greenplum、Hadoop和MapReduce等提供大數(shù)據(jù)分析的產(chǎn)品。此外，惠普前段時(shí)間收購實(shí)時(shí)分析平臺Vertica、IBM獨(dú)立的基于DB2智能分析系統(tǒng)和Netezza的相關(guān)產(chǎn)品。當(dāng)然，也有微軟的Parallel Data  Warehouse、SAP旗下公司Sybase的Sybase IQ數(shù)據(jù)倉庫分析工具等。下面，就讓我們來了解業(yè)界大數(shù)據(jù)分析的這十二大產(chǎn)品：

　　1、模塊化EMC Appliance處理多種數(shù)據(jù)類型

　　2010年EMC收購了Greenplum，隨后，利用EMC自身存儲硬件和支持復(fù)制與備份功能的Greenplum大規(guī)模并行處理（MPP）數(shù)據(jù)庫，推出了EMC Greenplum Data Computing Appliance (DCA)。通過與SAS和MapR等合作伙伴，DCA擴(kuò)大了對Greenplum的數(shù)據(jù)庫支持 。

　　今年5月，EMC推出了自己的Hadoop軟件工具，而且該公司還承諾，今年秋季發(fā)布的模塊化DCA將支持Greenplum SQL/關(guān)系型數(shù)據(jù)庫，Hadoop部署也能在同樣的設(shè)備上得到支持。借助Hadoop，EMC能夠解決諸如網(wǎng)絡(luò)點(diǎn)擊數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)等真正大數(shù)據(jù)分析的困難。模塊化的DCA也能夠在同樣的設(shè)備上支持長期保留的高容量的存儲模塊，從而滿足監(jiān)測需求。

2、Hadoop和MapReduce提煉大數(shù)據(jù)

　　Hadoop是一個(gè)開放源碼的分布式數(shù)據(jù)處理系統(tǒng)架構(gòu)，主要面向存儲和處理結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化、真正意義上的大數(shù)據(jù)（通常成百上千的TB甚至PB級別數(shù)據(jù)）應(yīng)用。網(wǎng)絡(luò)點(diǎn)擊和社交媒體分析應(yīng)用，正在極大地推動應(yīng)用需求。Hadoop提供的MapReduce（和其他一些環(huán)境）是處理大數(shù)據(jù)集理想解決方案。

　　MapReduce能將大數(shù)據(jù)問題分解成多個(gè)子問題，將它們分配到成百上千個(gè)處理節(jié)點(diǎn)之上，然后將結(jié)果匯集到一個(gè)小數(shù)據(jù)集當(dāng)中，從而更容易分析得出最后的結(jié)果。

　　Hadoop可以運(yùn)行在低成本的硬件產(chǎn)品之上，通過擴(kuò)展可以成為商業(yè)存儲和數(shù)據(jù)分析的替代方案。它已經(jīng)成為很多互聯(lián)網(wǎng)巨頭，比如AOL、eHarmony（美國在線約會網(wǎng)站）、易趣、Facebook、Twitter和Netflix大數(shù)據(jù)分析的主要解決方案。也有更多傳統(tǒng)的巨頭公司比如摩根大通銀行，也正在考慮采用這一解決方案。

　　3、惠普Vertica電子商務(wù)分析

　　今年二月被惠普收購的Vertica，是能提供高效數(shù)據(jù)存儲和快速查詢的列存儲數(shù)據(jù)庫實(shí)時(shí)分析平臺。相比傳統(tǒng)的關(guān)系數(shù)據(jù)庫，更低的維護(hù)和運(yùn)營成本，就可以獲得更快速的部署、運(yùn)行和維護(hù)。該數(shù)據(jù)庫還支持大規(guī)模并行處理（MPP）。在收購之后，惠普隨即推出了基于x86硬件的HP Vertica。通過MPP的擴(kuò)展性可以讓Vertica為高端數(shù)字營銷、電子商務(wù)客戶（比如AOL、Twitter、 Groupon）分析處理的數(shù)據(jù)達(dá)到PB級

　　其實(shí)，早在惠普收購之前，Vertica就推出有包括內(nèi)存、閃存快速分析等一系列創(chuàng)新產(chǎn)品。它是首個(gè)新增Hadoop鏈接支持客戶管理關(guān)系型數(shù)據(jù)的產(chǎn)品之一，也是首個(gè)基于云部署風(fēng)險(xiǎn)的產(chǎn)品平臺之一。目前，Vertica支持惠普的云服務(wù)自動化解決方案。

4、IBM提供運(yùn)維和分析數(shù)據(jù)倉庫

　　去年，IBM推出了基于DB2的Smart Analytic System（圖中左側(cè)），那么它為何還要收購另外的Netezza方案平臺呢？因?yàn)榍罢呤蔷邆涓邤U(kuò)展性企業(yè)數(shù)據(jù)倉庫的平臺，可以支持成千上萬的用戶和各類應(yīng)用操作。比如，呼叫中心通常擁有大量的雇員需要快速回?fù)芸蛻舻臍v史通話記錄。Smart Analytic System提供了整合信息的DB2數(shù)據(jù)庫，預(yù)配置Cognos BI軟件模塊，可以在IBM Power System（RISC或者X86架構(gòu)）上運(yùn)行。

　　Netezza致力于為數(shù)字化營銷公司、電信、和其他挖掘成百上千TB甚至PB級別數(shù)據(jù)的公司，提供高可擴(kuò)展分析應(yīng)用的解決方案。IBM的Netezza TwinFin數(shù)據(jù)倉庫設(shè)備，支持大規(guī)模并行處理，可以在一天時(shí)間內(nèi)部署完畢。Netezza支持多種語言和方式進(jìn)行數(shù)據(jù)庫分析，其中包括Java、C、C++、Python和MapReduce。與此同時(shí)，它還支持如SAS，IBM SPSS使用的矩陣操作方法和R編程語言。IBM Netezza最近增加了一個(gè)高容量長期存檔設(shè)備以滿足更多要求。

　　5、Infobright減少DBA工作量和查詢時(shí)間

　　Infobright列存儲數(shù)據(jù)庫，旨在為數(shù)十TB級別數(shù)據(jù)提供各類分析服務(wù)。而這一塊也正是甲骨文和微軟SQL Server的核心市場之一。InfoBright還表示，建立在MySQL基礎(chǔ)之上的數(shù)據(jù)庫也提供了另外一種選擇，它專門針對分析應(yīng)用、低成本簡化勞動力工作、交付高性能的服務(wù)進(jìn)行設(shè)計(jì)。

　　列存儲數(shù)據(jù)庫能夠自動創(chuàng)建索引，而且無需進(jìn)行數(shù)據(jù)分區(qū)和DBA調(diào)整。相比傳統(tǒng)數(shù)據(jù)庫，它可以減少90%的人工工作量，而且由 于其采用高數(shù)據(jù)壓縮，在數(shù)據(jù)庫許可和存儲等方面的開支也可以減少一半。

　　InfoBright最新的4.0版本產(chǎn)品，新增了一個(gè)DomainExpert的功能。企業(yè)用戶可以借此忽略不斷重復(fù)的那些數(shù)據(jù)，比如郵箱地址 、URL和IP地址。與此同時(shí)，公司還可以增加與呼叫記錄、業(yè)務(wù)交易或者地理位置信息相關(guān)的數(shù)據(jù)。Kowledge Grid查詢引擎則可以幫助過濾那些靜態(tài)數(shù)據(jù)而只關(guān)注那些變化的數(shù)據(jù)。也就是說，它可以幫助節(jié)省數(shù)據(jù)查詢的時(shí)間，因?yàn)槟切o關(guān)的數(shù)據(jù)無需進(jìn)行解壓縮和篩選。

6、Kognitio提供三倍速度和虛擬多維數(shù)據(jù)集

　　Kognitio是一家本身不生產(chǎn)硬件產(chǎn)品的數(shù)據(jù)庫廠商，它看到了客戶對快速部署的廣泛興趣和市場需求，推出了在惠普、IBM硬件產(chǎn)品上預(yù)配置有WX2數(shù)據(jù)庫的Lakes、Rivers和Rapids解決方案。

　　Lakes能夠以低成本、10TB數(shù)據(jù)存儲和每個(gè)模塊48個(gè)運(yùn)算核心提供大容量存儲服務(wù)。電信或金融服務(wù)公司，可以使用這種配置來掃描大量的分支結(jié)構(gòu)的各種信息記錄。Rivers則提供了容量和速度之間的平衡，預(yù)配置為2.5TB存儲容量，它的每個(gè)模塊擁有48個(gè)運(yùn)算核心。而追求查詢性能的Rapids，其預(yù)配置提供有96個(gè)運(yùn)算核心，每個(gè)模塊僅僅為1.5TB。該產(chǎn)品方案主要針對金融公司在算法交易或者其他高性能要求方面的需求。

　　今年， Kognitio新增了一個(gè)虛擬化OLAP風(fēng)格的Pablo分析引擎。它提供了靈活的、為企業(yè)用戶進(jìn)行分析的解決方案。用戶可升級選用WX2構(gòu)建一個(gè)虛擬多維數(shù)據(jù)集。因此，WX2數(shù)據(jù)庫中任何一個(gè)維度的數(shù)據(jù)都可在內(nèi)存中用于快速分析。這種分析的前端接口是我們常見的Microsoft Excel。

　　7、微軟SQL Server新增PDW功能

　　今年年初微軟發(fā)布的SQL Server R2 Parallel Data Warehouse（PDW，并行數(shù)據(jù)倉庫），一改以往SQL Server部署時(shí)間需要花 費(fèi)兩年半時(shí)間的歷史，它可以幫助客戶擴(kuò)展部署數(shù)百TB級別數(shù)據(jù)的分析解決方案。支持這一產(chǎn)品的包括有合作伙伴惠普的硬件平臺。發(fā)布之初，雖然微軟官網(wǎng)提供有讓利折扣，但PDW售價(jià)仍超過13000美元/TB（用戶和硬件訪問量）。

　　和很多產(chǎn)品一樣，PDW使用了大規(guī)模并行處理來支持高擴(kuò)展性，但微軟進(jìn)入這一市場實(shí)屬“姍姍來遲”，而且在一定程度上說，數(shù)據(jù)倉庫分析和內(nèi)存分析計(jì)算市場落下了后腿。目前，微軟寄希望于其整體數(shù)據(jù)庫平臺在市場上帶來的差異化競爭力。這意味著，所有沿襲了基于微軟平臺的數(shù)據(jù)和數(shù)據(jù)管理，將被廣泛應(yīng)用在信息集成領(lǐng)域――Reporting and Analysis Services，而這一切都基于SQL Server數(shù)據(jù)庫。

　　微軟在今年10月12日通過推出Apache Hadoop和相關(guān)的SQL Azure Hadoop服務(wù)，宣布進(jìn)入大數(shù)據(jù)領(lǐng)域。Azure服務(wù)將在2011年底亮相，而相應(yīng)的本地配套軟件要在明年上半年推出，現(xiàn)在也不清楚微軟是否會與其他硬件合作伙伴或者相關(guān)大數(shù)據(jù)設(shè)備廠商合作。

8、甲骨文講述Engineered Systems的故事

　　甲骨文表示，Exadata（圖中左側(cè)）是迄今以來發(fā)布的產(chǎn)品中最為成功的產(chǎn)品，自從2008年推出以來，已經(jīng)擁有超過1000名客戶。而engineered system使得甲骨文11g數(shù)據(jù)庫，可以支持基于X86的數(shù)據(jù)處理和磁盤存儲層，其閃存緩存也使得可以實(shí)現(xiàn)超快速查詢處理。

    它既可應(yīng)用在任意事務(wù)環(huán)境中，也可以應(yīng)用在數(shù)據(jù)倉庫（但不能同時(shí)進(jìn)行）。Exadata的混合柱狀壓縮能夠?qū)崿F(xiàn)列存儲數(shù)據(jù)庫的某些高效率特點(diǎn)，提供高達(dá)10:1的壓縮比，而大部分行存儲數(shù)據(jù)庫的平均壓縮比為4:1。

　　甲骨文在9月通過宣布Oracle SuperCluster（圖中右側(cè)），擴(kuò)展了engineered systems產(chǎn)品家族。它采用了最新的Sun Sparc T-4芯片。SuperCluster支持全機(jī)架/半機(jī)架配置，而且用戶可以在半機(jī)架容量基礎(chǔ)上進(jìn)行擴(kuò)容。滿額配置提供有1200個(gè)CPU線程，4TB內(nèi)存，97TB至198TB磁盤存儲，8.66TB閃存。

　　甲骨文聲稱，SuperCluster事務(wù)處理和數(shù)據(jù)倉庫性能相比傳統(tǒng)服務(wù)器架構(gòu)能分別帶來10倍和50倍速度提升。但作為一個(gè)專有的Unix機(jī)器，甲骨文想通過SuperCluster，在面向x86硬件的數(shù)據(jù)倉庫部署遷移大潮中力挽狂瀾。甲骨文的Exadata和Exalogic都基于x86架構(gòu)而且運(yùn)行Linux系統(tǒng)。

　　在十月召開的Oracle OpenWorld中，甲骨文宣布將新增一個(gè)分布式pache Hadoop軟件和相關(guān)的大數(shù)據(jù)設(shè)備。甲骨文也計(jì)劃推出一個(gè)獨(dú)立的基于開源BerkeleyDB產(chǎn)品的NoSQL。

　　9、ParAccel大打列存儲、MPP和數(shù)據(jù)庫分析組合拳

　　ParAccel是ParAccel Analytic Database（PADB）的開發(fā)廠商――提供快速、選擇性查詢和列存儲數(shù)據(jù)庫，并基于大規(guī)模并行處理優(yōu)勢特點(diǎn)的產(chǎn)品。該公式表示，其平臺支持一系列針對各種復(fù)雜、先進(jìn)應(yīng)用的工作負(fù)載報(bào)告和分析。

　　內(nèi)置的分析算法可以為分析師提供高級數(shù)學(xué)運(yùn)算、數(shù)據(jù)統(tǒng)計(jì)、和數(shù)據(jù)挖掘等各種功能，同時(shí)，它還提供一個(gè)開放的API，可以擴(kuò)展數(shù)據(jù)庫的各種數(shù)據(jù)處理能力和第三方分析應(yīng)用。

　　Table functions被用來傳送和接收第三方和采用C、C++等編寫的定制算法的數(shù)據(jù)結(jié)果。ParAccel與Fuzzy Logix――一家提供各種描述統(tǒng)計(jì)學(xué)、統(tǒng)計(jì)實(shí)驗(yàn)?zāi)M和模式識別功能庫功能的服務(wù)商。此外， Table functions還支持MapReduce和廣泛應(yīng)用在金融服務(wù)的700多種分析技術(shù)。

10、Sybase推進(jìn)IQ列存儲數(shù)據(jù)庫

　　SAP旗下的Sybase是列存儲數(shù)據(jù)庫管理系統(tǒng)的首批廠商，而且目前仍然是擁有2000多個(gè)客戶的暢銷廠商。今年夏天推出了Sybase IQ 15.3版本，該版本產(chǎn)品能夠處理更多數(shù)據(jù)和更多數(shù)據(jù)類型，也能勝任更多查詢，當(dāng)然這主要得益于其包含了一個(gè)名叫PlexQ 的大規(guī)模并行處理功能。

　　基于MPP大規(guī)模并行處理的PlexQ分布式查詢平臺，通過將任務(wù)分散到網(wǎng)格配置中的多臺計(jì)算機(jī)，加速了高度復(fù)雜的查詢。有報(bào)道說，它能提供比現(xiàn)有的IQ部署快12倍的交付能力。

　　為了支持不同的分析，15.3版本的產(chǎn)品增加了分布式處理功能，來執(zhí)行PlexQ網(wǎng)格中跨CPU的查詢服務(wù)。為了確保實(shí)現(xiàn)最快速度的查詢，PlexQ包含了一個(gè)邏輯服務(wù)器――讓管理員對PlexQ網(wǎng)格的物理服務(wù)器組成虛擬群集，以便優(yōu)化分析工作負(fù)載、用戶需求和應(yīng)用程序。

　　Sybase IQ和其他大多數(shù)的支持MPP功能的產(chǎn)品之間區(qū)別主要在于，它采用了全共享的方式。全共享的缺點(diǎn)是CPU會爭相訪問共享存儲（通常是SAN），而這會降低查詢性能。不過Sybase堅(jiān)持認(rèn)為，從優(yōu)化查詢的角度來說全共享會更加靈活，因?yàn)樗械腃PU 都會訪問所有的數(shù)據(jù)。所以，我們可以對某個(gè)特定的查詢盡可能多（或者少）地分配計(jì)算資源。

　　11、Teradata從EDWs跨入大規(guī)模分析領(lǐng)域

　　一旦成為企業(yè)級數(shù)據(jù)倉庫（EDW）的宣傳者，近年來Teradata就已經(jīng)放松了擴(kuò)展Teradata數(shù)據(jù)庫產(chǎn)品家族的步伐。該公司的高性能、高容量產(chǎn)品被廣泛采用和復(fù)制，因?yàn)槠渲邪撕芏嗥髽I(yè)工作量管理的功能模塊，包括虛擬OLAP（三維立體式）分析模型 。

　　Teradata在數(shù)據(jù)庫分析領(lǐng)域不斷推陳出新，但在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒有很大成果。這也就是為什么該公司要收購Aster Data――一家提供SQL-MapReduce框架的公司。MapReduce處理擁有廣泛的市場需求，因?yàn)榇嬖谥罅康幕ヂ?lián)網(wǎng)點(diǎn)擊數(shù)據(jù)、傳感數(shù)據(jù)和社交媒體內(nèi)容。

　　Teradata日前宣布了一項(xiàng)Aster Data MapReduce產(chǎn)品的計(jì)劃，它建立在以往產(chǎn)品同樣的硬件平臺之上，而且在Teradata和Aster Data之間新增了兩種集成方法。通過收購，Teradata打破了在數(shù)據(jù)倉儲業(yè)被認(rèn)為最廣泛、最具擴(kuò)展性的界限。

12、1010data提供基于云計(jì)算大數(shù)據(jù)分析

　　正如標(biāo)題所說，1010data能夠提供基于云計(jì)算的大數(shù)據(jù)分析平臺。很大數(shù)據(jù)庫平臺供應(yīng)商提供基于云的沙箱測試和開發(fā)環(huán)境， 但1010data的管理數(shù)據(jù)庫服務(wù)，主要針對將整個(gè)工作負(fù)載遷移到云的全過程。

　　該服務(wù)支持一種提供“豐富而又高級的內(nèi)置分析功能”，其中包括有預(yù)測分析。其一大賣點(diǎn)是服務(wù)包括了數(shù)據(jù)建模和設(shè)計(jì)、信息集成和數(shù)據(jù)轉(zhuǎn)換。

　　其客戶包括有對沖基金、全球各大銀行、證券交易商，零售商和包裝消費(fèi)品公司。

　　何謂大數(shù)據(jù)？

　　大數(shù)據(jù)，也就是國外常說的Big Data。IBM把大數(shù)據(jù)概括成了三個(gè)V，即大量化（Volume）、多樣化（Variety）和快速化（Velocity）。這些特點(diǎn)也反映了大數(shù)據(jù)所潛藏的價(jià)值（Value），我們也可以認(rèn)為，四個(gè)V高度概括了大數(shù)據(jù)的基本特征。

　　業(yè)界比較一致對大數(shù)據(jù)的定義是：大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。