大數(shù)據(jù)時代的高性能數(shù)據(jù)分析

越來越多的企業(yè)開始“覬覦”大數(shù)據(jù)中所蘊含的價值，這一情況使得諸多的新興技術(shù)得以普及，例如Hadoop。同樣也使得越來越多的IT供應(yīng)商將大數(shù)據(jù)分析作為企業(yè)新的營收增長點，如英特爾拋出了針對X86進行優(yōu)化的Hadoop發(fā)行版，SAP亦推出了軟硬一體的HANA，Oracle的一體機等等。同樣，傳統(tǒng)的商業(yè)智能(BI，Business Intelligence)解決方案供應(yīng)商亦不夠落后，如賽仕(SAS)公司在前不久的大數(shù)據(jù)論壇上展示了其最新的高性能數(shù)據(jù)分析方案(簡稱HPA)。

賽仕(SAS)公司成立于1976年，一直致力于為用戶提供優(yōu)秀的軟件，目前SAS公司已是全球領(lǐng)先的商業(yè)分析軟件和服務(wù)供應(yīng)商，同時也是商業(yè)智能市場最大的獨立廠商之一。其所提供的商業(yè)智能解決方案和數(shù)據(jù)分析軟件廣泛地用于銀行、航空航天、通信、教育、醫(yī)療、金融、政府、生命科學(xué)、制造及零售等諸多行業(yè)。

　　SAS的大數(shù)據(jù)分析利器：高性能數(shù)據(jù)分析

在海量數(shù)據(jù)背景下，傳統(tǒng)數(shù)據(jù)分析解決方案之所以遭遇瓶頸，主要原因是無法提高數(shù)據(jù)分析的效率。賽仕軟件研究開發(fā)(北京)有限公司總經(jīng)理劉政認為：“我們平常分析上千萬的數(shù)據(jù)量或者上億數(shù)據(jù)量的時候，都會花費幾十個小時(好幾天)的時間才能得到結(jié)果。當(dāng)你的數(shù)據(jù)達到十億的時候，你的軟件就根本運行不下去，有的時候會好幾十天，這個速度人們是無法接受的。所以，在新的時代，我們需要高性能的分析軟件?！?

傳統(tǒng)的數(shù)據(jù)分析方法主要是針對結(jié)構(gòu)化數(shù)據(jù)，而現(xiàn)代企業(yè)中非結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)的增長速度是結(jié)構(gòu)化數(shù)據(jù)的幾倍甚至幾十倍，這是導(dǎo)致傳統(tǒng)數(shù)據(jù)分析方法無法適應(yīng)企業(yè)需求的最根本的一個原因。并且，傳統(tǒng)數(shù)據(jù)分析方式所適用的環(huán)境其數(shù)據(jù)量通常是TB級以下，采用集中式對數(shù)據(jù)進行批處理，而現(xiàn)在企業(yè)迫于市場的不斷變化，通常希望能夠?qū)崟r得到數(shù)據(jù)分析結(jié)果。提高數(shù)據(jù)分析效率，快速得到數(shù)據(jù)分析結(jié)果是海量數(shù)據(jù)背景下，數(shù)據(jù)分析解決方案所必須具備的特性。

在本次的大數(shù)據(jù)論壇上，SAS公司展示了其最新的針對海量數(shù)據(jù)分析的高性能數(shù)據(jù)分析解決方案。據(jù)SAS公司大中華區(qū)咨詢與技術(shù)總監(jiān)姚遠先生介紹，SAS公司目前正準(zhǔn)備在中國大陸進行路演的高性能分析解決方案采用了與傳統(tǒng)數(shù)據(jù)分析方案完全不同的軟件架構(gòu)，如網(wǎng)格計算、庫內(nèi)分析以及內(nèi)存分析等，可以極大地提高海量數(shù)據(jù)背景下的數(shù)據(jù)分析效率。

網(wǎng)格計算相信大家已經(jīng)無比熟悉了，現(xiàn)在越來越多的公司已經(jīng)開始使用這一技術(shù)。庫內(nèi)分析則是SAS高性能分析軟件上的一大亮點，傳統(tǒng)的數(shù)據(jù)分析是將分析與數(shù)據(jù)庫相分離，每次分析就需要到數(shù)據(jù)庫提取數(shù)據(jù)，數(shù)據(jù)傳輸是制約效率的一大難題。而在SAS最新的高性能分析方案中其“把分析的過程放在數(shù)據(jù)庫內(nèi)，這樣就無需數(shù)據(jù)提出來，避免了傳輸過程，這樣運算起來速度明顯地加快。過去所寫的SAS程序完全可以在這種模型下運行，不需要做任何的更改?！?

內(nèi)存分析，亦稱內(nèi)存計算，這也是當(dāng)前較為熱門的技術(shù)話題之一?！鞍岩恍?shù)據(jù)和分析的方法放到內(nèi)存中，通過內(nèi)存去讀取(數(shù)據(jù))，速度遠遠高于從硬盤中讀取(數(shù)據(jù))，這樣可以極大地提高處理速度?！辈⑶?，隨著PCIe SSD以及英特爾E5處理器的發(fā)布，將這一技術(shù)與網(wǎng)格計算相結(jié)合，其處理速度大幅提升是必然的。

除此之外，SAS公司最新推出的高性能分析解決方案還采用了“SAS Visual Analytics”技術(shù)，即可視化分析?？蓪⒎治鼋Y(jié)果發(fā)送到智能移動終端上，以供企業(yè)用戶實時查看數(shù)據(jù)分析結(jié)果。

　　“大數(shù)據(jù)必將趕超云計算”

云計算與大數(shù)據(jù)是當(dāng)前IT行業(yè)最為熱門的兩個話題，并且這二者之間有著千絲萬縷的聯(lián)系，通常說到云計算就不可不提大數(shù)據(jù)，而說到大數(shù)據(jù)通常也會牽扯到云計算。姚遠認為，盡管現(xiàn)在云計算這一話題非常火熱，但企業(yè)的大數(shù)據(jù)部署必然會超過云計算。因為云計算只是一個平臺，而大數(shù)據(jù)分析則更貼近用戶，對用戶而言更實用。

　　“大數(shù)據(jù)是企業(yè)的戰(zhàn)略技術(shù)”

姚遠認為，在未來，大數(shù)據(jù)將上升到一個新的高度，將成為企業(yè)不可或缺的一個戰(zhàn)略。他提到在之前有一段時間，很多用戶都比較關(guān)注數(shù)據(jù)挖掘，但這個一直沒有做起來。因為數(shù)據(jù)挖掘，數(shù)據(jù)分析是有先決條件的：企業(yè)要有一定的成熟度，要有一定的數(shù)據(jù)量，數(shù)據(jù)的準(zhǔn)確性要有，企業(yè)領(lǐng)導(dǎo)有一定的關(guān)注度;第二個，要有數(shù)據(jù)科學(xué)家，就是分析人員要有一定的知識;第三個，部署一個可擴展的平臺。這些都是數(shù)據(jù)挖掘成功的關(guān)鍵點，沒有這些你不能成功。挖掘出來的數(shù)據(jù)，要有可信性，有價值，才算成功。

而數(shù)據(jù)科學(xué)家就是指專業(yè)的技術(shù)人才。例如，國內(nèi)某世界500強公司把IT數(shù)據(jù)分析的人員，全部歸到業(yè)務(wù)部門，因為分析人員不光要懂技術(shù)，還應(yīng)該懂業(yè)務(wù)。分析理論最難的部分，是中間變量，它需要憑分析人員的經(jīng)驗，決定如何去取數(shù)，就是說取樣本。不同的人取的數(shù)據(jù)樣本不一樣，結(jié)果就出來不一樣了，只有分析人員非常有經(jīng)驗才能成功。

IT人員不懂業(yè)務(wù)，就不能做分析。而數(shù)據(jù)的可視化分析、數(shù)據(jù)的可探索性，對業(yè)務(wù)分析人員非常重要。“只要企業(yè)擁有數(shù)據(jù)，就可以讓分析人員去進行挖掘分析，帶來經(jīng)濟價值。這也是SAS推VA(可視化分析)的原因，可讓業(yè)務(wù)人員享受大數(shù)據(jù)帶來的好處。由此看來，大數(shù)據(jù)包括前臺和后臺的各種技術(shù)，不單指一個技術(shù)，大數(shù)據(jù)將是企業(yè)的戰(zhàn)略技術(shù)?！币h在談到大數(shù)據(jù)分析在未來的作用時如是說。

　　“軟件是方法論”

盡管現(xiàn)在很多IT供應(yīng)商都加入到大數(shù)據(jù)分析這一熱門話題之中，其中包括有IBM、EMC等老牌的整體解決方案供應(yīng)商，同時英特爾等硬件設(shè)備商也不斷地發(fā)布新的硬件來提高運算速度。但姚遠認為，海量數(shù)據(jù)分析最核心的問題應(yīng)該是分析方法的革新，與硬件不同，數(shù)據(jù)分析不會被輕易模仿，因為它需要方法論，需要較長時間的積淀。SAS在數(shù)據(jù)分析領(lǐng)域，有獨特的沉淀和有較強的優(yōu)勢，針對不同的業(yè)務(wù)場景，數(shù)據(jù)分析需要依靠豐富的行業(yè)經(jīng)驗，去判斷，去優(yōu)化，這正好是SAS的優(yōu)勢所在。

　　“合作，共同推進生態(tài)產(chǎn)業(yè)鏈發(fā)展”

SAS除了與Teradata等公司進行合作之外，還與惠普、戴爾等硬件廠商進行緊密合作。同時，姚遠還補充道，目前的Hadoop等開源的大數(shù)據(jù)分析技術(shù)非常受歡迎，SAS同樣也支持Hadoop，并且SAS公司最新發(fā)布的HPA(高性能分析解決方案)在后端就采用了Hadoop這一開源技術(shù)，Hadoop成熟的數(shù)據(jù)保護技術(shù)能夠幫助企業(yè)實現(xiàn)數(shù)據(jù)安全，并且其擴展亦非常簡單。

在另一方面，隨著數(shù)據(jù)量的不斷增長，尤其是非結(jié)構(gòu)化數(shù)據(jù)的海量劇增，可預(yù)見未來的數(shù)據(jù)分析將更多地集中在對非結(jié)構(gòu)化數(shù)據(jù)的分析。非結(jié)構(gòu)化數(shù)據(jù)，包括eMail, 微博，聲音，圖像等數(shù)據(jù)。不同的數(shù)據(jù)，處理方式不同。比如，微博，使用爬蟲技術(shù)就行;聲音文件，使用第三方技術(shù)將聲音變成文本文件，存儲到結(jié)構(gòu)化里面去做;這些方案已經(jīng)很成熟了。

但圖像、視頻等數(shù)據(jù)，要對其進行解碼。目前針對圖像、視頻進行的解碼技術(shù)還比較復(fù)雜，也不成熟，還需要進一步改良和優(yōu)化。但隨著時間推移，未來會出現(xiàn)成熟的技術(shù)來解決這個問題。大數(shù)據(jù)中的結(jié)構(gòu)化、非結(jié)構(gòu)數(shù)據(jù)將催生了很多技術(shù)需求。而SAS公司針對大數(shù)據(jù)分析的解決方案同樣也需要用到這些技術(shù)。