并行處理在大數(shù)據(jù)分析中所面對的挑戰(zhàn)_數(shù)據(jù)分析師

HBTC2012峰會在北京舉行，俄亥俄州立大學的教授張曉東老師就并行處理在大數(shù)據(jù)分析中所面對的挑戰(zhàn)做了精彩的演講。

張曉東重點講了并行計算對大數(shù)據(jù)以及現(xiàn)有的高性能計算的計算模式是否適應大數(shù)據(jù)。第一步先講一下在大數(shù)據(jù)中有哪些非常廣應用，現(xiàn)有的數(shù)據(jù)庫是不能使用的，很簡單數(shù)據(jù)量太大了。同時，大數(shù)據(jù)的要求不光是高性能同時還要有更高的。而且沒有什么硬件支持，都是用非常廉價的硬件。第二個問題都是學科的研究，因為它的應用范圍非常廣。數(shù)據(jù)的格式等都不一樣。第三個問題是應用需求非常廉價的架構，所以可以看到現(xiàn)有的數(shù)據(jù)庫是不適合的。它的價格是非常昂貴的，所以我們我現(xiàn)在用的主要是用開源的。

張曉東認為今天我們進入到一個“數(shù)據(jù)是檢驗真理的一個重要的標準”的時代。對算法有了新的需求。我今天的講座想主要是聚焦在計算模式上的變化，計算尤其是系統(tǒng)設計發(fā)生了什么樣的變化過去我們用的是高性能計算的模型。

對大數(shù)據(jù)來講最主要的是在模型中做計算的約束是非常大的。我們看BSP模型，為什么在過去用到高性能計算上，今天在大數(shù)據(jù)不能用。之后再做并行計算，之后再做篡數(shù)，過去做的所有的高性能計算都是圍繞這個模型來的。

如果我們有了硬件、有了軟件，22年前它就總結了高性能計算，它畫了一個圈，我們所有的努力都在這里面。

BSP模型有數(shù)據(jù)嗎?因為高性能計算數(shù)據(jù)并不是重要的，主要是以計算為主的。大數(shù)據(jù)更不在里面了。今天做大數(shù)據(jù)計算的時候，是不能與硬件相關的我不能說找到英特爾說要造一個大數(shù)據(jù)。

所以我們現(xiàn)在用的。我們的模型是今天高性能計算是不能保證的。

今天為什么要做并行計算，并行計算給我們帶來了什么樣的障礙?scale-out是什么概念?張曉東認為給大家舉一個例子，2008年的時候Google用processed算法計算一個PB的計算量，用了1個小時2分鐘。2011年10PB的數(shù)據(jù)用了6小時27分鐘。我們比較要有非常高的并行度。我們在高并行度下面遇到的第一個困難是，沒有特殊的通信硬件來給我們支持。這不像高性能計算。第二Hadoop的模型非常簡單。第三，沒有軟件的工具來幫助我們做。另外，當你放下了數(shù)據(jù)以后是不能傳輸?shù)模旧鲜遣荒軇拥?。今天這個會議是為了Hadoop。我們對引擎本身是沒有抱怨的，問題是如何利用引擎處理大數(shù)據(jù)。如果我們只永遠是的引擎只能做簡單的分析。這個引擎有非常好的優(yōu)點，第一它的dependency是非常小的。另外一個工作是非常簡單的。我們必須要有高可用性的大數(shù)據(jù)。

如果一個數(shù)據(jù)在做負載的時候，我們要注意，如果用不好也是費用很高的?？吹搅水攁pplication，你想做一個的話，現(xiàn)在的是不支持的。如果是在不同的系統(tǒng)上，他們兩個想做一個communication也是不支持的。

第二個問題，如果一個使用者想換個思路。如果你有一個MP可以直接翻譯過去，通過機器提高了各種各樣的計算。人在實際中用手來寫是不一樣的，75%是又機器來生成的。他在做項目的時候可以節(jié)省4倍的時間。

最后一個問題，在現(xiàn)有的Hadoop沒有給你任何的信息，用戶是不知道的，你怎么放進去的時候取這個數(shù)據(jù)的時候要非常地低。你做這樣的設計是不是也改變了Hadoop的引擎。最后我們發(fā)現(xiàn)考了三個方面都是很基本的話，那么也是它廣泛應用的原因。他們現(xiàn)在在整個的關鍵信息在什么地方?從Facebook的角度來講，這個是一個Hadoop，用它的時候第一要存到高的數(shù)據(jù)中，如果一個用戶首先用的是YSmart做示范。一個Hadoop是一個大數(shù)據(jù)中心的引擎。本身它就可以做分析，我們一個引擎只能完成一個轉的操作問題是我們如何將引擎最原始的動力化為今天的支撐。因為我們相信Hadoop是一個引擎并且起了很重要的作用。