并行處理在大數(shù)據(jù)分析中所面對的挑戰(zhàn)_數(shù)據(jù)分析師

HBTC2012峰會在北京舉行，俄亥俄州立大學的教授張曉東老師就并行處理在大數(shù)據(jù)分析中所面對的挑戰(zhàn)做了精彩的演講。

張曉東重點講了并行計算對大數(shù)據(jù)以及現(xiàn)有的高性能計算的計算模式是否適應大數(shù)據(jù)。第一步先講一下在大數(shù)據(jù)中有哪些非常廣應用，現(xiàn)有的數(shù)據(jù)庫是不能使用的，很簡單數(shù)據(jù)量太大了。同時，大數(shù)據(jù)的要求不光是高性能同時還要有更高的。而且沒有什么硬件支持，都是用非常廉價的硬件。第二個問題都是學科的研究，因為它的應用范圍非常廣。數(shù)據(jù)的格式等都不一樣。第三個問題是應用需求非常廉價的架構，所以可以看到現(xiàn)有的數(shù)據(jù)庫是不適合的。它的價格是非常昂貴的，所以我們我現(xiàn)在用的主要是用開源的。

張曉東認為今天我們進入到一個“數(shù)據(jù)是檢驗真理的一個重要的標準”的時代。對算法有了新的需求。我今天的講座想主要是聚焦在計算模式上的變化，計算尤其是系統(tǒng)設計發(fā)生了什么樣的變化過去我們用的是高性能計算的模型。

對大數(shù)據(jù)來講最主要的是在模型中做計算的約束是非常大的。我們看BSP模型，為什么在過去用到高性能計算上，今天在大數(shù)據(jù)不能用。之后再做并行計算，之后再做篡數(shù)，過去做的所有的高性能計算都是圍繞這個模型來的。

如果我們有了硬件、有了軟件，22年前它就總結了高性能計算，它畫了一個圈，我們所有的努力都在這里面。

BSP模型有數(shù)據(jù)嗎?因為高性能計算數(shù)據(jù)并不是重要的，主要是以計算為主的。大數(shù)據(jù)更不在里面了。今天做大數(shù)據(jù)計算的時候，是不能與硬件相關的我不能說找到英特爾說要造一個大數(shù)據(jù)。

所以我們現(xiàn)在用的。我們的模型是今天高性能計算是不能保證的。

今天為什么要做并行計算，并行計算給我們帶來了什么樣的障礙?scale-out是什么概念?張曉東認為給大家舉一個例子，2008年的時候Google用processed算法計算一個PB的計算量，用了1個小時2分鐘。2011年10PB的數(shù)據(jù)用了6小時27分鐘。我們比較要有非常高的并行度。我們在高并行度下面遇到的第一個困難是，沒有特殊的通信硬件來給我們支持。這不像高性能計算。第二Hadoop的模型非常簡單。第三，沒有軟件的工具來幫助我們做。另外，當你放下了數(shù)據(jù)以后是不能傳輸?shù)?，基本上是不能動的。今天這個會議是為了Hadoop。我們對引擎本身是沒有抱怨的，問題是如何利用引擎處理大數(shù)據(jù)。如果我們只永遠是的引擎只能做簡單的分析。這個引擎有非常好的優(yōu)點，第一它的dependency是非常小的。另外一個工作是非常簡單的。我們必須要有高可用性的大數(shù)據(jù)。

如果一個數(shù)據(jù)在做負載的時候，我們要注意，如果用不好也是費用很高的?？吹搅水攁pplication，你想做一個的話，現(xiàn)在的是不支持的。如果是在不同的系統(tǒng)上，他們兩個想做一個communication也是不支持的。

第二個問題，如果一個使用者想換個思路。如果你有一個MP可以直接翻譯過去，通過機器提高了各種各樣的計算。人在實際中用手來寫是不一樣的，75%是又機器來生成的。他在做項目的時候可以節(jié)省4倍的時間。

最后一個問題，在現(xiàn)有的Hadoop沒有給你任何的信息，用戶是不知道的，你怎么放進去的時候取這個數(shù)據(jù)的時候要非常地低。你做這樣的設計是不是也改變了Hadoop的引擎。最后我們發(fā)現(xiàn)考了三個方面都是很基本的話，那么也是它廣泛應用的原因。他們現(xiàn)在在整個的關鍵信息在什么地方?從Facebook的角度來講，這個是一個Hadoop，用它的時候第一要存到高的數(shù)據(jù)中，如果一個用戶首先用的是YSmart做示范。一個Hadoop是一個大數(shù)據(jù)中心的引擎。本身它就可以做分析，我們一個引擎只能完成一個轉的操作問題是我們?nèi)绾螌⒁孀钤嫉膭恿癁榻裉斓闹?。因為我們相?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop是一個引擎并且起了很重要的作用。