如何準確又通俗易懂地解釋大數(shù)據(jù)及其應用價值

大數(shù)據(jù)說到底就是一個大字。到底有多大？拿維基百科上的例子來說，CERN做的LHC（大型強子對撞機）周長27公里，里面一共有1.5億個傳感器，每秒鐘讀數(shù)達四千萬次。每秒鐘發(fā)生的粒子對撞高達6億次。剔除99.999%的無用數(shù)據(jù)，每秒鐘也有100次碰撞需要記錄。如果在這些數(shù)據(jù)里面僅僅使用十萬分之一，那么一年也要積累25 petabytes的數(shù)據(jù)，相當于25000個1TB的硬盤。

在這些數(shù)據(jù)里尋找希格斯玻色子的證據(jù)，是真正的大海撈針。這么大的數(shù)據(jù)你給我用Excel算算看？不要說計算，根本連載入內(nèi)存都不可能。再比如說，F(xiàn)acebook據(jù)說擁有500億以上的用戶照片。之前美國波士頓發(fā)生了爆炸案，這些照片里可能就有爆炸案的線索。那你給我找找看那張照片上面有嫌犯？波士頓馬拉松僅運動員就有兩三萬人，圍觀群眾近五十萬。在同一時間同一地點拍攝的照片可能有幾十萬張，錄像可能有幾千小時。用人工一張一張看過來是不切實際的。如果要考察爆炸案前后幾天的照片那就更不現(xiàn)實了。還有的照片根本就沒有時間和地點信息。

再舉一個例子。2009年華盛頓大學的研究人員使用15萬張Flickr上的圖片，重建了整個羅馬城的3D模型。整個重建過程的計算使用了496個CPU核心，耗時8小時。如果每張照片按100KB計算，總數(shù)據(jù)量達到15GB。至少要達到這個級別的數(shù)據(jù)，才能稱得上大數(shù)據(jù)。下面為照片和重建模型的對比。

如何準確又通俗易懂地解釋大數(shù)據(jù)及其應用價值？如何準確又通俗易懂地解釋大數(shù)據(jù)及其應用價值？
大數(shù)據(jù)因為大，不僅遠遠超過人工的處理能力，也遠遠超過普通臺式機的處理能力。只有特定的算法和特別設計的硬件架構才能夠有效的處理大數(shù)據(jù)。簡單說來，硬件上要把很多CPU或者很多臺式機連起來，算法上采取分而治之的策略。有的數(shù)據(jù)前后沒有關聯(lián)，特別適合分而治之的方法。而處理互相聯(lián)系多的數(shù)據(jù)就比較困難。如果只要尋找嫌犯的臉，可以對每張照片分別處理。如果要考慮連續(xù)拍攝的照片有些并沒有捕捉到臉，但嫌犯的位置和穿著是相對不變的，這就要考慮照片之間的關系，要分而治之就相對困難一些。

舉一個做加法的例子來說明分而治之。比如有兩道加法題：34+18和54+39。這兩道題目如果兩個人分別計算，就比一個人計算要快一倍。這就是分治的優(yōu)勢。但是如果只有一道加法題怎么辦？比如兩個人要計算34+18，那只好一個人計算個位，一個人計算十位。十位上計算3+1=4，但是還必須考慮個位的進位。所以計算十位的人必須等待計算個位的人給出結(jié)果之后，再決定要不要在自己的結(jié)果上再加1。為了統(tǒng)一結(jié)果一等待，計算速度就變慢了，這就是我們說結(jié)果之間存在的關系拖慢計算。

 既然大數(shù)據(jù)處理起來這么困難，為什么還要使用大數(shù)據(jù)？使用小數(shù)據(jù)不行嗎？這就要說到大數(shù)據(jù)的應用。所謂機器學習，一般是首先建立一個數(shù)據(jù)之間關系的模型。然后通過數(shù)據(jù)來確定模型中的參數(shù)。這就是所謂訓練。大多數(shù)模型都是比較簡單的。建模的時候為了簡便，往往忽略現(xiàn)實中的很多因素。但是數(shù)據(jù)多了以后，往往可以彌補模型的簡陋。所以數(shù)據(jù)多是有好處的。