你確定要雞蛋碰石頭嗎?關于大數據的三大誤區(qū)

隨著整個行業(yè)對大數據的興趣越來越大，我最愛的話題之一，我在2013年做過的大數據的公眾演講超過我職業(yè)生涯中的任何往年。我在行業(yè)大會、活動，大學以及EMC內部共做過許多次演講。在這些演講中一次又一次地接觸到了一大堆關于大數據的評論，提問以及錯誤的理解。我相信將我聽到的分享給大家會很有用。

　　以下是對于大數據的三大誤區(qū)：

　　1. 最重要的，是關于大數據本身的大小

　　大數據主要是數據的大小，因為大數據就是大的，對嗎?其實，并不完全是。哈佛的定量社科學院的Gary King說。當然，如今的數據處理量要遠超過去(這里是指”3Vs”的量-量，多變性及速度)，但如果人們只關注于GB、TB或PB，他們將僅僅視大數據為關于存儲和科技的問題。盡管這也是絕對重要的，但大數據的更突出的幾個方面通常是另外兩個V：多變性(Variety)和速度(Velocity)。速度指的是數據流及非?？斓臄祿?，數據積累或進入數據倉庫時的低延遲，以使人們可以更加快速地(或者甚至自動地)做出決定。數據流的確是個大問題，但是對我來說，其多變性是3V當中最有趣的。

 　　上面顯示的這些圖標正是大數據產生的來源。實際上，這正說明了一個哲學問題—不僅僅是大數據改變了，更多的是，數據的定義本身已經發(fā)生了變化。也就是說，大多數的人認為數據就是成行成列的數據，如Excel表格，RDBMS數據庫，或存儲著TB級結構化數據的數據倉庫。這些的確沒有錯，大數據主要是有關半結構化數據和非結構化數據。 大數據包含了所有人們并不認為是數據的所有其他的事物，如RFID芯片，智能手機的地理空間傳感器，圖像，視頻文件，點擊流，語音識別數據以及這些數據的元數據。 當然，我們需要找到有效的方法來存儲大量的數據，然而我發(fā)現，當人們開始抓取數據的多變性及其速度，他們也開始尋找更加創(chuàng)新的方式來使用這些數據。

　　2. 你確定要雞蛋碰石頭嗎?

　　“好吧，但是為什么我一定需要新的工具?我不能用原來的軟件工具來分析大數據嗎?”我們在討論使用Hadoop去排列成百上千的非結構數據輸入。討論中有位聽眾提問，為什么他不能簡單地使用SPSS來分析大量的文本語料庫。事實上，一旦你領會了#1中的內容，那么你將意識到你需要一個可以理解、存儲和分析不同數據輸入(圖像，點擊流，視頻，聲紋，元數據，XML，等)，并且可以并行處理他們的新的工具。這就是為什么內存中的桌面工具足以處理本地內存中的分析(SPSS，R，WEKA，等)卻無法處理大量的大數據源。所以我們需要新的技術來管理這些各不相干的數據源，并以并行的原則管理他們。

 　　3. 不完整的數據質量代表大數據毫無意義

　　“是的，那么大數據，數據的質量會怎么樣呢?是不是意味著更大規(guī)模的“無用出入(GIGO)”?

　　大數據也一定可能會亂，而數據質量對任何分析都非常重要。然而，關鍵是要記住數據將不可避免地混亂。即，會有很多雜亂，各種異常情況，以及不一致性。而重要的是要把重點放在數據的數量和種類，以及它們可否可修剪并用以做有價值的分析。換句話說，在這些混亂之中要尋找某種信號。在某些情況下，組織可能要解析和清理大量的數據源，而在其他情況下，這些也可能不太重要。可以考慮谷歌趨勢分析。

　　谷歌趨勢分析顯示人們搜索的最熱門事情，如整個2013年在谷歌搜索的最多的事情，如上圖所示照片。這需要大量的存儲空間，處理能力以及強大的分析技術以從搜索中篩選并排名。這是使用大數據而忽略GIGO的一個好例子。

　　從這個觀點來看，許多人們會說“哦!這聽起來的確是大的改變”是的!正如我的一個同事所說，可以用大數據的名字或動詞意義做一個區(qū)分。也就是說，作為名詞，把大數據僅僅當作需要被存儲和安置的“非常多的東西”。作為動詞，大數據就意味著動作。這個陣營的人們視大數據為破壞性的力量，是改變他們的操作方式的動力。利用大數據以創(chuàng)造性的方式測試好點子，從而以分析的方式解決業(yè)務問題，如進行A/B測試—請參考谷歌測試50色調的藍色，去尋找人們最愿意點擊的Gmail用戶，而不是僅憑營銷經理的猜測。或者想辦法衡量沒法衡量的事情，比如公司和大學找更好的方式來實現圖像歸類的自動化。以新的方式探索新點子—以數據來回答“假如……”的問題。

　　在這個競賽中，那些把大數據視作動詞的組織將是最大贏家!