大數(shù)據(jù)有多大？關(guān)于大數(shù)據(jù)的三大誤區(qū)

關(guān)于大數(shù)據(jù)的三大誤區(qū) 隨著整個(gè)行業(yè)對大數(shù)據(jù)的興趣越來越大，我最愛的話題之一，我在2013年做過的大數(shù)據(jù)的公眾演講超過我職業(yè)生涯中的任何往年。我在行業(yè)大會、活動(dòng)，大學(xué)以及EMC內(nèi)部共做過許多次演講。在這些演講中一次又一次地接觸到了一大堆關(guān)于大數(shù)據(jù)的評論，提問以及錯(cuò)誤的理解。我相信將我聽到的分享給大家會很有用。 以下是對于大數(shù)據(jù)的三大誤區(qū)：

1. 最重要的，是關(guān)于大數(shù)據(jù)本身的大小

大數(shù)據(jù)主要是數(shù)據(jù)的大小，因?yàn)榇髷?shù)據(jù)就是大的，對嗎?其實(shí)，并不完全是。哈佛的定量社科學(xué)院的Gary King說。當(dāng)然，如今的數(shù)據(jù)處理量要遠(yuǎn)超過去(這里是指”3Vs”的量-量，多變性及速度)，但如果人們只關(guān)注于GB、TB或PB，他們將僅僅視大數(shù)據(jù)為關(guān)于存儲和科技的問題。盡管這也是絕對重要的，但大數(shù)據(jù)的更突出的幾個(gè)方面通常是另外兩個(gè)V：多變性(Variety)和速度(Velocity)。速度指的是數(shù)據(jù)流及非常快的數(shù)據(jù)，數(shù)據(jù)積累或進(jìn)入數(shù)據(jù)倉庫時(shí)的低延遲，以使人們可以更加快速地(或者甚至自動(dòng)地)做出決定。數(shù)據(jù)流的確是個(gè)大問題，但是對我來說，其多變性是3V當(dāng)中最有趣的。

上面顯示的這些圖標(biāo)正是大數(shù)據(jù)產(chǎn)生的來源。實(shí)際上，這正說明了一個(gè)哲學(xué)問題—不僅僅是大數(shù)據(jù)改變了，更多的是，數(shù)據(jù)的定義本身已經(jīng)發(fā)生了變化。也就是說，大多數(shù)的人認(rèn)為數(shù)據(jù)就是成行成列的數(shù)據(jù)，如Excel表格，RDBMS數(shù)據(jù)庫，或存儲著TB級結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫。這些的確沒有錯(cuò)，大數(shù)據(jù)主要是有關(guān)半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 大數(shù)據(jù)包含了所有人們并不認(rèn)為是數(shù)據(jù)的所有其他的事物，如RFID芯片，智能手機(jī)的地理空間傳感器，圖像，視頻文件，點(diǎn)擊流，語音識別數(shù)據(jù)以及這些數(shù)據(jù)的元數(shù)據(jù)。 當(dāng)然，我們需要找到有效的方法來

存儲大量的數(shù)據(jù)，然而我發(fā)現(xiàn)，當(dāng)人們開始抓取數(shù)據(jù)的多變性及其速度，他們也開始尋找更加創(chuàng)新的方式來使用這些數(shù)據(jù)。

2. 你確定要雞蛋碰石頭嗎?

“好吧，但是為什么我一定需要新的工具?我不能用原來的軟件工具來分析大數(shù)據(jù)嗎?”我們在討論使用Hadoop去排列成百上千的非結(jié)構(gòu)數(shù)據(jù)輸入。討論中有位聽眾提問，為什么他不能簡單地使用SPSS來分析大量的文本語料庫。事實(shí)上，一旦你領(lǐng)會了#1中的內(nèi)容，那么你將意識到你需要一個(gè)可以理解、存儲和分析不同數(shù)據(jù)輸入(圖像，點(diǎn)擊流，視頻，聲紋，元數(shù)據(jù)，XML，等)，并且可以并行處理他們的新的工具。這就是為什么內(nèi)存中的桌面工具足以處理本地內(nèi)存中的分析(SPSS，R，WEKA，等)卻無法處理大量的大數(shù)據(jù)源。所以我們需要新的技術(shù)來管理這些各不相干的數(shù)據(jù)源，并以并行的原則管理他們。

3. 不完整的數(shù)據(jù)質(zhì)量代表大數(shù)據(jù)毫無意義

“是的，那么大數(shù)據(jù)，數(shù)據(jù)的質(zhì)量會怎么樣呢?是不是意味著更大規(guī)模的“無用出入(GIGO)”? 大數(shù)據(jù)也一定可能會亂，而數(shù)據(jù)質(zhì)量對任何分析都非常重要。然而，關(guān)鍵是要記住數(shù)據(jù)將不可避免地混亂。即，會有很多雜亂，各種異常情況，以及不一致性。而重要的是要把重點(diǎn)放在數(shù)據(jù)的數(shù)量和種類，以及它們可否可修剪并用以做有價(jià)值的分析。換句話說，在這些混亂之中要尋找某種信號。在某些情況下，組織可能要解析和清理大量的數(shù)據(jù)源，而在其他情況下，這些也可能不太重要?？梢钥紤]谷歌趨勢分析。

谷歌趨勢分析顯示人們搜索的最熱門事情，如整個(gè)2013年在谷歌搜索的最多的事情，如上圖所示照片。這需要大量的存儲空間，處理能力以及強(qiáng)大的分析技術(shù)以從搜索中篩選并排名。這是使用大數(shù)據(jù)而忽略GIGO的一個(gè)好例子。 從這個(gè)觀點(diǎn)來看，許多人們會說“哦!這聽起來的確是大的改變”是的!正如我的一個(gè)同事所說，可以用大數(shù)據(jù)的名字或動(dòng)詞意義做一個(gè)區(qū)分。也就是說，作為名詞，把大數(shù)據(jù)僅僅當(dāng)作需要被存儲和安置的“非常多的東西”。作為動(dòng)詞，大數(shù)據(jù)就意味著動(dòng)作。這個(gè)陣營的人們視大數(shù)據(jù)為破壞性的力量，是改變他們的操作方式的動(dòng)力。利用大數(shù)據(jù)以創(chuàng)造性的方式測試好點(diǎn)子，從而以分析的方式解決業(yè)務(wù)問題，如進(jìn)行A/B測試—請參考谷歌測試50色調(diào)的藍(lán)色，去尋找人們最愿意點(diǎn)擊的Gmail用戶，而不是僅憑營銷經(jīng)理的猜測。或者想辦法衡量沒法衡量的事情，比如公司和大學(xué)找更好的方式來實(shí)現(xiàn)圖像歸類的自動(dòng)化。以新的方式探索新點(diǎn)子—以數(shù)據(jù)來回答“假如??”的問題。 在這個(gè)競賽中，那些把大數(shù)據(jù)視作動(dòng)詞的組織將是最大贏家!