關于大數(shù)據(jù)，有這樣一段話：
       “Big data is like teenage sex,everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it.”
 
          看完這句話，對什么是“大數(shù)據(jù)”是否有點概念了呢？目前，大多數(shù)人對大數(shù)據(jù)的概念還停留在：就是海量的數(shù)據(jù)，PB（1PB=1024TB）級別的，甚至是 EB、ZB 以上的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深入分析，就能得出非常有價值的結(jié)論，指引企業(yè)做出最佳決策。
 
大數(shù)據(jù)就是那種每個人都聽過，或者看過此類文章，但卻不怎么了解的事物。
 
         其實，現(xiàn)在的大數(shù)據(jù)指的并不僅僅是海量數(shù)據(jù)，更準確而言是對大數(shù)據(jù)分析的方法。傳統(tǒng)的數(shù)據(jù)分析，是通過提出假設然后獲得相應數(shù)據(jù)，最后通過數(shù)據(jù)分析來驗證假設。而大數(shù)據(jù)不是這樣的，大數(shù)據(jù)是從收集的海量數(shù)據(jù)中，通過算法將這些來自不同渠道、格式的數(shù)據(jù)進行直接分析，從中尋找到數(shù)據(jù)之間的相關性。簡單而言，大數(shù)據(jù)更偏重于發(fā)現(xiàn)，以及猜測印證的循環(huán)逼近過程。
 
          而大數(shù)據(jù)的價值體現(xiàn)在對它的分析利用上。一直以來，大數(shù)據(jù)的瓶頸并不是數(shù)據(jù)規(guī)模巨大導致的存儲、運算等問題，而是在前端數(shù)據(jù)的收集途徑，以及對數(shù)據(jù)進行結(jié)構(gòu)化處理，進而引導后期的商業(yè)決策中的模型和算法問題。
 
              各個行業(yè)都在產(chǎn)生數(shù)據(jù)，現(xiàn)代社會的數(shù)據(jù)量正持續(xù)地以前所未有的速度增加著。這些不同類型的數(shù)據(jù)和數(shù)據(jù)型，極其復雜，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。企業(yè)需要整合并分析來自復雜的傳統(tǒng)和非傳統(tǒng)信息源的數(shù)據(jù)，包括企業(yè)內(nèi)部和外部的數(shù)據(jù)。隨著傳感器、智能設備和社會協(xié)同技術的爆炸性增長，數(shù)據(jù)的類型變得難以計數(shù)，包括文本、微博、傳感器數(shù)據(jù)、音頻、視頻等。
 
而現(xiàn)在我們的數(shù)據(jù)分析師正在做的是這樣的工作：收集信息，將信息結(jié)構(gòu)化數(shù)據(jù)化，最后才是我們能看到的大數(shù)據(jù)帶來的神奇力量。但問題是其中對數(shù)據(jù)進行處理工作量太大了，數(shù)據(jù)分析師的 50%~80% 的時間都花在了處理數(shù)據(jù)上。
 
            處理數(shù)據(jù)是整項工作中巨大的部分。有時我們會感到沮喪，因為好像不停地處理數(shù)據(jù)就是我們做的所有事情。
 
          大數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。
 
           是的，大數(shù)據(jù)存在問題的地方也潛藏著機會。原始數(shù)據(jù)的格式和來源不可計數(shù)，舉一個例子，假如一家食品行業(yè)的企業(yè)需要進行大數(shù)據(jù)的收集和分析，它能收集的數(shù)據(jù)包括產(chǎn)量、出貨的位置信息、天氣報告、零售商每日銷售量、社交媒體評論等。而根據(jù)這些信息，企業(yè)能夠洞察出市場的風向和需求的變化，進而制定相應的產(chǎn)品計劃。
 
              的確，獲得的信息越多越有利于企業(yè)做出明智的決策。但這個決策是建立在不同的數(shù)據(jù)集之上的，這些來自各種傳感器、文檔、網(wǎng)頁、數(shù)據(jù)庫的的數(shù)據(jù)，全部都是不同的格式，它們必須要被轉(zhuǎn)換為統(tǒng)一的格式，這樣軟件才能理解它們，進行分析。
 
             將各類數(shù)據(jù)進行格式統(tǒng)一是一個嚴峻的挑戰(zhàn)，因為數(shù)據(jù)和人類語言一樣都具有模糊性，有些數(shù)據(jù)人們知道是什么意思，但電腦卻不能識別，因此我們需要人工來一次又一次地重復這個工作。
 
             大數(shù)據(jù)目前的情況和計算機發(fā)展的軌跡有點相似。一種先進的技術，最初往往只被幾名精英掌握，但隨著時間流逝，通過不斷地技術創(chuàng)新和投資，這項技術，或者說工具，會變得越來越好。特別是當其融入到商業(yè)領域中后，這項工具就能得到廣泛應用，成為社會中的主流。
 
           所以我們現(xiàn)在是歷史的見證者，看著大數(shù)據(jù)如何一步步完善，我們都需要掌握或選擇一個最佳的分析方法，以更好地挖掘出大數(shù)據(jù)的價值。