什么是大數(shù)據(jù)_大數(shù)據(jù)師什么_數(shù)據(jù)分析師培訓(xùn)

《自然》雜志在2008年9月推出了名為“大數(shù)據(jù)”的封面專欄，講述了數(shù)據(jù)在數(shù)學(xué)、物理、生物、工程及社會經(jīng)濟等多學(xué)科扮演的愈加重要的角色，如今這個詞語近卻成了工商界和金融界的新寵。關(guān)于大數(shù)據(jù)的會議和論壇如雨后春筍層出不窮，但到底什么是大數(shù)據(jù)，依然眾說紛紜。我們認為，大數(shù)據(jù)具有規(guī)模大、價值高、交叉復(fù)用、全息可見四大特征！特別地，最后兩個特征體現(xiàn)了大數(shù)據(jù)不僅僅有“規(guī)模更大的數(shù)據(jù)”這種量上的進步，還具有不同于以前數(shù)據(jù)組織和應(yīng)用形式的質(zhì)的飛躍。

數(shù)十年來，信息產(chǎn)生、組織和流通方式革命性的變化，其中個人用戶第一次成為信息產(chǎn)生和流通的主體。你上傳到flickr的一張照片規(guī)模大約一兆，上傳到YouTube的一個視頻恐怕有數(shù)十兆，你還通過電子郵件把這些照片和視頻發(fā)給了你的朋友，用QQ和MSN聊天，用手機打電話發(fā)短信，在電子商務(wù)網(wǎng)站的瀏覽和購物，用信用卡支付，發(fā)微博，打聯(lián)網(wǎng)游戲……這一切都將轉(zhuǎn)化為數(shù)據(jù)存儲在世界的各個角落。不論是產(chǎn)生的信息量，可以獲取的信息量，還是流通交換的信息量，都一直呈指數(shù)增長。僅僅十余年，很多企業(yè)爬過MB時代，走過GB時代，現(xiàn)在正被趕著跑過TB時代，去迎接PB時代。事實上，如中國移動、聯(lián)通、電信這樣的移動通訊運營商，如谷歌、百度、阿里巴巴、騰迅、新浪這樣的大互聯(lián)網(wǎng)公司，如國家電網(wǎng)、交通運輸部這樣的職能部門，每天數(shù)據(jù)的更新量已經(jīng)接近或達到了PB量級。數(shù)據(jù)規(guī)模巨大且持續(xù)保持高速增長是大數(shù)據(jù)的第一個特征。

數(shù)據(jù)規(guī)模爆炸性增長的同時，數(shù)據(jù)產(chǎn)生的附加價值似乎沒有與之同步增長。有學(xué)者認為數(shù)據(jù)價值的密度會隨著數(shù)據(jù)量增加而降低——這種悲觀的論調(diào)得不到任何必然性因果關(guān)系的支持。我們認為，這種滯后情況的癥結(jié)在于缺乏從海量數(shù)據(jù)中挖掘價值的高效方法和技術(shù)人員。試想一組數(shù)據(jù)的價值如果是其規(guī)模的自然對數(shù)，當你從1GB的數(shù)據(jù)中掙到9塊錢，給你1PB的數(shù)據(jù)，你只能掙到15塊錢。而如果該數(shù)據(jù)的價值和其規(guī)模成正比，那么1PB的數(shù)據(jù)可以給你帶來900萬元的價值。對于前者，我們實在慚愧稱其為大數(shù)據(jù)，最多只算是“一大堆無用的數(shù)據(jù)”罷了。舉個例子，精確到小數(shù)點后幾億位的π值，其規(guī)模巨大價值巨小，如果還非要往萬億位、億億位上進行計算和存儲，恐怕是正好與大數(shù)據(jù)的理念背道而馳。{數(shù)據(jù)分析師培訓(xùn)}對于真正的大數(shù)據(jù)，其價值的增長應(yīng)該正比于規(guī)模的增長，甚至快于規(guī)模的增長。

剛才兩個特征主要還是針對單一數(shù)據(jù)，下面的兩個特征強調(diào)的是若干數(shù)據(jù)之間新的組織和應(yīng)用形式。如果每一個數(shù)據(jù)都是一個孤島，只能在其直接關(guān)聯(lián)的領(lǐng)域發(fā)揮自身的價值，那么這不是一個值得我們興奮和期待的新時代。我們要找到和實現(xiàn)數(shù)據(jù)之間一加一遠大于二的價值，其間最關(guān)鍵的問題要發(fā)揮數(shù)據(jù)的外部性，譬如國家電網(wǎng)智能電表的數(shù)據(jù)可以用于估計房屋空置率，淘寶銷售數(shù)據(jù)可以用來判斷經(jīng)濟走勢，移動通訊基站定位數(shù)據(jù)可以用于優(yōu)化城市交通設(shè)計，微博上的關(guān)注關(guān)系和內(nèi)容信息可以利用于購物推薦和廣告推送……以用戶為中心，結(jié)合用戶在不同系統(tǒng)留下的數(shù)據(jù)，充分利用個性化的數(shù)據(jù)挖掘技術(shù)，是實現(xiàn)通過數(shù)據(jù)交叉而產(chǎn)生巨大價值的最可行的途徑之一。綜上，大數(shù)據(jù)要求數(shù)據(jù)能充分發(fā)揮其外部性并通過與某些相關(guān)數(shù)據(jù)交叉融合產(chǎn)生遠大于簡單加和的巨大價值！

如果谷歌把每天超過1個PB更新的數(shù)據(jù)按照他們內(nèi)部約定的格式開放給一個三四個人組成的科研團隊或者創(chuàng)業(yè)團隊，這種仁善之舉不會對這個團隊有任何的幫助，因為他們沒有針對這種量級的數(shù)據(jù)進行檢索、抓取、計算、分析的能力。也許他們僅僅只對數(shù)據(jù)內(nèi)部的一個特定邏輯片段有興趣，但是他們沒有辦法知道這個邏輯片段位于這個數(shù)據(jù)的哪個位置，以及通過什么辦法獲取。想象一個披著盔甲的二維生物，其他二維生物無法看到它的內(nèi)部，但是我們作為三維人，卻可以通過第三個維度看到它所有的一切細節(jié)——低維物品對于高維生物而言是全息可見的。所以說，大數(shù)據(jù)規(guī)?？梢院艽螅怯闷饋響?yīng)該像操作一個“小數(shù)據(jù)”一樣簡單，這就要求數(shù)據(jù)組織地非常好，內(nèi)部的各種內(nèi)容及關(guān)聯(lián)清晰可見且容易調(diào)用獲取。一句話，一般研究人員和開發(fā)人員可以自如獲取數(shù)據(jù)的邏輯片段并進行分析處理。