什么是大數(shù)據(jù)_大數(shù)據(jù)師什么_數(shù)據(jù)分析師培訓(xùn)

《自然》雜志在2008年9月推出了名為“大數(shù)據(jù)”的封面專欄，講述了數(shù)據(jù)在數(shù)學(xué)、物理、生物、工程及社會(huì)經(jīng)濟(jì)等多學(xué)科扮演的愈加重要的角色，如今這個(gè)詞語近卻成了工商界和金融界的新寵。關(guān)于大數(shù)據(jù)的會(huì)議和論壇如雨后春筍層出不窮，但到底什么是大數(shù)據(jù)，依然眾說紛紜。我們認(rèn)為，大數(shù)據(jù)具有規(guī)模大、價(jià)值高、交叉復(fù)用、全息可見四大特征！特別地，最后兩個(gè)特征體現(xiàn)了大數(shù)據(jù)不僅僅有“規(guī)模更大的數(shù)據(jù)”這種量上的進(jìn)步，還具有不同于以前數(shù)據(jù)組織和應(yīng)用形式的質(zhì)的飛躍。

數(shù)十年來，信息產(chǎn)生、組織和流通方式革命性的變化，其中個(gè)人用戶第一次成為信息產(chǎn)生和流通的主體。你上傳到flickr的一張照片規(guī)模大約一兆，上傳到YouTube的一個(gè)視頻恐怕有數(shù)十兆，你還通過電子郵件把這些照片和視頻發(fā)給了你的朋友，用QQ和MSN聊天，用手機(jī)打電話發(fā)短信，在電子商務(wù)網(wǎng)站的瀏覽和購物，用信用卡支付，發(fā)微博，打聯(lián)網(wǎng)游戲……這一切都將轉(zhuǎn)化為數(shù)據(jù)存儲(chǔ)在世界的各個(gè)角落。不論是產(chǎn)生的信息量，可以獲取的信息量，還是流通交換的信息量，都一直呈指數(shù)增長。僅僅十余年，很多企業(yè)爬過MB時(shí)代，走過GB時(shí)代，現(xiàn)在正被趕著跑過TB時(shí)代，去迎接PB時(shí)代。事實(shí)上，如中國移動(dòng)、聯(lián)通、電信這樣的移動(dòng)通訊運(yùn)營商，如谷歌、百度、阿里巴巴、騰迅、新浪這樣的大互聯(lián)網(wǎng)公司，如國家電網(wǎng)、交通運(yùn)輸部這樣的職能部門，每天數(shù)據(jù)的更新量已經(jīng)接近或達(dá)到了PB量級(jí)。數(shù)據(jù)規(guī)模巨大且持續(xù)保持高速增長是大數(shù)據(jù)的第一個(gè)特征。

數(shù)據(jù)規(guī)模爆炸性增長的同時(shí)，數(shù)據(jù)產(chǎn)生的附加價(jià)值似乎沒有與之同步增長。有學(xué)者認(rèn)為數(shù)據(jù)價(jià)值的密度會(huì)隨著數(shù)據(jù)量增加而降低——這種悲觀的論調(diào)得不到任何必然性因果關(guān)系的支持。我們認(rèn)為，這種滯后情況的癥結(jié)在于缺乏從海量數(shù)據(jù)中挖掘價(jià)值的高效方法和技術(shù)人員。試想一組數(shù)據(jù)的價(jià)值如果是其規(guī)模的自然對(duì)數(shù)，當(dāng)你從1GB的數(shù)據(jù)中掙到9塊錢，給你1PB的數(shù)據(jù)，你只能掙到15塊錢。而如果該數(shù)據(jù)的價(jià)值和其規(guī)模成正比，那么1PB的數(shù)據(jù)可以給你帶來900萬元的價(jià)值。對(duì)于前者，我們實(shí)在慚愧稱其為大數(shù)據(jù)，最多只算是“一大堆無用的數(shù)據(jù)”罷了。舉個(gè)例子，精確到小數(shù)點(diǎn)后幾億位的π值，其規(guī)模巨大價(jià)值巨小，如果還非要往萬億位、億億位上進(jìn)行計(jì)算和存儲(chǔ)，恐怕是正好與大數(shù)據(jù)的理念背道而馳。{數(shù)據(jù)分析師培訓(xùn)}對(duì)于真正的大數(shù)據(jù)，其價(jià)值的增長應(yīng)該正比于規(guī)模的增長，甚至快于規(guī)模的增長。

剛才兩個(gè)特征主要還是針對(duì)單一數(shù)據(jù)，下面的兩個(gè)特征強(qiáng)調(diào)的是若干數(shù)據(jù)之間新的組織和應(yīng)用形式。如果每一個(gè)數(shù)據(jù)都是一個(gè)孤島，只能在其直接關(guān)聯(lián)的領(lǐng)域發(fā)揮自身的價(jià)值，那么這不是一個(gè)值得我們興奮和期待的新時(shí)代。我們要找到和實(shí)現(xiàn)數(shù)據(jù)之間一加一遠(yuǎn)大于二的價(jià)值，其間最關(guān)鍵的問題要發(fā)揮數(shù)據(jù)的外部性，譬如國家電網(wǎng)智能電表的數(shù)據(jù)可以用于估計(jì)房屋空置率，淘寶銷售數(shù)據(jù)可以用來判斷經(jīng)濟(jì)走勢，移動(dòng)通訊基站定位數(shù)據(jù)可以用于優(yōu)化城市交通設(shè)計(jì)，微博上的關(guān)注關(guān)系和內(nèi)容信息可以利用于購物推薦和廣告推送……以用戶為中心，結(jié)合用戶在不同系統(tǒng)留下的數(shù)據(jù)，充分利用個(gè)性化的數(shù)據(jù)挖掘技術(shù)，是實(shí)現(xiàn)通過數(shù)據(jù)交叉而產(chǎn)生巨大價(jià)值的最可行的途徑之一。綜上，大數(shù)據(jù)要求數(shù)據(jù)能充分發(fā)揮其外部性并通過與某些相關(guān)數(shù)據(jù)交叉融合產(chǎn)生遠(yuǎn)大于簡單加和的巨大價(jià)值！

如果谷歌把每天超過1個(gè)PB更新的數(shù)據(jù)按照他們內(nèi)部約定的格式開放給一個(gè)三四個(gè)人組成的科研團(tuán)隊(duì)或者創(chuàng)業(yè)團(tuán)隊(duì)，這種仁善之舉不會(huì)對(duì)這個(gè)團(tuán)隊(duì)有任何的幫助，因?yàn)樗麄儧]有針對(duì)這種量級(jí)的數(shù)據(jù)進(jìn)行檢索、抓取、計(jì)算、分析的能力。也許他們僅僅只對(duì)數(shù)據(jù)內(nèi)部的一個(gè)特定邏輯片段有興趣，但是他們沒有辦法知道這個(gè)邏輯片段位于這個(gè)數(shù)據(jù)的哪個(gè)位置，以及通過什么辦法獲取。想象一個(gè)披著盔甲的二維生物，其他二維生物無法看到它的內(nèi)部，但是我們作為三維人，卻可以通過第三個(gè)維度看到它所有的一切細(xì)節(jié)——低維物品對(duì)于高維生物而言是全息可見的。所以說，大數(shù)據(jù)規(guī)?？梢院艽?，但是用起來應(yīng)該像操作一個(gè)“小數(shù)據(jù)”一樣簡單，這就要求數(shù)據(jù)組織地非常好，內(nèi)部的各種內(nèi)容及關(guān)聯(lián)清晰可見且容易調(diào)用獲取。一句話，一般研究人員和開發(fā)人員可以自如獲取數(shù)據(jù)的邏輯片段并進(jìn)行分析處理。