大數(shù)據(jù)究竟是什么_數(shù)據(jù)分析師

在寫(xiě)這篇文章之前，我發(fā)現(xiàn)身邊很多IT人對(duì)于這些熱門(mén)的新技術(shù)、新趨勢(shì)往往趨之若鶩卻又很難說(shuō)的透徹，如果你問(wèn)他大數(shù)據(jù)和你有什么關(guān)系？估計(jì)很少能說(shuō)出一二三來(lái)。究其原因，一是因?yàn)榇蠹覍?duì)新技術(shù)有著相同的原始渴求，至少知其然在聊天時(shí)不會(huì)顯得很“土鱉”；二是在工作和生活環(huán)境中真正能參與實(shí)踐大數(shù)據(jù)的案例實(shí)在太少了，所以大家沒(méi)有必要花時(shí)間去知其所以然。

我希望有些不一樣，所以對(duì)該如何去認(rèn)識(shí)大數(shù)據(jù)進(jìn)行了一番思索，包括查閱了資料，翻閱了最新的專業(yè)書(shū)籍，但我并不想把那些零散的資料碎片或不同理解論述簡(jiǎn)單規(guī)整并堆積起來(lái)形成毫無(wú)價(jià)值的轉(zhuǎn)述或評(píng)論，我很真誠(chéng)的希望進(jìn)入事物探尋本質(zhì)。

如果你說(shuō)大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個(gè)V，也許很有深度的談到BI或預(yù)測(cè)的價(jià)值，又或者拿Google和Amazon舉例，技術(shù)流可能會(huì)聊起Hadoop和Cloud Computing，不管對(duì)錯(cuò)，只是無(wú)法勾勒對(duì)大數(shù)據(jù)的整體認(rèn)識(shí)，不說(shuō)是片面，但至少有些管窺蠡測(cè)、隔衣瘙癢了?！苍S，“解構(gòu)”是最好的方法。

怎樣結(jié)構(gòu)大數(shù)據(jù)？

首先，我認(rèn)為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒(méi)有必要神話它或?qū)λ３志次分?，在?a href='/map/yunjisuan/' style='color:#000;font-size:inherit;'>云計(jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類創(chuàng)造更多的價(jià)值。

其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，我著手從三個(gè)層面來(lái)展開(kāi)：

第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。我會(huì)從大數(shù)據(jù)的特征定義理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；從對(duì)大數(shù)據(jù)的現(xiàn)在和未來(lái)去洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。

第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。

第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)四個(gè)方面來(lái)描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。

 和大數(shù)據(jù)相關(guān)的理論

? 特征定義

最早提出大數(shù)據(jù)時(shí)代到來(lái)的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！?/span>

業(yè)界（IBM 最早定義）將大數(shù)據(jù)的特征歸納為4個(gè)“V”（量Volume，多樣Variety，價(jià)值Value，速Velocity），或者說(shuō)特點(diǎn)有四個(gè)層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬(wàn)個(gè)T）或Z（10億個(gè)T）；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價(jià)值密度低，商業(yè)價(jià)值高。第四，處理速度快。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

其實(shí)這些V并不能真正說(shuō)清楚大數(shù)據(jù)的所有特征，下面這張圖對(duì)大數(shù)據(jù)的一些相關(guān)特性做出了有效的說(shuō)明。