大數(shù)據(jù)究竟是什么？怎樣認識并讀懂大數(shù)據(jù)(1)

大數(shù)據(jù)究竟是什么？怎樣認識并讀懂大數(shù)據(jù)？身邊很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，如果你問他大數(shù)據(jù)和你有什么關系？估計很少能說出一二三來。究其原因，一是因為大家對新技術有著相同的原始渴求，至少知其然在聊天時不會顯得很“土鱉”；二是在工作和生活環(huán)境中真正能參與實踐大數(shù)據(jù)的案例實在太少了，所以大家沒有必要花時間去知其所以然。

　　如果你說大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個V，也許很有深度的談到BI或預測的價值，又或者拿Google和Amazon舉例，技術流可能會聊起Hadoop和Cloud Computing，不管對錯，只是無法勾勒對大數(shù)據(jù)的整體認識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了?！苍S，“解構”是最好的方法。

　　怎樣結構大數(shù)據(jù)？

　　首先，我認為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ３志次分?，在?a href='/map/yunjisuan/' style='color:#000;font-size:inherit;'>云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

　　其次，想要系統(tǒng)的認知大數(shù)據(jù)，必須要全面而細致的分解它，我著手從三個層面來展開：

　　第一層面是理論，理論是認知的必經(jīng)途徑，也是被廣泛認同和傳播的基線。我會從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；從對大數(shù)據(jù)的現(xiàn)在和未來去洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

　　第二層面是技術，技術是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結果的整個過程。

　　第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍圖。

　大數(shù)據(jù)相關的理論

　　最早提出大數(shù)據(jù)時代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！?/span>

　　業(yè)界（IBM 最早定義）將大數(shù)據(jù)的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質(zhì)的不同。

　　其實這些V并不能真正說清楚大數(shù)據(jù)的所有特征，下面這張圖對大數(shù)據(jù)的一些相關特性做出了有效的說明。

　　古語云：三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。先不論誰說的，但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了百般例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預測某地流感爆發(fā)的趨勢；Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進行有針對性的書籍購買推薦，以此有效提升銷售量；Farecast如何利用過去十年所有的航線機票價格打折數(shù)據(jù)，來預測用戶購買機票的時機是否合適。

　　那么，什么是大數(shù)據(jù)思維？維克托·邁爾-舍恩伯格認為，1-需要全部數(shù)據(jù)樣本而不是抽樣；2-關注效率而不是精確度；3-關注相關性而不是因果關系。

　　阿里巴巴的王堅對于大數(shù)據(jù)也有一些獨特的見解，比如，

　　“今天的數(shù)據(jù)不是大，真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點?！?/span>

　　“非互聯(lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值?！?/span>

　　“你千萬不要想著拿數(shù)據(jù)去改進一個業(yè)務，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情?！?/span>

　　特別是最后一點，我是非常認同的，大數(shù)據(jù)的真正價值在于創(chuàng)造，在于填補無數(shù)個還未實現(xiàn)過的空白。

　　有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。

　　價值探討

　　大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評估機構評定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。

　　如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”
。

　　Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎，將所有用戶的購買記錄作為數(shù)據(jù)來源，通過構建模型分析購買者的行為相關性，能準確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產(chǎn)品優(yōu)惠卷。

　　Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯(lián)物并監(jiān)控它，就可以預測未來。Target通過監(jiān)測購買者購買商品的時間和品種來準確預測顧客的孕期，這就是對數(shù)據(jù)的二次利用的典型案例。如果，我們通過采集駕駛員手機的GPS數(shù)據(jù)，就可以分析出當前哪些道路正在堵車，并可以及時發(fā)布道路交通提醒；通過采集汽車的GPS位置數(shù)據(jù)，就可以分析城市的哪些區(qū)域停車較多，這也代表該區(qū)域有著較為活躍的人群，這些分析數(shù)據(jù)適合賣給廣告投放商。