大數(shù)據(jù)戰(zhàn)爭_數(shù)據(jù)分析師

“喂？不要！不要！”
    辦公室里常能聽見這樣簡短的手機(jī)對話。你的同事在不到3秒的時間內(nèi)對這個未知來電按下了結(jié)束通話的按鈕。而電話的另一頭，你都可以想象到是一個甜膩客氣至極的推銷員聲音?，F(xiàn)如今，你以及你的同事常常會被莫名其妙的廣告推銷電話、短信所困擾，以至于智能手機(jī)上都必備一個能自動屏蔽騷擾電話和垃圾短信的小軟件。對于這類事情，其實(shí)你只要稍微細(xì)想一下就能發(fā)現(xiàn)至少兩個問題：一是你的姓名、手機(jī)號、家庭住址等私人信息肯定被某無良的中介、營業(yè)廳或是網(wǎng)站給出賣了；二是這些條目簡單的數(shù)據(jù)信息真的就能賣錢！

 
    在這個科技高速發(fā)展的信息時代，我們的日常生活基本上都可以數(shù)字化地表示。你幾點(diǎn)幾分從什么位置的家出門，坐什么車花了多長時間到了工作地點(diǎn)。這期間，你每發(fā)一次微博和打一次電話，包括經(jīng)緯度在內(nèi)的精確地理位置信息都被記錄在案，而你的通話記錄在許多年之后仍可以被調(diào)閱查詢。電子設(shè)備日新月異，互聯(lián)網(wǎng)無孔不入，你的一舉一動都產(chǎn)生了大量的數(shù)據(jù)。雖然，現(xiàn)在大數(shù)據(jù)的概念被熱炒，但大數(shù)據(jù)本身并不是技術(shù)，而是一種可以催生出技術(shù)的時代現(xiàn)象。記錄和管理這些數(shù)據(jù)成為信息時代的突出特征，我們稱之為“大數(shù)據(jù)時代”的降臨也并不過分。雖然你自己可能意識不到，也不懂玄妙的科技內(nèi)核，但是這些龐大的、看似平常而又瑣碎的數(shù)據(jù)其實(shí)已經(jīng)形成了一種寶貴的資源。大數(shù)據(jù)可以帶來驚人的財(cái)富，因此它也成為了人們爭相搶奪的目標(biāo)。若想把握未來，就一定不能放棄這個沒有硝煙的新戰(zhàn)場。


    大數(shù)據(jù)有多大？ 

    近10年來，世界上電子數(shù)據(jù)增長的規(guī)模和速度是異常驚人的。美國國家安全局自2001年，也就是9·11事件發(fā)生前7個月始，就一直在不分類別地搜集和保存所有美國公民的詳細(xì)電話通訊記錄，5年內(nèi)這一數(shù)量就多達(dá)1.9萬億條。由于涉嫌侵犯公民的隱私，這一情況直到2006年被《今日美國》披露后受到了廣泛的質(zhì)疑?，F(xiàn)如今，數(shù)據(jù)量的增長更是指數(shù)級的。2009年，美國政府產(chǎn)生的數(shù)據(jù)達(dá)848PB（848×106GB），并且僅美國的醫(yī)療數(shù)據(jù)就達(dá)150EB（150×109GB）。2011年全球產(chǎn)生的數(shù)據(jù)量已經(jīng)達(dá)到了1.8ZB（1.8×1012GB），并且預(yù)計(jì)將每年翻番。


    產(chǎn)生如此多的數(shù)據(jù)并不難理解。從二維碼的流行以及智能電子設(shè)備的普及就可以感受到，我們周遭的所有東西基本都電子化了，物聯(lián)網(wǎng)正在悄然搭建。可以細(xì)想一下，你身邊哪怕是最簡單的一個物件都曾在超市里有過一個一維條碼。也正是因?yàn)橐痪S碼的數(shù)據(jù)信息存儲量不再能滿足日常生活，二維碼才開始廣泛應(yīng)用的。未來，哪怕是一棟建筑、一輛汽車也都將會有二維碼，通過手機(jī)掃描這個碼，我們可以即刻在網(wǎng)上搜索到關(guān)于它的所有歷史信息數(shù)據(jù)。世界上將不再會有未被編碼的漏網(wǎng)之魚了。也可以說，一旦被遺漏，那么它就等同于不存在。


    不過，巨大數(shù)據(jù)量的產(chǎn)生如果只是關(guān)于死物的話，那倒并沒有什么值得大驚小怪的。真正會帶來革命性改變的是關(guān)于活人的數(shù)據(jù)信息。大數(shù)據(jù)時代形成至關(guān)重要的一點(diǎn)就是，人類行動的數(shù)據(jù)信息終于可以被系統(tǒng)地、規(guī)?；卣瓶亓恕８鶕?jù)公路、公交、地鐵、出租車、商場及辦公樓等建筑物里現(xiàn)有攝像頭的安裝數(shù)量估計(jì)，如果說一個人每天在監(jiān)視器上出鏡次數(shù)過百，你應(yīng)該一點(diǎn)也不感到新奇。特別是，我們現(xiàn)在的工作和生活一刻也離不開電腦和智能終端。也就是說，你的一舉一動都會產(chǎn)生大量的數(shù)據(jù)，并被互聯(lián)網(wǎng)和移動運(yùn)營商記錄下來。要知道，預(yù)測人類的行為，這在以往基本上是不可能完成的任務(wù)。而在大數(shù)據(jù)時代，研究和預(yù)測人類的行為終于變?yōu)榭赡?，這一點(diǎn)意義非凡。

 
    人類的行為究竟可不可以預(yù)測？

    有人會質(zhì)疑，人類的行為這么復(fù)雜，影響因素那么多，所思所想與所做所為大相徑庭，表里不一、謊話連篇的人比比皆是。特別是，真實(shí)思想不可能被電子設(shè)備捕捉，僅僅依托于分析你以往的行動歷史，怎么就能預(yù)測出你之后的實(shí)際行為？

 
    的確，長久以來，人們都普遍抱有類似的觀點(diǎn)，認(rèn)為日食和流星雨等自然規(guī)律是可以預(yù)測的，但是所有的預(yù)測一旦涉及到歷史和社會科學(xué)問題，就只能以失敗告終。還有人認(rèn)為，事情順其自然地發(fā)生就好，預(yù)測本身就沒什么意義。但事實(shí)上，預(yù)測在我們周圍無處不在。比如，天氣預(yù)報(bào)因?yàn)闃O大地影響人們的工作和生活而成為收視率最高的節(jié)目，工作計(jì)劃也是每年每月必做的功課；甚至，建一棟房子，修一條馬路前都需要預(yù)估容量和車流量，不然建大了是浪費(fèi)，建小了會擁堵。

 
    關(guān)于人類行為的預(yù)測，其實(shí)只需要理解一條精髓就好——人都是習(xí)慣的奴隸。事實(shí)上，精確地預(yù)測出一個人下一分下一秒會做什么動作毫無必要。只需要大概預(yù)估出某人在某一天的某一個時間很可能出現(xiàn)在什么位置，就已經(jīng)能產(chǎn)生巨大的作用和影響了。以你自己為例，想預(yù)測你周三下午3點(diǎn)的位置一點(diǎn)也不難，因?yàn)槟阍诠ぷ鲉挝坏目赡苄苑浅Ｖ摺９ぷ魅绽?，你起床、出門、乘坐何種交通工具，到達(dá)單位，吃飯以及回家的時間和路線基本都有章可循。稍稍研究一下你周末的出行和聚會習(xí)慣，也可以發(fā)現(xiàn)不少規(guī)律。甚至細(xì)想一下，你和某人約會的地點(diǎn)，都很可能常常是某一家咖啡館或餐廳。也許你會生病請假、出差辦事，但那都是異常情況。我們基于各人習(xí)慣進(jìn)行預(yù)測的準(zhǔn)確度確實(shí)會因人而異，但總體上講，準(zhǔn)確度都比你想象的高。

 
    由于人類從來沒有像今天這樣如此依賴網(wǎng)絡(luò)和電子設(shè)備，因此，大數(shù)據(jù)時代產(chǎn)生如此多的電子蹤跡讓研究每個人、每個群體，甚至整個人類的習(xí)慣成為了可能。這可以帶來很美好的生活。比如，基于對你位置的實(shí)時定位和數(shù)據(jù)分享，在你進(jìn)地庫時就開始著車，進(jìn)門前就亮燈，坐在位置前電腦就開啟，咖啡就上桌，這些在技術(shù)上并不難實(shí)現(xiàn)。同樣，基于對你的蹤跡的預(yù)測，你每走一步之前都可以設(shè)計(jì)好一個陷阱等著你，你這一步踩不到，下一步也總能踩到。以前的“飛天大盜”要實(shí)地勘察幾個月甚至數(shù)年來分析某人或某機(jī)構(gòu)的習(xí)慣規(guī)律以實(shí)施犯罪行為。以后，只需要一臺電腦和簡單的黑客手段就可以做到了。而GPS實(shí)時定位信息及預(yù)測僅僅是大數(shù)據(jù)時代一個很小的斷面，你可以據(jù)此推想其他方面更為美好或更為恐怖的生活狀態(tài)。

    商機(jī)還是危機(jī)？競爭還是戰(zhàn)爭？

    當(dāng)你進(jìn)入亞馬遜的網(wǎng)站時，它會“猜測”你可能會喜歡什么樣的產(chǎn)品，并在首頁給你推薦。當(dāng)你瀏覽京東網(wǎng)頁上的某一產(chǎn)品時，類似的產(chǎn)品鏈接就在旁邊方便你點(diǎn)擊、比對。這是因?yàn)樵陔娔X上，你什么時間瀏覽了什么網(wǎng)站，點(diǎn)擊了哪些鏈接，網(wǎng)上購物時買了什么樣的東西，花了多少錢，你中間點(diǎn)擊了哪些、什么樣、什么價格的產(chǎn)品，最后做出了什么樣的選擇都有跡可尋。大型電商網(wǎng)站會基于這些數(shù)據(jù)，分析顧客習(xí)慣并優(yōu)化自己的產(chǎn)品結(jié)構(gòu)，變更網(wǎng)頁，以達(dá)到促進(jìn)、方便消費(fèi)的目的。這是通過“數(shù)據(jù)相似性”的簡單應(yīng)用就達(dá)到特別成功效果的一個典型案例。由于云技術(shù)和物聯(lián)網(wǎng)慢慢滲透到我們生活的方方面面，以及物流業(yè)的蓬勃發(fā)展，我們過上了更為便利的生活。也正是基于這些變化，實(shí)體商店正在電商的打壓下迅速走向衰落。
 

    從企業(yè)層面來講，大數(shù)據(jù)已經(jīng)帶來了產(chǎn)業(yè)的巨大改變，因此這是一個商機(jī)和危機(jī)并存的時代。比如，看著淘寶、京東實(shí)力的擴(kuò)大，傳統(tǒng)的電器賣場蘇寧也開始走向電商轉(zhuǎn)型的道路。銀行保險(xiǎn)業(yè)更是先一步就建立了大規(guī)模、高水平的數(shù)據(jù)中心和研究機(jī)構(gòu)。理財(cái)、保險(xiǎn)產(chǎn)品的設(shè)計(jì)和定價沒有客戶數(shù)據(jù)的采集和分析作依托，就是無稽之談。谷歌、微軟之類的公司之所以強(qiáng)大，正是因?yàn)辇嫶笥脩魯?shù)量帶來的海量用戶大數(shù)據(jù)讓他們占盡了優(yōu)勢。


    從國家層面來講，大數(shù)據(jù)同樣已經(jīng)成為一個改變實(shí)力消長的重要環(huán)節(jié)，國與國之間的競爭在大數(shù)據(jù)時代的表現(xiàn)將是信息上的殘酷戰(zhàn)爭。這并不是危言聳聽。在過去，掌握真實(shí)材料和撰寫歷史是只有極少數(shù)人才可以享有的一種特權(quán)，研究和發(fā)現(xiàn)人類的行為規(guī)律很難也很不精確。而在大數(shù)據(jù)時代，無法估量的信息數(shù)據(jù)就那么冷冰冰地躺在那里，它本身雖然沒有生命，但是通過管理、篩選和分析，許多關(guān)于人類社會行為的論點(diǎn)會被驗(yàn)證也會被推翻，許多人類行為的奧秘也會浮出水面。正如同掌握了日月星辰的規(guī)律才可以預(yù)測并加以利用一樣，未來誰能從大數(shù)據(jù)中發(fā)現(xiàn)并掌握人類行為的規(guī)律，才能在信息時代的嚴(yán)酷戰(zhàn)爭中處于優(yōu)勢地位。

 
    大數(shù)據(jù)是不是讓我們更加無助？


    應(yīng)該說，在科技改變生活的大數(shù)據(jù)時代，人文社會科學(xué)領(lǐng)域燃起了新的希望。在科學(xué)的研究方法指導(dǎo)下，社會調(diào)查和實(shí)踐的難度在降低，規(guī)律的發(fā)現(xiàn)和驗(yàn)證變得可行。以往社會科學(xué)工作者們對于社會組織架構(gòu)及人類行為的許多理論都是空想，以后基于大量科學(xué)、可靠的數(shù)據(jù)，就可以進(jìn)行實(shí)實(shí)在在的調(diào)查研究。

    大到一個國家，小到一個行業(yè)，這些數(shù)據(jù)都非常寶貴，其重要作用不可小覷。舉一個簡單的例子，我們國家是一個人口基數(shù)龐大的國家，因此病患也非常多，從醫(yī)療衛(wèi)生的角度考慮，醫(yī)療、養(yǎng)老都是巨大的負(fù)擔(dān)。但是，如果我們從醫(yī)藥、治療的角度來講，這些病患則是一筆巨大的財(cái)富，患者生病、治療及用藥產(chǎn)生的大量數(shù)據(jù)為我們進(jìn)行醫(yī)療研究、藥品研發(fā)提供了大量鮮活的樣本。實(shí)際上，中國也正因?yàn)榛颊邩颖镜母叱渥懵?，已?jīng)成為了國際藥品企業(yè)爭相利用的市場，而中國的不少醫(yī)生也因?yàn)椤耙姸嘧R廣”而成為技術(shù)嫻熟的名醫(yī)。同理，由于人口眾多，大數(shù)據(jù)也為我國社會科學(xué)領(lǐng)域的迅速崛起提供了前所未有的機(jī)遇，如果能把握住就能贏得未來，把握不住就會一敗涂地。

    對個人而言，不少人在了解了大數(shù)據(jù)之后，都會為更美的明天而欣喜，但同時也會因不自覺地陷入了數(shù)據(jù)的囹圄而擔(dān)憂和驚惶。無時無刻不被數(shù)據(jù)的大網(wǎng)監(jiān)視和洞察，讓人無所適從。雖然現(xiàn)在不少人都樂于在網(wǎng)絡(luò)上大搞“生活秀”，但沒有隱私地做一個透明人，終究不是所有人的愿望。有人擔(dān)心，大數(shù)據(jù)時代的到來會將人類置于無助的境地。但事實(shí)上，如同所有科技一樣，數(shù)字都是死的，關(guān)鍵在于運(yùn)用它的人。大數(shù)據(jù)帶來的是天堂還是地獄也取決于掌握它的人。此外，即使大數(shù)據(jù)天網(wǎng)恢恢，它所捕捉的永遠(yuǎn)是人的行為，而非思想。而對于人類而言，腦袋里裝的東西才是真正可以永恒的財(cái)富，巨型的數(shù)據(jù)機(jī)器是掠奪不走的。這就好比，從無處不在的攝像頭，你可以看到我最近經(jīng)常會去某個商場和某家店逛，并精確分析列出我去的次數(shù)、時間以及停留的時長，并據(jù)此得出我是一個購物狂或時尚癖的結(jié)論。可實(shí)際上，我心里所想?yún)s是為了去那里“偶遇”之前曾一見鐘情的一位不知名的美麗姑娘。

    大數(shù)據(jù)的特征

 
    大數(shù)據(jù)是指大量、高速、復(fù)雜、變化不定的數(shù)據(jù)，需要用先進(jìn)的方法和技術(shù)實(shí)現(xiàn)信息的收集、存儲、分配、管理和分析。

 
    體量大、類型多和速度快是大數(shù)據(jù)的顯著特征。目前，15%的信息是結(jié)構(gòu)化信息，便于存儲在關(guān)系型數(shù)據(jù)庫中。電子郵件、視頻、呼叫中心對話和社交媒體等非結(jié)構(gòu)化信息占85%。這對于運(yùn)用常規(guī)的業(yè)務(wù)情報(bào)工具來提取有意義的信息造成了挑戰(zhàn)。傳感器、平板電腦和移動電話等產(chǎn)生信息的設(shè)備繼續(xù)成倍增加。隨著全世界的聯(lián)系更加緊密，社交網(wǎng)絡(luò)也在加速發(fā)展。這些共享信息的選擇意味著公眾、政府和企業(yè)間互動方式的根本轉(zhuǎn)變。

 
    從大數(shù)據(jù)的特征來看，數(shù)據(jù)源增加，傳感器的分辨率提高，使得大數(shù)據(jù)的體量大。數(shù)據(jù)源增加，數(shù)據(jù)通訊的吞吐量提高，數(shù)據(jù)生成設(shè)備的計(jì)算能力提高，使得大數(shù)據(jù)的速度快。移動設(shè)備、社交媒體、視頻、聊天、基因組學(xué)研究和各種傳感器使得大數(shù)據(jù)的類型多。以數(shù)據(jù)為基礎(chǔ)的決策要可追溯，要有理有據(jù)，這使得大數(shù)據(jù)還應(yīng)具備準(zhǔn)確性的特征。

 
    大數(shù)據(jù)的這些特征將決定政府在大數(shù)據(jù)業(yè)務(wù)和整個大數(shù)據(jù)生態(tài)系統(tǒng)中收集、分析、管理、存儲及分配數(shù)據(jù)的方式。