大數(shù)據(jù)的幕后推手是什么_數(shù)據(jù)分析師

 
今年全國(guó)兩會(huì)時(shí)，“大數(shù)據(jù)” (Big data)第一次出現(xiàn)在政府工作報(bào)告中，這表明我國(guó)對(duì)大數(shù)據(jù)重要性的認(rèn)識(shí)上升到了國(guó)家層面。信息產(chǎn)業(yè)發(fā)達(dá)國(guó)家，如美、英、德、日等此前已將大數(shù)據(jù)作為國(guó)家核心競(jìng)爭(zhēng)力提升為了國(guó)家戰(zhàn)略。數(shù)字主權(quán)將是繼邊防、海防、空防之后，又一個(gè)大國(guó)博弈的空間。
　　
一、大數(shù)據(jù)的定義和特征
　　
大數(shù)據(jù)并非現(xiàn)在才出現(xiàn)。中國(guó)東漢時(shí)期人口已達(dá)6千多萬(wàn)，這顯然是一個(gè)大數(shù)據(jù)，但不是今天討論的大數(shù)據(jù)。維基百科對(duì)大數(shù)據(jù)的定義為：“大數(shù)據(jù)意指一個(gè)超大、難以用現(xiàn)有常規(guī)的數(shù)據(jù)庫(kù)管理技術(shù)和工具處理的數(shù)據(jù)集?！盜DC(互聯(lián)網(wǎng)數(shù)據(jù)中心)報(bào)告對(duì)大數(shù)據(jù)的定義為：“大數(shù)據(jù)技術(shù)描述了一種新一代技術(shù)和構(gòu)架，用于以很經(jīng)濟(jì)的方式、以高速的捕獲、發(fā)現(xiàn)和分析技術(shù)，從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值?！贝髷?shù)據(jù)研究的目的是將數(shù)據(jù)轉(zhuǎn)化為知識(shí)，探索數(shù)據(jù)的產(chǎn)生機(jī)制，進(jìn)行預(yù)測(cè)和政策制定。建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心，通過(guò)找出一個(gè)關(guān)聯(lián)物并監(jiān)控它，我們就能預(yù)測(cè)未來(lái)。
　　
大數(shù)據(jù)同過(guò)去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個(gè)V來(lái)總結(jié)(Volume、Variety、Value和Velocity)，即體量大、多樣性、價(jià)值密度低和處理速度快。具體來(lái)講，一是數(shù)據(jù)體量巨大。數(shù)據(jù)信息計(jì)量的最小基本單位是字節(jié)(Byte) ，換言之， Byte是計(jì)算機(jī)信息技術(shù)用于計(jì)量存儲(chǔ)容量和傳輸容量的一種計(jì)量單位，一個(gè)字節(jié)等于8位二進(jìn)制數(shù)，在UTF-8編碼中，一個(gè)英文字符等于一個(gè)字節(jié)。數(shù)據(jù)存儲(chǔ)是以“字節(jié)”(Byte)為單位，數(shù)據(jù)傳輸是以“位”(bit)為單位，一個(gè)位就代表一個(gè)0或1(即二進(jìn)制)，每8個(gè)位(bit)組成一個(gè)字節(jié)(Byte)。8bit=1Byte，數(shù)據(jù)存儲(chǔ)是以10進(jìn)制表示，數(shù)據(jù)傳輸是以2進(jìn)制表示，所以1KB不等于1000B，而是1KB=1024B， K是千， M是兆 ，G是吉咖， T是太拉。按信息量從小到大的順序，單位分別是：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，除了 1Byte=8bit而外，后續(xù)的計(jì)量單位均按照進(jìn)率1024(2的10次方)來(lái)計(jì)算。大數(shù)據(jù)的“大”沒(méi)有精確的定義，不同的時(shí)代對(duì)應(yīng)著不同的大數(shù)據(jù)規(guī)模，當(dāng)前大數(shù)據(jù)的數(shù)據(jù)規(guī)模在GB、TB、PB、EB、ZB這幾個(gè)規(guī)模尺度上。二是數(shù)據(jù)類型多樣?，F(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。三是價(jià)值密度低。以視頻為例，一小時(shí)的視頻，在不間斷的監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。大數(shù)據(jù)分析猶如“大海撈針”。四是處理速度快。數(shù)據(jù)處理遵循“1秒定律”，需從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息。
　　
二、大數(shù)據(jù)的主要成因
　　
大數(shù)據(jù)的背后推手有哪些?以下三大因素是大數(shù)據(jù)的主要成因：
　　
第一，人類保持?jǐn)?shù)據(jù)的能力增強(qiáng)。
　　
1965年，英特爾的創(chuàng)始人之一戈登·摩爾提出了著名的摩爾定律。該定律認(rèn)為，同一面積集成電路上可容納的晶體管數(shù)量，一到兩年將增加一倍?；仡櫚雮€(gè)多世紀(jì)的歷史，硬件技術(shù)的發(fā)展基本符合摩爾定律。以物理存儲(chǔ)器為例，其性能不斷上升，與此同時(shí)，價(jià)格不斷下降。1955年，IBM推出第一款商用硬盤存儲(chǔ)器，一兆字節(jié)的存儲(chǔ)量需要6000多美元。到2010年，一兆字節(jié)的存儲(chǔ)量?jī)H僅需要0.005美分。半個(gè)多世紀(jì)，存儲(chǔ)器的價(jià)格下降了1億倍！
　　
預(yù)計(jì)2020年，1太硬盤的價(jià)格將下降到3美元，相當(dāng)于一杯咖啡的價(jià)格。一所普通大學(xué)的圖書館，其館藏量大約就一兩個(gè)太。也就是說(shuō)，到2020年，只需要花上一杯咖啡的錢，就可以把一個(gè)圖書館的全部信息拷進(jìn)一個(gè)小小的硬盤。正是因?yàn)榇鎯?chǔ)器的價(jià)格在半個(gè)世紀(jì)之內(nèi)經(jīng)歷了空前絕后的下降，人類才可能以非常低廉的成本保存海量的數(shù)據(jù)，這為大數(shù)據(jù)時(shí)代的到來(lái)鋪平了硬件道路，打下了堅(jiān)實(shí)的物質(zhì)基礎(chǔ)。
　　
第二，人類生產(chǎn)數(shù)據(jù)的能力增強(qiáng)。
　　
從2004年起，以臉譜網(wǎng)(Face book)、推特(Twitter)為代表的社交媒體相繼問(wèn)世，拉開了互聯(lián)網(wǎng)的嶄新時(shí)代—2.0時(shí)代。社交媒體的問(wèn)世，帶來(lái)以下三大變化：
　　
一是社交媒體把交流和協(xié)同的功能推到了一個(gè)登峰造極的高度。在此之前，互聯(lián)網(wǎng)的主要作用是信息的傳播和分享，其最主要的組織形式是建立網(wǎng)站，但網(wǎng)站是靜態(tài)的。進(jìn)入Web2.0時(shí)代之后，互聯(lián)網(wǎng)開始成為人們實(shí)時(shí)互動(dòng)、交流協(xié)同的載體。2011年8月23日，美國(guó)弗吉尼亞州發(fā)生5.9級(jí)地震，紐約市居民首先在推特上看到這個(gè)消息，幾秒鐘之后，人們才感覺(jué)到地震波從震中傳過(guò)來(lái)的震感。社交媒體把人類信息傳播的速度，帶到了比地震波還快的時(shí)代！
　　
二是社交媒體推動(dòng)數(shù)據(jù)總量驟然增加。由于社交媒體的橫空出世，人類自己開始在互聯(lián)網(wǎng)上生產(chǎn)數(shù)據(jù)，例如發(fā)推特、微博和微信，記錄各自的活動(dòng)和行為，全世界的網(wǎng)民都是數(shù)據(jù)的生產(chǎn)者，每個(gè)網(wǎng)民都猶如一個(gè)信息系統(tǒng)、一個(gè)傳感器，不斷地制造數(shù)據(jù)，這引發(fā)了人類歷史上迄今為止最龐大的數(shù)據(jù)爆炸。2012年，喬治敦大學(xué)的教授李塔魯考察了推特上產(chǎn)生的數(shù)據(jù)量，他做出估算說(shuō)，過(guò)去50年，《紐約時(shí)報(bào)》總共產(chǎn)生了30億個(gè)單詞的信息量，現(xiàn)在僅僅一天，推特上就產(chǎn)生了80億個(gè)單詞的信息量。也就是說(shuō)，如今一天產(chǎn)生的數(shù)據(jù)總量相當(dāng)于《紐約時(shí)報(bào)》100多年產(chǎn)生的數(shù)據(jù)總量。
　　
數(shù)據(jù)量的增長(zhǎng)到現(xiàn)在，已經(jīng)不是以我們所熟知的多少G和多少T來(lái)描述了，而是以P(1千T)，E(1百萬(wàn)T)或Z(10億T)為計(jì)量單位。百度對(duì)此給予了更形象的描述。僅其新首頁(yè)導(dǎo)航每天就要從超過(guò)1.5PB的數(shù)據(jù)中進(jìn)行挖掘，這些數(shù)據(jù)如果打印出來(lái)將超過(guò)5千億張A4紙，摞起來(lái)會(huì)超過(guò)4萬(wàn)公里高，接近地球同步衛(wèi)星軌道長(zhǎng)度，平鋪可以鋪滿海南島。而2020年新增的數(shù)字信息將是2009年的近45倍。如今，只需要兩天就能創(chuàng)造出自文明誕生以來(lái)到2003年所產(chǎn)生的數(shù)據(jù)總量。
　　
三是社交媒體使人類的數(shù)據(jù)世界更為復(fù)雜。數(shù)據(jù)包含兩類數(shù)據(jù)：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在大家發(fā)的微博中，你的帶圖片、他的帶視頻，大小、結(jié)構(gòu)完全不一樣。因?yàn)闆](méi)有嚴(yán)整的結(jié)構(gòu)，在社交媒體上產(chǎn)生的數(shù)據(jù)，也被稱為非結(jié)構(gòu)化數(shù)據(jù)。目前全世界的數(shù)據(jù)大約75%都是非結(jié)構(gòu)化數(shù)據(jù)。這部分?jǐn)?shù)據(jù)的處理，遠(yuǎn)比結(jié)構(gòu)嚴(yán)整的數(shù)據(jù)困難。
　　
第三，人類使用數(shù)據(jù)的能力增強(qiáng)。
　　
大數(shù)據(jù)之大，不僅在于其大容量，更在于其大價(jià)值。最根本的原因，是人類使用數(shù)據(jù)的能力取得了重大突破和進(jìn)展。
　　
這種突破集中表現(xiàn)在數(shù)據(jù)挖掘上。數(shù)據(jù)挖掘是指通過(guò)特定的算法對(duì)大量的數(shù)據(jù)進(jìn)行自動(dòng)分析，從而揭示數(shù)據(jù)當(dāng)中隱藏的規(guī)律和趨勢(shì)，即在大量的數(shù)據(jù)當(dāng)中發(fā)現(xiàn)新知識(shí)，為決策者提供參考。數(shù)據(jù)挖掘進(jìn)步的根本原因是人類能夠不斷設(shè)計(jì)出更強(qiáng)大的模式識(shí)別算法。正是通過(guò)數(shù)據(jù)挖掘，各大商家譜寫了不少點(diǎn)“數(shù)”成金的傳奇故事。例如沃爾瑪通過(guò)捆綁“啤酒和尿布”提高銷量。阿里巴巴等憑借長(zhǎng)期以來(lái)積累的用戶資金流水記錄，涉足金融領(lǐng)域，在幾分鐘之內(nèi)就能判斷用戶的信用資質(zhì)，決定是否為其發(fā)放貸款。
　　
2014年1月，美國(guó)的電子零售巨頭亞馬遜宣布了一項(xiàng)新的專利：“預(yù)判發(fā)貨”。即在網(wǎng)購(gòu)時(shí)，顧客還沒(méi)有下單，亞馬遜就將包裹寄出。這種顧客未動(dòng)、包裹先行的做法，核心技術(shù)還是數(shù)據(jù)挖掘。發(fā)貨的根據(jù)是顧客以前的消費(fèi)記錄、搜索記錄以及顧客的心愿，甚至包括用戶的鼠標(biāo)在某個(gè)商品頁(yè)面上停留的時(shí)間。微軟紐約研究院經(jīng)濟(jì)學(xué)家大衛(wèi)·羅斯柴爾德利用大數(shù)據(jù)準(zhǔn)確預(yù)測(cè)了2014年第86屆奧斯卡24個(gè)獎(jiǎng)項(xiàng)中的21個(gè)獎(jiǎng)項(xiàng)。 2012年，他正確預(yù)測(cè)了美國(guó)51個(gè)行政區(qū)中50個(gè)總統(tǒng)大選的結(jié)果……結(jié)果就在大數(shù)據(jù)中，驚喜已死。
　　
三、大數(shù)據(jù)應(yīng)用
　　
主要有以下四個(gè)方面：
　　
第一，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。
　　
移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)。通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。本文來(lái)自：http://cda.pinggu.org/
　　
第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎。
　　
大數(shù)據(jù)時(shí)代，面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。
　　
第三，大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。
　　
各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；可以為商家制定更加精準(zhǔn)有效的營(yíng)銷策略提供決策支持；可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)；在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)在促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作用已開始得以發(fā)揮。
　　
第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。
　　
抽樣調(diào)查是社會(huì)科學(xué)的基本研究方法。但在大數(shù)據(jù)時(shí)代，不需要通過(guò)抽樣，而是通過(guò)實(shí)時(shí)監(jiān)測(cè)、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。
　
四、大數(shù)據(jù)與反腐倡廉
　　
大數(shù)據(jù)反腐，是指利用強(qiáng)大的數(shù)據(jù)庫(kù)支持反腐的各個(gè)環(huán)節(jié)，實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)和發(fā)布。具有以下重要價(jià)值：
　　
第一，大數(shù)據(jù)為網(wǎng)絡(luò)反腐提供便利的“信息來(lái)源”。
　　
中國(guó)工程院李國(guó)杰院士指出，“數(shù)據(jù)背后是網(wǎng)絡(luò)，網(wǎng)絡(luò)背后是人，研究網(wǎng)絡(luò)數(shù)據(jù)實(shí)際上是研究人組成的社會(huì)網(wǎng)絡(luò)”。大數(shù)據(jù)為網(wǎng)絡(luò)反腐提供了一個(gè)非常龐大并且可以便利索取的“數(shù)據(jù)庫(kù)”和“信息來(lái)源”，這使得網(wǎng)絡(luò)猶如一個(gè)巨大的“信息蓄水池”。盡管這些信息是碎片化并且是無(wú)序排列的，但是可以通過(guò)設(shè)置“關(guān)鍵詞”等形式，將大數(shù)據(jù)變成小數(shù)據(jù)，從而使得信息有序排列，獲取到有價(jià)值的信息。在“楊達(dá)才事件”中，以“楊達(dá)才、安監(jiān)局”為關(guān)鍵詞，就可以獲取大量相關(guān)的信息。利用搜索、社交網(wǎng)絡(luò)、網(wǎng)絡(luò)新聞等互聯(lián)網(wǎng)服務(wù)中的語(yǔ)義分析和關(guān)鍵詞分析，掌握各地區(qū)腐敗輕重程度、廉潔指數(shù)、市民抱怨度、市民對(duì)政府的滿意度等，為反腐敗和廉政工作提供數(shù)據(jù)支撐。
　　
第二，大數(shù)據(jù)刺激并鼓勵(lì)網(wǎng)民的“掏糞運(yùn)動(dòng)”。
　　
19世紀(jì)末20世紀(jì)初，美國(guó)新聞界以雜志為主體掀起了一場(chǎng)揭露丑聞、譴責(zé)腐敗、呼喚正義與良心的運(yùn)動(dòng)，這就是著名的“掏糞運(yùn)動(dòng)”。這一名稱源于當(dāng)時(shí)的美國(guó)總統(tǒng)羅斯福。 在大數(shù)據(jù)時(shí)代，“掏糞運(yùn)動(dòng)”有越演越烈之勢(shì)。正是因?yàn)榫W(wǎng)民圍觀以及他們的“掏糞運(yùn)動(dòng)”，一件普通的事件也容易發(fā)生“多米諾骨牌效應(yīng)”，從而“拔出蘿卜帶出泥”。 “楊達(dá)才事件”，是一個(gè)微笑引發(fā)的腐敗案。一張?jiān)倨胀ú贿^(guò)的新聞圖片，被細(xì)心的“信息搬運(yùn)工”發(fā)現(xiàn)，這位官員竟然在車禍現(xiàn)場(chǎng)微笑。旋即引起網(wǎng)民圍觀，繼而被扒出佩戴多款價(jià)值不菲的名表，又因回應(yīng)言辭欠妥陷入誠(chéng)信危機(jī)，再因眼鏡、皮帶等昂貴飾物被接連曝光催生腐敗疑云，直至因涉嫌嚴(yán)重違紀(jì)被撤職。
　　
第三，大數(shù)據(jù)破解信息不對(duì)稱的監(jiān)督難題。
　　
反腐敗之難，難在信息不對(duì)稱。運(yùn)用大數(shù)據(jù)反腐敗，就像開在馬路上的汽車，任何行駛的蛛絲馬跡都逃不脫電子警察的法眼，從而真正做到全員監(jiān)控、全程監(jiān)控、全方位監(jiān)控，實(shí)現(xiàn)可記錄、可追溯、可查究。在全民圍觀時(shí)代，現(xiàn)實(shí)中再?gòu)?qiáng)勢(shì)的官員也會(huì)變成弱勢(shì)。官員不恰當(dāng)?shù)难孕信e止，都有可能引發(fā)網(wǎng)絡(luò)圍觀效應(yīng)，瞬間激起網(wǎng)民“拍磚”熱情，在虛擬社區(qū)形成巨大的輿論漩渦，并投射到現(xiàn)實(shí)社會(huì)中去。
　　
通過(guò)大數(shù)據(jù)和云計(jì)算技術(shù)建立全國(guó)性的官員資產(chǎn)紀(jì)錄大數(shù)據(jù)庫(kù)。因?yàn)樨澒倏梢酝ㄟ^(guò)白手套和假的身份文件持有資產(chǎn)，因此可以仿效英國(guó)的電子護(hù)照，在身份證和戶口當(dāng)中植入記錄指紋信息的電子芯片，這樣一來(lái)資產(chǎn)就和獨(dú)一無(wú)二的指紋對(duì)應(yīng)起來(lái)，再加上數(shù)據(jù)挖掘技術(shù)，貪官的財(cái)產(chǎn)就無(wú)處遁形。
　　
人民幣冠字號(hào)碼記錄跟蹤系統(tǒng)開始應(yīng)用于反腐敗。該系統(tǒng)是一種ATM現(xiàn)金循環(huán)保障方案，通過(guò)實(shí)時(shí)監(jiān)控交易和鈔票冠字號(hào)碼，一方面，可以幫助銀行解決自助設(shè)備現(xiàn)金循環(huán)出現(xiàn)的偽鈔糾紛、金額糾紛；另一方面，每個(gè)人正常所得工資及收入，其人民幣冠字號(hào)碼都很清楚，那么非法所得就是人民幣冠字號(hào)碼異常，這些人民幣是誰(shuí)的，到了誰(shuí)手中，誰(shuí)在哪里使用，都很清楚，因此誰(shuí)在行賄、受賄，就一目了然，因?yàn)橛腥嗣駧盘?hào)碼作證，人民幣就是“跟蹤器”，現(xiàn)金行賄就難以進(jìn)行！