大數(shù)據(jù)與互聯(lián)網(wǎng)之間存在著什么關(guān)系_數(shù)據(jù)分析師考試

因互聯(lián)網(wǎng)的迅猛發(fā)展與普遍接入，使“大”量數(shù)據(jù)的獲取、聚集、存儲(chǔ)、傳輸、處理、分析等變得越來(lái)越便捷，大數(shù)據(jù)逐漸發(fā)展成為一門新學(xué)科、一套新學(xué)說(shuō)以及一種分析與解決問(wèn)題，尤其是決策與預(yù)測(cè)問(wèn)題的新方法、新手段。大數(shù)據(jù)與互聯(lián)網(wǎng)的發(fā)展相輔相成。一方面，互聯(lián)網(wǎng)的發(fā)展為大數(shù)據(jù)的發(fā)展提供了更多數(shù)據(jù)、信息與資源;另一方面，大數(shù)據(jù)的發(fā)展為互聯(lián)網(wǎng)的發(fā)展提供了更多支撐、服務(wù)與應(yīng)用。近年來(lái)，移動(dòng)通信與移動(dòng)互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)等互聯(lián)網(wǎng)新技術(shù)、新應(yīng)用、新發(fā)展模式的推陳出新，更使互聯(lián)網(wǎng)變得越來(lái)越“無(wú)所不在”，由此而產(chǎn)生的數(shù)據(jù)越來(lái)越多、越來(lái)越“大”。繼數(shù)字時(shí)代、信息時(shí)代、互聯(lián)網(wǎng)時(shí)代后，人類又進(jìn)入了大數(shù)據(jù)時(shí)代。

　　據(jù)2014 年1 月中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)最新發(fā)布的《第33 次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》稱，截至2013 年12 月，中國(guó)網(wǎng)民規(guī)模達(dá)到了6.18 億(全球網(wǎng)民數(shù)量在28 億左右)、全年新增網(wǎng)民5358 萬(wàn)、互聯(lián)網(wǎng)普及率45.8%、手機(jī)網(wǎng)民規(guī)模達(dá)到了5 億(全球手機(jī)用戶數(shù)量在48 億左右)、全年新增手機(jī)網(wǎng)民8009 萬(wàn)，數(shù)量巨大、增長(zhǎng)迅猛;此外，2013 年，中國(guó)網(wǎng)民人均每周上網(wǎng)時(shí)長(zhǎng)達(dá)到了25 小時(shí)，相比2012 年增長(zhǎng)4.5小時(shí)。就大數(shù)據(jù)而言，僅中國(guó)，在擁有這么多數(shù)據(jù)“接收者”與“讀者”的同時(shí)，就潛在地?fù)碛辛诉@么多數(shù)據(jù)的“發(fā)送者”與“作者”，并潛在地一周二十幾小時(shí)在“生產(chǎn)”與“輸出”各種各樣的數(shù)據(jù)，這些數(shù)據(jù)可以是文本、音頻、視頻、位置、圖片等結(jié)構(gòu)化的、半結(jié)構(gòu)化的或非結(jié)構(gòu)化的數(shù)據(jù)，信息消費(fèi)、信息交互、信息活動(dòng)等已成為人們?nèi)粘９ぷ髋c生活的重要內(nèi)容，人們?cè)絹?lái)越感覺“一日不可無(wú)網(wǎng)”。近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)與應(yīng)用向“物”的世界的急劇延伸和擴(kuò)展，物聯(lián)網(wǎng)應(yīng)運(yùn)而生，未來(lái)全球可掛網(wǎng)上的“物”的數(shù)量將比上網(wǎng)的“人”的數(shù)量要大得多，必將產(chǎn)生更“大”的數(shù)據(jù)，這些將極大推動(dòng)經(jīng)濟(jì)社會(huì)、生產(chǎn)生活、思維觀念、政府政務(wù)、社會(huì)管理、社會(huì)安全等的變化與發(fā)展。

　　當(dāng)然，大數(shù)據(jù)與互聯(lián)網(wǎng)的發(fā)展在帶來(lái)巨大機(jī)遇的同時(shí)，也帶來(lái)了巨大挑戰(zhàn)，如何建設(shè)好、應(yīng)用好、管理好、發(fā)展好大數(shù)據(jù)與互聯(lián)網(wǎng)，保證其安全，對(duì)廣大的技術(shù)人員與管理人員、應(yīng)用領(lǐng)域與各級(jí)政府提出了新課題、新要求、新挑戰(zhàn)。

　　大數(shù)據(jù)的基本特性與體系框架

　　1. 基本特性

　　大數(shù)據(jù)是指數(shù)量/ 容量規(guī)模在PB 級(jí)(即1015 字節(jié))以上的數(shù)據(jù)，其基本特性主要體現(xiàn)在所謂的“4V”上：

　　* 體量巨大(Volume)

　　* 種類繁多(Variety)

　　* 蘊(yùn)含的商業(yè)價(jià)值高(Value)

　　* 要求的處理速度快(Velocity)

　　如圖1 所示。

　　面對(duì)巨大、復(fù)雜、高速、變化不定的大數(shù)據(jù)，需要有別于傳統(tǒng)數(shù)據(jù)處理技術(shù)的、全新的技術(shù)體系、分析方法和處理模式。

　　利用新技術(shù)、新方法、新模式，從數(shù)量巨大和種類繁多的數(shù)據(jù)中、在有限的時(shí)間內(nèi)快速獲得有價(jià)值的信息，就是大數(shù)據(jù)，化“數(shù)”為“據(jù)”、定“不確定性”、發(fā)現(xiàn)規(guī)律、輔助決策、預(yù)測(cè)未來(lái)，正是大數(shù)據(jù)的價(jià)值所在，也是互聯(lián)網(wǎng)時(shí)代，大數(shù)據(jù)走向企業(yè)、走向社會(huì)、走向應(yīng)用并實(shí)現(xiàn)自身不斷發(fā)展的潛力所在。在大數(shù)據(jù)與互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)將成為經(jīng)濟(jì)社會(huì)運(yùn)行中不可或缺的核心資源。中國(guó)正朝著這個(gè)時(shí)代方向在努力奔跑，但還有一段距離，還有不少的路要走?；趯?duì)大數(shù)據(jù)的研究與利用，將形成新的、巨大的產(chǎn)業(yè)鏈，涉及大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)、大數(shù)據(jù)應(yīng)用等眾多領(lǐng)域。

　　2. 體系框架

　　從體系框架來(lái)看，大數(shù)據(jù)主要由三部分組成：

　　* 數(shù)據(jù)采集與準(zhǔn)備體系

　　* 數(shù)據(jù)建模與分析體系

　　* 分析結(jié)果解釋與數(shù)據(jù)質(zhì)量評(píng)價(jià)體系

　　當(dāng)中最核心、最關(guān)鍵的部分是數(shù)據(jù)建模與分析體系，由過(guò)去更多依托“炒菜”式的試驗(yàn)方法來(lái)發(fā)現(xiàn)規(guī)律，轉(zhuǎn)為從“大”的歷史數(shù)據(jù)、已有數(shù)據(jù)中找尋事物之間的內(nèi)在聯(lián)系與潛在規(guī)律、消除“不確定性”及為決策與預(yù)測(cè)提供強(qiáng)有力支撐，是大數(shù)據(jù)區(qū)別于過(guò)去分析與研究方法的最大特點(diǎn)。

　　從應(yīng)用層次來(lái)看，大數(shù)據(jù)分析可分為三個(gè)基本層次：

　　* 僅將數(shù)據(jù)分析當(dāng)作單獨(dú)工具使用，不專門建系統(tǒng);

　　* 將數(shù)據(jù)分析嵌入系統(tǒng)，成為部門級(jí)應(yīng)用;

　　* 數(shù)據(jù)分析的企業(yè)級(jí)應(yīng)用，將之作為整個(gè)企業(yè)決策與運(yùn)營(yíng)的“CPU”。

　　目前，國(guó)內(nèi)應(yīng)用數(shù)據(jù)分析技術(shù)和工具(當(dāng)然這離大數(shù)據(jù)的要求還有很大距離)的企業(yè)基本還處于第一層次，某些企業(yè)能夠做到第二層次，第三層次的則可以說(shuō)基本還沒(méi)有，只有達(dá)到了第三層次，使數(shù)據(jù)分析真正成為企業(yè)的核心，才能認(rèn)為跨入了大數(shù)據(jù)的門檻。