淺析大數(shù)據(jù)的數(shù)據(jù)構(gòu)成和管理方式_數(shù)據(jù)分析師

       中隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)(Big data)也吸引了越來(lái)越多的關(guān)注。大數(shù)據(jù)(Big data)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。簡(jiǎn)言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。 　　
           CDA數(shù)據(jù)分析師協(xié)會(huì)介紹說(shuō)大數(shù)據(jù)的4個(gè)“V”，或者說(shuō)特點(diǎn)有四個(gè)層面：
          第一，價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。
           第二，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別;
           第三，數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。
          第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。業(yè)界將其歸納為4個(gè)“V”——Volume，Variety，Value，Velocity。 　　
            物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式例子包括網(wǎng)絡(luò)日志，RFID，傳感器網(wǎng)絡(luò)，社會(huì)網(wǎng)絡(luò)，社會(huì)數(shù)據(jù)(由于數(shù)據(jù)革命的社會(huì))，互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細(xì)記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復(fù)雜和/或跨學(xué)科的科研，軍事偵察，醫(yī)療記錄;攝影檔案館視頻檔案;和大規(guī)模的電子商務(wù)。
         大的數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。
           一些但不是所有的MPP的關(guān)系數(shù)據(jù)庫(kù)的PB的數(shù)據(jù)存儲(chǔ)和管理的能力。隱含的負(fù)載，監(jiān)控，備份和優(yōu)化大型數(shù)據(jù)表的使用在RDBMS的。
          斯隆數(shù)字巡天收集在其最初的幾個(gè)星期，比在天文學(xué)的歷史，早在2000年的整個(gè)數(shù)據(jù)收集更多的數(shù)據(jù)。自那時(shí)以來(lái)，它已經(jīng)積累了140兆兆 字節(jié)的信息。這個(gè)望遠(yuǎn)鏡的繼任者，大天氣巡天望遠(yuǎn)鏡，將于2016年在網(wǎng)上和將獲得的數(shù)據(jù)，每5天沃爾瑪處理超過(guò)100萬(wàn)客戶的交易每隔一小時(shí)，反過(guò)來(lái)進(jìn)口量數(shù)據(jù)庫(kù)估計(jì)超過(guò)2.5 PB的是相當(dāng)于167次，在美國(guó)國(guó)會(huì)圖書(shū)館的書(shū)籍 。FACEBOOK處理400億張照片，從它的用戶群。解碼最初的人類基因組花了10年來(lái)處理時(shí)，現(xiàn)在可以在一個(gè)星期內(nèi)實(shí)現(xiàn)。
         “大數(shù)據(jù)”的影響，增加了對(duì)信息管理專家的需求，甲骨文，IBM，微軟和某軟件公司花了超過(guò)15億美元的在軟件智能數(shù)據(jù)管理和分析的專業(yè)公司。這個(gè)行業(yè)自身價(jià)值超過(guò)1000億美元，增長(zhǎng)近10%，每年兩次，這大概是作為一個(gè)整體的軟件業(yè)務(wù)的快速。大數(shù)據(jù)已經(jīng)出現(xiàn)，因?yàn)槲覀兩钤谝粋€(gè)社會(huì)中有更多的東西。有46億全球移動(dòng)電話用戶有1億美元和20億人訪問(wèn)互聯(lián)網(wǎng)。
基本上，人們比以往任何時(shí)候都與數(shù)據(jù)或信息交互。 1990年至2005年，全球超過(guò)1億人進(jìn)入中產(chǎn)階級(jí)，這意味著越來(lái)越多的人，誰(shuí)收益的這筆錢(qián)將成為反過(guò)來(lái)導(dǎo)致更多的識(shí)字信息的增長(zhǎng)。到2013年，在互聯(lián)網(wǎng)上流動(dòng)的交通量將達(dá)到每年667艾字節(jié)。

       大數(shù)據(jù)迅速成為了計(jì)算機(jī)行業(yè)爭(zhēng)相傳誦的熱門(mén)概念，也引起了金融界的高度關(guān)注。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身是資產(chǎn)，這一點(diǎn)在業(yè)界已經(jīng)形成共識(shí)。“如果說(shuō)云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管、訪問(wèn)的場(chǎng)所和渠道，那么如何盤(pán)活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理、企業(yè)決策乃至個(gè)人生活服務(wù)，則是大數(shù)據(jù)的核心議題，也是云計(jì)算內(nèi)在的靈魂和必然的升級(jí)方向?！?/span>
        事實(shí)上，全球互聯(lián)網(wǎng)巨頭都已意識(shí)到了“大數(shù)據(jù)”時(shí)代，數(shù)據(jù)的重要意義?！按髷?shù)據(jù)”作為一個(gè)較新的概念，目前尚未直接以專有名詞被我國(guó)政府提出來(lái)給予政策支持。不過(guò)，在12月8日工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái)，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外3項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都與“大數(shù)據(jù)”密切相關(guān)。