淺析大數(shù)據的數(shù)據構成和管理方式_數(shù)據分析師

       中隨著云時代的來臨，大數(shù)據(Big data)也吸引了越來越多的關注。大數(shù)據(Big data)通常用來形容一個公司創(chuàng)造的大量非結構化和半結構化數(shù)據，這些數(shù)據在下載到關系型數(shù)據庫用于分析時會花費過多時間和金錢。大數(shù)據分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。簡言之，從各種各樣類型的數(shù)據中，快速獲得有價值信息的能力，就是大數(shù)據技術。明白這一點至關重要，也正是這一點促使該技術具備走向眾多企業(yè)的潛力。 　　
           CDA數(shù)據分析師協(xié)會介紹說大數(shù)據的4個“V”，或者說特點有四個層面：
          第一，價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據僅僅有一兩秒。
           第二，數(shù)據體量巨大。從TB級別，躍升到PB級別;
           第三，數(shù)據類型繁多。前文提到的網絡日志、視頻、圖片、地理位置信息等等。
          第四，處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據挖掘技術有著本質的不同。業(yè)界將其歸納為4個“V”——Volume，Variety，Value，Velocity。 　　
            物聯(lián)網、云計算、移動互聯(lián)網、車聯(lián)網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據來源或者承載的方式例子包括網絡日志，RFID，傳感器網絡，社會網絡，社會數(shù)據(由于數(shù)據革命的社會)，互聯(lián)網文本和文件;互聯(lián)網搜索索引;呼叫詳細記錄，天文學，大氣科學，基因組學，生物地球化學，生物，和其他復雜和/或跨學科的科研，軍事偵察，醫(yī)療記錄;攝影檔案館視頻檔案;和大規(guī)模的電子商務。
         大的數(shù)據需要特殊的技術，以有效地處理大量的容忍經過時間內的數(shù)據。適用于大數(shù)據的技術，包括大規(guī)模并行處理(MPP)數(shù)據庫，數(shù)據挖掘電網，分布式文件系統(tǒng)，分布式數(shù)據庫，云計算平臺，互聯(lián)網，和可擴展的存儲系統(tǒng)。
           一些但不是所有的MPP的關系數(shù)據庫的PB的數(shù)據存儲和管理的能力。隱含的負載，監(jiān)控，備份和優(yōu)化大型數(shù)據表的使用在RDBMS的。
          斯隆數(shù)字巡天收集在其最初的幾個星期，比在天文學的歷史，早在2000年的整個數(shù)據收集更多的數(shù)據。自那時以來，它已經積累了140兆兆 字節(jié)的信息。這個望遠鏡的繼任者，大天氣巡天望遠鏡，將于2016年在網上和將獲得的數(shù)據，每5天沃爾瑪處理超過100萬客戶的交易每隔一小時，反過來進口量數(shù)據庫估計超過2.5 PB的是相當于167次，在美國國會圖書館的書籍 。FACEBOOK處理400億張照片，從它的用戶群。解碼最初的人類基因組花了10年來處理時，現(xiàn)在可以在一個星期內實現(xiàn)。
         “大數(shù)據”的影響，增加了對信息管理專家的需求，甲骨文，IBM，微軟和某軟件公司花了超過15億美元的在軟件智能數(shù)據管理和分析的專業(yè)公司。這個行業(yè)自身價值超過1000億美元，增長近10%，每年兩次，這大概是作為一個整體的軟件業(yè)務的快速。大數(shù)據已經出現(xiàn)，因為我們生活在一個社會中有更多的東西。有46億全球移動電話用戶有1億美元和20億人訪問互聯(lián)網。
基本上，人們比以往任何時候都與數(shù)據或信息交互。 1990年至2005年，全球超過1億人進入中產階級，這意味著越來越多的人，誰收益的這筆錢將成為反過來導致更多的識字信息的增長。到2013年，在互聯(lián)網上流動的交通量將達到每年667艾字節(jié)。

       大數(shù)據迅速成為了計算機行業(yè)爭相傳誦的熱門概念，也引起了金融界的高度關注。隨著互聯(lián)網技術的不斷發(fā)展，數(shù)據本身是資產，這一點在業(yè)界已經形成共識?！叭绻f云計算為數(shù)據資產提供了保管、訪問的場所和渠道，那么如何盤活數(shù)據資產，使其為國家治理、企業(yè)決策乃至個人生活服務，則是大數(shù)據的核心議題，也是云計算內在的靈魂和必然的升級方向?！?/span>
        事實上，全球互聯(lián)網巨頭都已意識到了“大數(shù)據”時代，數(shù)據的重要意義?！按髷?shù)據”作為一個較新的概念，目前尚未直接以專有名詞被我國政府提出來給予政策支持。不過，在12月8日工信部發(fā)布的物聯(lián)網“十二五”規(guī)劃上，把信息處理技術作為4項關鍵技術創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據存儲、數(shù)據挖掘、圖像視頻智能分析，這都是大數(shù)據的重要組成部分。而另外3項關鍵技術創(chuàng)新工程，包括信息感知技術、信息傳輸技術、信息安全技術，也都與“大數(shù)據”密切相關。