大數(shù)據(jù)時(shí)代說來就來 數(shù)據(jù)垃圾變黃金

大數(shù)據(jù)時(shí)代是指以大數(shù)據(jù)為驅(qū)動(dòng)，影響生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余模式的一個(gè)新的時(shí)代。大數(shù)據(jù)是高容量，高速度和高品質(zhì)的信息資產(chǎn)，需要新的處理形式，其難以采用常規(guī)工具進(jìn)行采集和處理，大數(shù)據(jù)時(shí)代里，常利用軟件工具對(duì)海量數(shù)據(jù)進(jìn)行挖掘和運(yùn)用，借此幫助進(jìn)行決策、洞察發(fā)現(xiàn)和流程優(yōu)化。

大數(shù)據(jù)時(shí)代的遲到

一般來講，大數(shù)據(jù)的概念提出可以追溯到上世紀(jì)90年代，大數(shù)據(jù)一詞在當(dāng)時(shí)就已經(jīng)開始流行。而知名的咨詢公司麥肯錫在2011年提出“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素”正式代表著大數(shù)據(jù)時(shí)代的開啟。關(guān)注大數(shù)據(jù)觀察網(wǎng)（微信公眾號(hào)：shuju_net）了解更多精彩資訊

從90年代的提出到現(xiàn)如今大數(shù)據(jù)時(shí)代的開啟，大數(shù)據(jù)時(shí)代幾乎遲到了20年。大數(shù)據(jù)的遲到主因是其數(shù)據(jù)集非常大且復(fù)雜，傳統(tǒng)的數(shù)據(jù)處理方式和應(yīng)用軟件并不足以解決大數(shù)據(jù)問題，包括采集、存儲(chǔ)、分析、數(shù)據(jù)策劃、搜索、共享、傳輸、可視化查詢、更新以及信息隱私等多方面都是難以攻克的難題。

數(shù)據(jù)存儲(chǔ)方式的變革

事實(shí)上，自上世紀(jì)80年代開始，世界人均存儲(chǔ)信息量約40個(gè)月翻一倍；可是大數(shù)據(jù)時(shí)代，這一趨勢(shì)開始加速。2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB（1ZB=10243TB），到2011年，這一數(shù)字變?yōu)榱?.82ZB。數(shù)據(jù)量的爆炸來源于大量廉價(jià)的信息傳感移動(dòng)設(shè)備通過網(wǎng)絡(luò)進(jìn)行收集，而傳統(tǒng)的處理大量數(shù)據(jù)的抽樣調(diào)查法局限性變得越來嚴(yán)重。

云時(shí)代的開啟給了大數(shù)據(jù)的發(fā)展提供了機(jī)會(huì)，也促進(jìn)了大數(shù)據(jù)時(shí)代的降臨。云計(jì)算和分布式存儲(chǔ)為大數(shù)據(jù)提供了數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)的能力?？梢哉f，沒有云時(shí)代就不會(huì)有大數(shù)據(jù)時(shí)代的出現(xiàn)。

大數(shù)據(jù)時(shí)代的特點(diǎn)

大數(shù)據(jù)時(shí)代基于大數(shù)據(jù)而開啟，而大數(shù)據(jù)的特點(diǎn)毫無疑問是大?？墒谴髤s并不是新數(shù)據(jù)生態(tài)系統(tǒng)最相關(guān)的特征，而是通過對(duì)數(shù)據(jù)集的分析獲取新的相關(guān)性。

在2001年的研究報(bào)告中，META集團(tuán)（現(xiàn)在的Gartner）將數(shù)據(jù)增長(zhǎng)所遇到的挑戰(zhàn)和機(jī)會(huì)定義為三維，即Volume數(shù)據(jù)增量，Velocity數(shù)據(jù)輸入和Variety輸出速度以及數(shù)據(jù)類型和來源范圍，使用“3Vs”模型來描述大數(shù)據(jù)的方法一直延續(xù)至今。

大數(shù)據(jù)并不只有大

2012年，Gartner更新了其對(duì)大數(shù)據(jù)的定義：“大數(shù)據(jù)是高容量，高速度即高品質(zhì)的信息資產(chǎn)，借助新的處理形式，以幫助客戶加強(qiáng)決策，洞察發(fā)現(xiàn)和流程優(yōu)化?！?Vs模型也在不同行業(yè)得到了不同修正，如IBM就提出，大數(shù)據(jù)具備的5V特點(diǎn)分別為Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）和Veracity（真實(shí)性）。

大數(shù)據(jù)的固有特性在于其拒絕了傳統(tǒng)的隨機(jī)分析法（抽樣調(diào)查），而是選擇了將所有的數(shù)據(jù)都進(jìn)行分析和處理，觀察并跟蹤數(shù)據(jù)的變化，最大程度上減少了數(shù)據(jù)誤差，幫助用戶的每一個(gè)決斷都有據(jù)可依。大數(shù)據(jù)生成和存儲(chǔ)的數(shù)據(jù)量的大小決定了其價(jià)值和潛在的洞察力，太小則可能不會(huì)被視為大數(shù)據(jù)。

大數(shù)據(jù)的核心在分析

速度方面，數(shù)據(jù)的生成和處理速度是為了滿足增長(zhǎng)和發(fā)展之路中的需求和挑戰(zhàn)，如今的大數(shù)據(jù)通常可以實(shí)時(shí)獲取。種類方面，數(shù)據(jù)的類型包括了文字，圖像，音頻，視頻等多種數(shù)據(jù)通過數(shù)據(jù)融合可以幫助用戶有效地利用其所產(chǎn)生的洞察力；低價(jià)值密度意味著大數(shù)據(jù)的變化性突出，數(shù)據(jù)集的不一致可能導(dǎo)致處理和管理數(shù)據(jù)阻礙進(jìn)程；同時(shí)由于質(zhì)量差異很大容易影響分析的準(zhǔn)確性。

目前通常會(huì)利用機(jī)器學(xué)習(xí)對(duì)大數(shù)據(jù)進(jìn)行分析，而這種簡(jiǎn)單的檢測(cè)模式并不會(huì)告訴你數(shù)據(jù)有什么，卻可以幫助用戶發(fā)現(xiàn)藏在數(shù)據(jù)里的秘密。大數(shù)據(jù)通常只是一堆數(shù)字互動(dòng)后而產(chǎn)生的副產(chǎn)品，可是他卻是真實(shí)的，剝離后大數(shù)據(jù)的價(jià)值就可以顯現(xiàn)。

大的數(shù)據(jù)時(shí)代的行業(yè)影響

大數(shù)據(jù)的時(shí)代的影響是全方面的，在市場(chǎng)中的應(yīng)用已經(jīng)不再局限于傳統(tǒng)領(lǐng)域，而是全面開始影響三百六十行。

政府方面，運(yùn)用大數(shù)據(jù)可以很好的控制采購(gòu)成本，使生產(chǎn)力和創(chuàng)新效率得到提高。但是這也存在著一個(gè)明顯的限制，數(shù)據(jù)分析通常需要中央和地方多個(gè)部門進(jìn)行合作，從而才可以完善數(shù)據(jù)，創(chuàng)造新的效率提升方式。此外，在就業(yè)，經(jīng)濟(jì)生產(chǎn)力，犯罪，安全以及自然災(zāi)害和資源管理等方面大數(shù)據(jù)也可以起到他的作用。

制造業(yè)是最適合大數(shù)據(jù)的行業(yè)之一

制造業(yè)方面，大數(shù)據(jù)為制造業(yè)的透明度提供了基礎(chǔ)設(shè)施，能夠很好的解決組件性能和可用性不一致等問題。而且，預(yù)測(cè)制造的概念正在興起，不同類型的感測(cè)數(shù)據(jù)可以借助聲音，振動(dòng)，壓力，電流，電壓和控制器數(shù)據(jù)等進(jìn)行數(shù)據(jù)采集，大量的感官數(shù)據(jù)構(gòu)成了制造業(yè)的大數(shù)據(jù)，生成的大數(shù)據(jù)作為預(yù)測(cè)及預(yù)防等方面的工具對(duì)行業(yè)的預(yù)判有著良好的幫助。

醫(yī)療方面，大數(shù)據(jù)分析可以提供個(gè)性化醫(yī)療和規(guī)范分析，臨床風(fēng)險(xiǎn)干預(yù)和預(yù)測(cè)分析，使得護(hù)理變異性降低，患者數(shù)據(jù)自動(dòng)化提供內(nèi)外部報(bào)告，可以提供標(biāo)準(zhǔn)化醫(yī)療和患者登記冊(cè)散點(diǎn)解決方案，幫助醫(yī)療改善。而且，隨著可穿戴技術(shù)的發(fā)展，醫(yī)療數(shù)據(jù)量還將進(jìn)一步提高，包括電子健康記錄數(shù)據(jù)，成像數(shù)據(jù)，患者生成的數(shù)據(jù)，傳感器數(shù)據(jù)和其他形式的數(shù)據(jù)都會(huì)讓大數(shù)據(jù)在醫(yī)療領(lǐng)域的地位提升。

萬物互聯(lián)產(chǎn)生大量數(shù)據(jù)

除了這些傳統(tǒng)領(lǐng)域，大數(shù)據(jù)還促進(jìn)了新行業(yè)的發(fā)展，比如物聯(lián)網(wǎng)。大數(shù)據(jù)于物聯(lián)網(wǎng)協(xié)同工作，從物聯(lián)網(wǎng)設(shè)備中獲取數(shù)據(jù)提供設(shè)備互聯(lián)性的映射，借助大數(shù)據(jù)技術(shù)進(jìn)行分析，然后再將分析結(jié)果提供給醫(yī)療、制造等多個(gè)領(lǐng)域，幫助提高相關(guān)行業(yè)的工作效率。

目前，全球有著46億手機(jī)用戶，接入互聯(lián)網(wǎng)的用戶有10到20億。這些用戶每天所產(chǎn)生的數(shù)據(jù)量是巨大的，如果廢棄，那就是數(shù)據(jù)垃圾，而如果收集并且用于種種行業(yè)之中，那么這就是大數(shù)據(jù)時(shí)代。