大數(shù)據(jù)時代說來就來數(shù)據(jù)垃圾變黃金

大數(shù)據(jù)時代是指以大數(shù)據(jù)為驅(qū)動，影響生產(chǎn)率增長和消費者盈余模式的一個新的時代。大數(shù)據(jù)是高容量，高速度和高品質(zhì)的信息資產(chǎn)，需要新的處理形式，其難以采用常規(guī)工具進行采集和處理，大數(shù)據(jù)時代里，常利用軟件工具對海量數(shù)據(jù)進行挖掘和運用，借此幫助進行決策、洞察發(fā)現(xiàn)和流程優(yōu)化。

大數(shù)據(jù)時代的遲到

一般來講，大數(shù)據(jù)的概念提出可以追溯到上世紀90年代，大數(shù)據(jù)一詞在當時就已經(jīng)開始流行。而知名的咨詢公司麥肯錫在2011年提出“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素”正式代表著大數(shù)據(jù)時代的開啟。

從90年代的提出到現(xiàn)如今大數(shù)據(jù)時代的開啟，大數(shù)據(jù)時代幾乎遲到了20年。大數(shù)據(jù)的遲到主因是其數(shù)據(jù)集非常大且復雜，傳統(tǒng)的數(shù)據(jù)處理方式和應(yīng)用軟件并不足以解決大數(shù)據(jù)問題，包括采集、存儲、分析、數(shù)據(jù)策劃、搜索、共享、傳輸、可視化查詢、更新以及信息隱私等多方面都是難以攻克的難題。

事實上，自上世紀80年代開始，世界人均存儲信息量約40個月翻一倍；可是大數(shù)據(jù)時代，這一趨勢開始加速。2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB（1ZB=10243TB），到2011年，這一數(shù)字變?yōu)榱?.82ZB。數(shù)據(jù)量的爆炸來源于大量廉價的信息傳感移動設(shè)備通過網(wǎng)絡(luò)進行收集，而傳統(tǒng)的處理大量數(shù)據(jù)的抽樣調(diào)查法局限性變得越來嚴重。

云時代的開啟給了大數(shù)據(jù)的發(fā)展提供了機會，也促進了大數(shù)據(jù)時代的降臨。云計算和分布式存儲為大數(shù)據(jù)提供了數(shù)據(jù)處理和數(shù)據(jù)存儲的能力?？梢哉f，沒有云時代就不會有大數(shù)據(jù)時代的出現(xiàn)。

大數(shù)據(jù)時代的特點

大數(shù)據(jù)時代基于大數(shù)據(jù)而開啟，而大數(shù)據(jù)的特點毫無疑問是大?？墒谴髤s并不是新數(shù)據(jù)生態(tài)系統(tǒng)最相關(guān)的特征，而是通過對數(shù)據(jù)集的分析獲取新的相關(guān)性。

在2001年的研究報告中，META集團（現(xiàn)在的Gartner）將數(shù)據(jù)增長所遇到的挑戰(zhàn)和機會定義為三維，即Volume數(shù)據(jù)增量，Velocity數(shù)據(jù)輸入和Variety輸出速度以及數(shù)據(jù)類型和來源范圍，使用“3Vs”模型來描述大數(shù)據(jù)的方法一直延續(xù)至今。
大數(shù)據(jù)并不只有大

2012年，Gartner更新了其對大數(shù)據(jù)的定義：“大數(shù)據(jù)是高容量，高速度即高品質(zhì)的信息資產(chǎn)，借助新的處理形式，以幫助客戶加強決策，洞察發(fā)現(xiàn)和流程優(yōu)化?！?Vs模型也在不同行業(yè)得到了不同修正，如IBM就提出，大數(shù)據(jù)具備的5V特點分別為Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）和Veracity（真實性）。

大數(shù)據(jù)的固有特性在于其拒絕了傳統(tǒng)的隨機分析法（抽樣調(diào)查），而是選擇了將所有的數(shù)據(jù)都進行分析和處理，觀察并跟蹤數(shù)據(jù)的變化，最大程度上減少了數(shù)據(jù)誤差，幫助用戶的每一個決斷都有據(jù)可依。大數(shù)據(jù)生成和存儲的數(shù)據(jù)量的大小決定了其價值和潛在的洞察力，太小則可能不會被視為大數(shù)據(jù)。
大數(shù)據(jù)的核心在分析

速度方面，數(shù)據(jù)的生成和處理速度是為了滿足增長和發(fā)展之路中的需求和挑戰(zhàn)，如今的大數(shù)據(jù)通?？梢詫崟r獲取。種類方面，數(shù)據(jù)的類型包括了文字，圖像，音頻，視頻等多種數(shù)據(jù)通過數(shù)據(jù)融合可以幫助用戶有效地利用其所產(chǎn)生的洞察力；低價值密度意味著大數(shù)據(jù)的變化性突出，數(shù)據(jù)集的不一致可能導致處理和管理數(shù)據(jù)阻礙進程；同時由于質(zhì)量差異很大容易影響分析的準確性。

目前通常會利用機器學習對大數(shù)據(jù)進行分析，而這種簡單的檢測模式并不會告訴你數(shù)據(jù)有什么，卻可以幫助用戶發(fā)現(xiàn)藏在數(shù)據(jù)里的秘密。大數(shù)據(jù)通常只是一堆數(shù)字互動后而產(chǎn)生的副產(chǎn)品，可是他卻是真實的，剝離后大數(shù)據(jù)的價值就可以顯現(xiàn)。

大的數(shù)據(jù)時代的行業(yè)影響

大數(shù)據(jù)的時代的影響是全方面的，在市場中的應(yīng)用已經(jīng)不再局限于傳統(tǒng)領(lǐng)域，而是全面開始影響三百六十行。

政府方面，運用大數(shù)據(jù)可以很好的控制采購成本，使生產(chǎn)力和創(chuàng)新效率得到提高。但是這也存在著一個明顯的限制，數(shù)據(jù)分析通常需要中央和地方多個部門進行合作，從而才可以完善數(shù)據(jù)，創(chuàng)造新的效率提升方式。此外，在就業(yè)，經(jīng)濟生產(chǎn)力，犯罪，安全以及自然災(zāi)害和資源管理等方面大數(shù)據(jù)也可以起到他的作用。
制造業(yè)是最適合大數(shù)據(jù)的行業(yè)之一

制造業(yè)方面，大數(shù)據(jù)為制造業(yè)的透明度提供了基礎(chǔ)設(shè)施，能夠很好的解決組件性能和可用性不一致等問題。而且，預測制造的概念正在興起，不同類型的感測數(shù)據(jù)可以借助聲音，振動，壓力，電流，電壓和控制器數(shù)據(jù)等進行數(shù)據(jù)采集，大量的感官數(shù)據(jù)構(gòu)成了制造業(yè)的大數(shù)據(jù)，生成的大數(shù)據(jù)作為預測及預防等方面的工具對行業(yè)的預判有著良好的幫助。

醫(yī)療方面，大數(shù)據(jù)分析可以提供個性化醫(yī)療和規(guī)范分析，臨床風險干預和預測分析，使得護理變異性降低，患者數(shù)據(jù)自動化提供內(nèi)外部報告，可以提供標準化醫(yī)療和患者登記冊散點解決方案，幫助醫(yī)療改善。而且，隨著可穿戴技術(shù)的發(fā)展，醫(yī)療數(shù)據(jù)量還將進一步提高，包括電子健康記錄數(shù)據(jù)，成像數(shù)據(jù)，患者生成的數(shù)據(jù)，傳感器數(shù)據(jù)和其他形式的數(shù)據(jù)都會讓大數(shù)據(jù)在醫(yī)療領(lǐng)域的地位提升。
萬物互聯(lián)產(chǎn)生大量數(shù)據(jù)

除了這些傳統(tǒng)領(lǐng)域，大數(shù)據(jù)還促進了新行業(yè)的發(fā)展，比如物聯(lián)網(wǎng)。大數(shù)據(jù)于物聯(lián)網(wǎng)協(xié)同工作，從物聯(lián)網(wǎng)設(shè)備中獲取數(shù)據(jù)提供設(shè)備互聯(lián)性的映射，借助大數(shù)據(jù)技術(shù)進行分析，然后再將分析結(jié)果提供給醫(yī)療、制造等多個領(lǐng)域，幫助提高相關(guān)行業(yè)的工作效率。

目前，全球有著46億手機用戶，接入互聯(lián)網(wǎng)的用戶有10到20億。這些用戶每天所產(chǎn)生的數(shù)據(jù)量是巨大的，如果廢棄，那就是數(shù)據(jù)垃圾，而如果收集并且用于種種行業(yè)之中，那么這就是大數(shù)據(jù)時代。