大數(shù)據(jù)時代已經(jīng)到來,你了解嗎

一、大數(shù)據(jù)出現(xiàn)的背景

進入2012年，大數(shù)據(jù)(big data)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關的技術發(fā)展與創(chuàng)新。它已經(jīng)上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網(wǎng)的新聞，現(xiàn)身在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍中，甚至被嗅覺靈敏的證券公司等寫進了投資推薦報告。

數(shù) 據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識 到數(shù)據(jù)對企業(yè)的重要性。大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

最 早提出大數(shù)據(jù)時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的 挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！薄按髷?shù)據(jù)”在物理學、生物學、環(huán)境生態(tài)學等領域以及軍事、金融、通訊等行業(yè)存在已有時日， 卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關注。

大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)指的是這樣一種現(xiàn)象：互聯(lián)網(wǎng)公司在日常運營中生成、累積的用戶網(wǎng)絡行為數(shù)據(jù)。這些數(shù)據(jù)的規(guī)模是如此龐大，以至于不能用G或T來衡量，大數(shù)據(jù)的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。

二、什么是大數(shù)據(jù)？

信息技術領域原先已經(jīng)有“海量數(shù)據(jù)”、“大規(guī)模數(shù)據(jù)”等概念，但這些概念只著眼于數(shù)據(jù)規(guī)模本身，未能充分反映數(shù)據(jù)爆發(fā)背景下的數(shù)據(jù)處理與應用需求，而“大數(shù)據(jù)”這一新概念不僅指規(guī)模龐大的數(shù)據(jù)對象，也包含對這些數(shù)據(jù)對象的處理和應用活動，是數(shù)據(jù)對象、技術與應用三者的統(tǒng)一。

1、大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)對象既可能是實際的、有限的數(shù)據(jù)集合，如某個政府部門或企業(yè)掌握的數(shù)據(jù)庫，也可能是虛擬的、無限的數(shù)據(jù)集合，如微博、微信、社交網(wǎng)絡上的全部信息。

大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看，“大數(shù)據(jù)”指的是無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。

亞馬遜網(wǎng)絡服務(AWS)、 大數(shù)據(jù)科學家JohnRauser提到一個簡單的定義：大數(shù)據(jù)就是任何超過了一臺計算機處理能力的龐大數(shù)據(jù)量。研發(fā)小組對大數(shù)據(jù)的定義：“大數(shù)據(jù)是最大的 宣傳技術、是最時髦的技術，當這種現(xiàn)象出現(xiàn)時，定義就變得很混亂?！盞elly說：“大數(shù)據(jù)是可能不包含所有的 信息，但我覺得大部分是正確的。對大數(shù)據(jù)的一部分認知在于，它是如此之大，分析它需要多個工作負載，這是AWS的定義。

2、大數(shù)據(jù)技術，是指從各種各樣類型的大數(shù)據(jù)中，快速獲得有價值信息的技術的能力，包括數(shù)據(jù)采集、存儲、管理、分析挖掘、可視化等技術及其集成。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計算平臺，互聯(lián)網(wǎng)，和可擴展的存儲系統(tǒng)。

3、大數(shù)據(jù)應用，是 指對特定的大數(shù)據(jù)集合，集成應用大數(shù)據(jù)技術，獲得有價值信息的行為。對于不同領域、不同企業(yè)的不同業(yè)務，甚至同一領域不同企業(yè)的相同業(yè)務來說，由于其業(yè)務 需求、數(shù)據(jù)集合和分析挖掘目標存在差異，所運用的大數(shù)據(jù)技術和大數(shù)據(jù)信息系統(tǒng)也可能有著相當大的不同。惟有堅持“對象、技術、應用”三位一體同步發(fā)展，才 能充分實現(xiàn)大數(shù)據(jù)的價值。

當你的技術達到極限時，也就是數(shù)據(jù)的極限”。大數(shù)據(jù)不是關于如何定義，最重要的是如何使用。最大的挑戰(zhàn)在于哪些技術能更好的使用數(shù)據(jù)以及大數(shù)據(jù)的應用情況如何。這與傳統(tǒng)的數(shù)據(jù)庫相比，開源的大數(shù)據(jù)分析工具的如Hadoop的崛起，這些非結構化的數(shù)據(jù)服務的價值在哪里。

三、大數(shù)據(jù)的類型和價值挖掘方法

1、大數(shù)據(jù)的類型大致可分為三類：

1)傳統(tǒng)企業(yè)數(shù)據(jù)（Traditionalenterprisedata）：包括 CRM systems的消費者數(shù)據(jù)，傳統(tǒng)的ERP數(shù)據(jù)，庫存數(shù)據(jù)以及賬目數(shù)據(jù)等。

2)機器和傳感器數(shù)據(jù)（Machine-generated/sensor data）：包括呼叫記錄（CallDetail Records），智能儀表，工業(yè)設備傳感器，設備日志（通常是Digital exhaust），交易數(shù)據(jù)等。

3)社交數(shù)據(jù)（Socialdata）：包括用戶行為記錄，反饋數(shù)據(jù)等。如Twitter，F(xiàn)acebook這樣的社交媒體平臺。

2、大數(shù)據(jù)挖掘商業(yè)價值的方法主要分為四種：

1)客戶群體細分，然后為每個群體量定制特別的服務。

2)模擬現(xiàn)實環(huán)境，發(fā)掘新的需求同時提高投資的回報率。

3)加強部門聯(lián)系，提高整條管理鏈條和產(chǎn)業(yè)鏈條的效率。

4)降低服務成本，發(fā)現(xiàn)隱藏線索進行產(chǎn)品和服務的創(chuàng)新。

四、大數(shù)據(jù)的特點

業(yè)界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數(shù)據(jù)的特征。具體來說，大數(shù)據(jù)具有4個基本特征：

1、是數(shù)據(jù)體量巨大

數(shù) 據(jù)體量(volumes)大，指代大型數(shù)據(jù)集，一般在10TB規(guī)模左右，但在實際應用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量; 百度資料表明，其新首頁導航每天需要提供的數(shù)據(jù)超過1.5PB（1PB=1024TB），這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實，到目前 為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB。

2、是數(shù)據(jù)類別大和類型多樣

數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結構化 數(shù)據(jù)范疇，囊括了半結構化和非結構化數(shù)據(jù)?，F(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個性化數(shù)據(jù)占絕對多數(shù)。

3、是處理速度快

在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實時處理。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息。

4、是價值真實性高和密度低

數(shù)據(jù)真實性(Veracity)高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實性及安全性。以視頻為例，一小時的視頻，在不間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。

五、大數(shù)據(jù)的作用

1、對大數(shù)據(jù)的處理分析正成為新一代信息技術融合應用的結點

移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡、數(shù)字家庭、電子商務等是新一代信息技術的應用形態(tài)，這些應用不斷產(chǎn)生大數(shù)據(jù)。云計算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運算平臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結果反饋到上述應用中，將創(chuàng)造出巨大的經(jīng)濟和社會價值。

大數(shù)據(jù)具有催生社會變革的能量。但釋放這種能量，需要嚴謹?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基·梅隆大學海因茲學院院長)。

2、大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎

面向大數(shù)據(jù)市場的新技術、新產(chǎn)品、新服務、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設備領域，大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務器、內(nèi)存計算等市場。在軟件與服務領域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術和軟件產(chǎn)品的發(fā)展。

3、大數(shù)據(jù)利用將成為提高核心競爭力的關鍵因素

各 行各業(yè)的決策正在從“業(yè)務驅(qū)動” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動”。對大數(shù)據(jù)的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支持；可以幫助企業(yè)為消費 者提供更加及時和個性化的服務；在醫(yī)療領域，可提高診斷準確性和藥物有效性；在公共事業(yè)領域，大數(shù)據(jù)也開始發(fā)揮促進經(jīng)濟發(fā)展、維護社會穩(wěn)定等方面的重要作 用。

4、大數(shù)據(jù)時代科學研究的方法手段將發(fā)生重大改變

例如，抽樣調(diào)查是社會科學的基本研究方法。在大數(shù)據(jù)時代，可通過實時監(jiān)測、跟蹤研究對象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進行挖掘分析，揭示出規(guī)律性的東西，提出研究結論和對策。

六、大數(shù)據(jù)的商業(yè)價值

1、對顧客群體細分

“大數(shù)據(jù)”可以對顧客群體細分，然后對每個群體量體裁衣般的采取獨特的行動。瞄準特定的顧客群體來進行營銷和服務是商家一直以來的追求。云存儲的海量數(shù)據(jù)和“大數(shù)據(jù)”的分析技術使得對消費者的實時和極端的細分有了成本效率極高的可能。

2、模擬實境

運用“大數(shù)據(jù)”模擬實境，發(fā)掘新的需求和提高投入的回報率?，F(xiàn)在越來越多的產(chǎn)品中都裝有傳感器，汽車和智能手機的普及使得可收集數(shù)據(jù)呈現(xiàn)爆炸性增長。Blog、Twitter、Facebook和微博等社交網(wǎng)絡也在產(chǎn)生著海量的數(shù)據(jù)。

云 計算和“大數(shù)據(jù)”分析技術使得商家可以在成本效率較高的情況下，實時地把這些數(shù)據(jù)連同交易行為的數(shù)據(jù)進行儲存和分析。交易過程、產(chǎn)品使用和人類行為都可以 數(shù)據(jù)化?！按髷?shù)據(jù)”技術可以把這些數(shù)據(jù)整合起來進行數(shù)據(jù)挖掘，從而在某些情況下通過模型模擬來判斷不同變量(比如不同地區(qū)不同促銷方案)的情況下何種方案 投入回報最高。

3、提高投入回報率

提高“大數(shù)據(jù)”成果在各相關部門的分享程度，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率。“大數(shù)據(jù)”能力強的部門可以通過云計算、互聯(lián)網(wǎng)和內(nèi)部搜索引擎把”大數(shù)據(jù)”成果和“大數(shù)據(jù)”能力比較薄弱的部門分享，幫助他們利用“大數(shù)據(jù)”創(chuàng)造商業(yè)價值。

4、數(shù)據(jù)存儲空間出租

企 業(yè)和個人有著海量信息存儲的需求，只有將數(shù)據(jù)妥善存儲，才有可能進一步挖掘其潛在價值。具體而言，這塊業(yè)務模式又可以細分為針對個人文件存儲和針對企業(yè)用 戶兩大類。主要是通過易于使用的API，用戶可以方便地將各種數(shù)據(jù)對象放在云端，然后再像使用水、電一樣按用量收費。目前已有多個公司推出相應服務，如亞 馬遜、網(wǎng)易、諾基亞等。運營商也推出了相應的服務，如中國移動的彩云業(yè)務。

5、管理客戶關系

客 戶管理應用的目的是根據(jù)客戶的屬性(包括自然屬性和行為屬性)，從不同角度深層次分析客戶、了解客戶，以此增加新的客戶、提高客戶的忠誠度、降低客戶流失 率、提高客戶消費等。對中小客戶來說，專門的CRM顯然大而貴。不少中小商家將飛信作為初級CRM來使用。比如把老客戶加到飛信群里，在群朋友圈里發(fā)布新 產(chǎn)品預告、特價銷售通知，完成售前售后服務等。

6、個性化精準推薦

在 運營商內(nèi)部，根據(jù)用戶喜好推薦各類業(yè)務或應用是常見的，比如應用商店軟件推薦、IPTV視頻節(jié)目推薦等，而通過關聯(lián)算法、文本摘要抽取、情感分析等智能分 析算法后，可以將之延伸到商用化服務，利用數(shù)據(jù)挖掘技術幫助客戶進行精準營銷，今后盈利可以來自于客戶增值部分的分成。

以日常的“垃圾短信”為例，信息并不都是“垃圾”，因為收到的人并不需要而被視為垃圾。通過用戶行為數(shù)據(jù)進行分析后，可以給需要的人發(fā)送需要的信息，這樣“垃圾短信”就成了有價值的信息。在日本的麥當勞，用戶在手機上下載優(yōu)惠券，再去餐廳用運營商DoCoMo的手機錢包優(yōu)惠支付。運營商和麥當勞搜集相關消費信息，例如經(jīng)常買什么漢堡，去哪個店消費，消費頻次多少，然后精準推送優(yōu)惠券給用戶。

7、數(shù)據(jù)搜索

數(shù)據(jù)搜索是一個并不新鮮的應用，隨著“大數(shù)據(jù)”時代的到來，實時性、全范圍搜索的需求也就變得越來越強烈。我們需要能搜索各種社交網(wǎng)絡、用戶行為等數(shù)據(jù)。其商業(yè)應用價值是將實時的數(shù)據(jù)處理與分析和廣告聯(lián)系起來，即實時廣告業(yè)務和應用內(nèi)移動廣告的社交服務。

運營商掌握的用戶網(wǎng)上行為信息，使得所獲取的數(shù)據(jù)“具備更全面維度”，更具商業(yè)價值。典型應用如中國移動的“盤古搜索”。

七、大數(shù)據(jù)對經(jīng)濟社會的重要影響

1、能夠推動實現(xiàn)巨大經(jīng)濟效益

比如對中國零售業(yè)凈利潤增長的貢獻，降低制造業(yè)產(chǎn)品開發(fā)、組裝成本等。預計2013年全球大數(shù)據(jù)直接和間接拉動信息技術支出將達1200億美元。

2、能夠推動增強社會管理水平

大數(shù)據(jù)在公共服務領域的應用，可有效推動相關工作開展，提高相關部門的決策水平、服務效率和社會管理水平，產(chǎn)生巨大社會價值。歐洲多個城市通過分析實時采集的交通流量數(shù)據(jù)，指導駕車出行者選擇最佳路徑，從而改善城市交通狀況。

3、如果沒有高性能的分析工具，大數(shù)據(jù)的價值就得不到釋放

對大數(shù)據(jù)應用必須保持清醒認識，既不能迷信其分析結果，也不能因為其不完全準確而否定其重要作用。

1) 由于各種原因，所分析處理的數(shù)據(jù)對象中不可避免地會包括各種錯誤數(shù)據(jù)、無用數(shù)據(jù)，加之作為大數(shù)據(jù)技術核心的數(shù)據(jù)分析、人工智能等技術尚未完全成熟，所以對 計算機完成的大數(shù)據(jù)分析處理的結果，無法要求其完全準確。例如，谷歌通過分析億萬用戶搜索內(nèi)容能夠比專業(yè)機構更快地預測流感暴發(fā)，但由于微博上無用信息的 干擾，這種預測也曾多次出現(xiàn)不準確的情況。

2)必須清楚定位的是，大數(shù)據(jù)作用與價值的重點在于能夠引導和啟發(fā)大數(shù)據(jù)應用者的創(chuàng)新思維，輔助決策。簡單而言，若是處理一個問題，通常人能夠想到一種方法，而大數(shù)據(jù)能夠提供十種參考方法，哪怕其中只有三種可行，也將解決問題的思路拓展了三倍。

所以，客觀認識和發(fā)揮大數(shù)據(jù)的作用，不夸大、不縮小，是準確認知和應用大數(shù)據(jù)的前提。

八、總結

不管大數(shù)據(jù)的核心價值是不是預測，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽。

1、從大數(shù)據(jù)的價值鏈條來分析，存在三種模式：

1)手握大數(shù)據(jù)，但是沒有利用好；比較典型的是金融機構，電信行業(yè)，政府機構等。

2)沒有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢和服務企業(yè)，比如，埃森哲，IBM，Oracle等。

3)既有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較典型的是Google，Amazon，Mastercard等。

2、未來在大數(shù)據(jù)領域最具有價值的是兩種事物：

1)擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價值轉(zhuǎn)化為實際利益；

2)還未有被大數(shù)據(jù)觸及過的業(yè)務領域。這些是還未被挖掘的油井，金礦，是所謂的藍海。

大 數(shù)據(jù)是信息技術與專業(yè)技術、信息技術產(chǎn)業(yè)與各行業(yè)領域緊密融合的典型領域，有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領域帶來的新機遇，需要不 斷跟蹤研究大數(shù)據(jù)，不斷提升對大數(shù)據(jù)的認知和理解，堅持技術創(chuàng)新與應用創(chuàng)新的協(xié)同共進，加快經(jīng)濟社會各領域的大數(shù)據(jù)開發(fā)與利用，推動國家、行業(yè)、企業(yè)對于 數(shù)據(jù)的應用需求和應用水平進入新的階段。