大數(shù)據(jù)背景下數(shù)據(jù)解讀與挖掘的變革

大數(shù)據(jù)浪潮的來襲，如同互聯(lián)網的發(fā)明一樣，必將引起一場革命。

而對于以全數(shù)據(jù)、混雜性和相關性等著稱的大數(shù)據(jù)而言，首先要變革的就是對數(shù)據(jù)的解讀與挖掘。

在新形勢下，如何圍繞經濟社會發(fā)展目標和中心工作，克服傳統(tǒng)數(shù)據(jù)收集成本高、綜合開發(fā)利用率不高、難以滿足政府宏觀決策以及企業(yè)、社會團體、研究機構和個人的個性化需要等不足，不斷提高數(shù)據(jù)解讀和挖掘能力，成為各級部門亟待解決的重大課題。

統(tǒng)計理念、方法及服務的轉變

美國政府于2012年3月宣布“大數(shù)據(jù)的研究和發(fā)展計劃”，以提高對大數(shù)據(jù)的收集與分析能力，增強國家競爭力。英國、德國等國家也把大數(shù)據(jù)提升到國家戰(zhàn)略層面，認為未來國家層面的競爭力將部分體現(xiàn)為一國擁有數(shù)據(jù)的規(guī)模及運用數(shù)據(jù)的能力。有學者把大數(shù)據(jù)形象地比喻為推動人類社會發(fā)展的“新石油”。在大數(shù)據(jù)時代，擁有大數(shù)據(jù)是一種幸福和特權，也是一種戰(zhàn)略、世界觀和習慣。大數(shù)據(jù)建立在統(tǒng)計學的基礎上。在大數(shù)據(jù)時代，統(tǒng)計分析更加重要，但它與傳統(tǒng)的統(tǒng)計方法又有許多不同。在傳統(tǒng)統(tǒng)計學中，我們所做的統(tǒng)計工作，主要是試圖通過最小量的樣本來觀察、評估和預測經濟社會內在的發(fā)展和運行規(guī)律。由于數(shù)據(jù)的采集、儲存和分析的成本高，往往采用抽樣的方法。而在大數(shù)據(jù)時代，我們收集與所研究現(xiàn)象相關的是所有可獲得的數(shù)據(jù)，而且是自動生成的，這是傳統(tǒng)抽樣方法做不到的。另一個不同是，在統(tǒng)計學中，進行分析時考慮的是往往與研究對象具有內在關系的因素。此外，統(tǒng)計工作過去主要服務于各級政府經濟社會運行管理和宏觀決策工作，服務對象相對比較單一；但在大數(shù)據(jù)時代，人人都需要通過數(shù)據(jù)分析結果來進行決策，大到政府宏觀決策、項目可行性研究報告，小到個人投資興業(yè)、尋常購物，個性化需求的數(shù)量急驟上升，統(tǒng)計服務的廣度、寬度和深度都比過去有了本質的變化。

借助于高性能的數(shù)據(jù)分析工具

數(shù)據(jù)的最大價值在于開發(fā)利用，在于指導和預測未來。沒有數(shù)據(jù)的開發(fā)，再大再全再真實的數(shù)據(jù)也沒有實際價值。隨著科技的進步，移動互聯(lián)網、物聯(lián)網、購物網等迅速發(fā)展，使新數(shù)據(jù)源不斷出現(xiàn)，GPS、傳感器等數(shù)據(jù)持續(xù)、不間斷地大量產生，數(shù)據(jù)獲取成本、存儲成本和處理成本的持續(xù)下降，推動著數(shù)據(jù)量的進一步膨脹，全球數(shù)據(jù)總量正呈幾何級數(shù)增長，過去3年間產生的數(shù)據(jù)量超過以往人類歷史累積的總和。

傳統(tǒng)的數(shù)據(jù)分析技術已遠遠滿足不了需求，難以及時分析和處理這些數(shù)量龐大又變化迅速的數(shù)據(jù)，難以及時分析挖掘出個性化、有利用價值的數(shù)據(jù)信息。如果不能借助于高性能的分析工具，對海量的數(shù)據(jù)進行及時有效處理，大數(shù)據(jù)的內在價值就難以得到有效釋放。新數(shù)據(jù)分析技術和舊技術的不同之處在于：一方面，數(shù)據(jù)量呈幾何級數(shù)的迅速膨脹，要求數(shù)據(jù)挖掘和統(tǒng)計分析技術性能的飛躍。另一方面，不同規(guī)模的企業(yè)如今都面臨大數(shù)據(jù)時代帶來的挑戰(zhàn)，分析技術必須朝著平民化、扁平化、易操作化發(fā)展：簡單易懂、便于操作，并能為不同行業(yè)、不同類型的企業(yè)所用。大數(shù)據(jù)時代帶來不是單純數(shù)據(jù)資源的增加，還有更加先進、快捷的科研技術設施，更方便的數(shù)學分析工具，同時也意味著更加信息化、電子化。當然，各級政府統(tǒng)計部門、特大型企業(yè)也會在大數(shù)據(jù)分析的基礎上改進決策，努力增強宏觀經濟政策的前瞻性和有效性，切實提高各級經濟組織在市場經濟大環(huán)境下統(tǒng)籌和運用資源的效率。

處理好數(shù)據(jù)應用廣泛性與數(shù)據(jù)安全性的關系

大數(shù)據(jù)對人類經濟社會的發(fā)展影響巨大，歸納起來主要有三個方面：一是能夠推動實現(xiàn)巨大經濟效益。據(jù)麥肯錫全球研究院的測算，大數(shù)據(jù)將給美國醫(yī)療服務業(yè)帶來3000億美元的價值，使美國零售業(yè)凈利潤增長達到60％，使制造業(yè)產品開發(fā)、組裝成本下降了50％。而大數(shù)據(jù)所帶來的新的信息技術應用需求，將推動整個信息技術產業(yè)的創(chuàng)新發(fā)展，預計2013年全球大數(shù)據(jù)直接和間接拉動信息技術支出將達到1200億美元。二是能夠推進增強社會管理水平。大數(shù)據(jù)在政府和公共服務領域的應用，可有效推動政務工作的開展，提高政府部門的決策水平、服務效率和社會管理水平，產生巨大社會價值。三是能夠推動提高安全保障能力。

大數(shù)據(jù)在國防、反恐、安全等領域的應用，將對各部門搜集到的各類信息進行自動分類、整理、分析，有效解決情報、監(jiān)視和偵察系統(tǒng)不足等問題，提高國家安全保障能力?？偠灾?，大數(shù)據(jù)將為人們認識世界和改造世界提供新的強有力工具，幫助人們更客觀地了解賴以生存和發(fā)展的社會環(huán)境，更容易地把握事物發(fā)展的內在規(guī)律，更準確地預測未來發(fā)展趨勢，更有效地進行決策，做出更加明智的選擇。

此外，任何事物都有其兩面性。在充分認識大數(shù)據(jù)帶來的機遇和利益的同時，也應該認識到大數(shù)據(jù)帶來的可能性風險。大數(shù)據(jù)時代令隱私保護問題更加突出，必然會導致人們更多的個人信息被搜集和捕捉，這勢必會使很多人感到不舒服甚至不安。數(shù)據(jù)量巨大、非結構性強、來源龐雜，當它超出我們的控制范圍時，不可預測的問題就將發(fā)生。對大數(shù)據(jù)進行集中管理會使其變得更容易查找，而且便于混合提取不同類別的數(shù)據(jù)。但是集中管理可能會造成更嚴重的問題：一是可能淪為恐怖分子的襲擊目標，二是會賦予管理機構過于集中的信息掌控權。

對大數(shù)據(jù)分析資料的應用必須保持清醒的認識，既不能盲目迷信其分析結果，也不能因為其難以做到比較精準而否定其重要作用。一方面，由于各種主觀和客觀原因的存在，我們所分析處理的大批大量數(shù)據(jù)對象中不可避免地包含有各種各樣的錯誤數(shù)據(jù)、無用數(shù)據(jù)，加之作為大數(shù)據(jù)技術核心的數(shù)據(jù)分析、人工智能等技術手段尚未完全成熟，對計算機完成的大數(shù)據(jù)分析處理的結果，無法要求其做到完全準確。另一方面，大數(shù)據(jù)作用與價值的重點在于能夠引導和啟發(fā)大數(shù)據(jù)應用者的創(chuàng)新思維，輔助決策。簡單而言，若是處理一個問題，通常人能夠想到一種方法，而大數(shù)據(jù)能夠提供若干種參考方法，哪怕其中只有三種可行，也將解決問題的思路拓展了三倍。所以，客觀認識和發(fā)揮大數(shù)據(jù)的作用，不夸大、大縮小，是準確認知和應用大數(shù)據(jù)的前提。