
大數(shù)據(jù)變革再認識
大數(shù)據(jù)的應用從需求角度出發(fā),是物聯(lián)網的興起。隨著互聯(lián)網逐漸過渡到物聯(lián)網,網絡中互聯(lián)的主體可以不再是人,可以是智能終端、傳感器,乃至可穿戴設備。人們的各方面信息正通過無處不在的物聯(lián)網被采集、匯總和辨析,人類的生活最終進入虛擬化。數(shù)據(jù)得到爆發(fā)式增長,且成本越來越低。大數(shù)據(jù)革命正在對世界產生巨大的系統(tǒng)性影響和深遠意義。早在2012年美國就發(fā)布了《大數(shù)據(jù)研究和發(fā)展計劃》,并成立了“大數(shù)據(jù)高級指導小組”。歐盟也正在力推《數(shù)據(jù)價值鏈戰(zhàn)略計劃》,英國發(fā)布了《英國數(shù)據(jù)能力發(fā)展戰(zhàn)略規(guī)劃》,日本《創(chuàng)建最尖端IT國家宣言》和韓國的“大數(shù)據(jù)中心戰(zhàn)略”也陸續(xù)出臺。
上世紀80年代,未來學家托夫勒在那本聞名世界的《第三次浪潮》一書中就預言過:“如果說IBM[微博]的主機拉開了信息化革命的大幕,那么大數(shù)據(jù)才是第三次浪潮的華彩樂章?!币虼耍髷?shù)據(jù)作為未來國家發(fā)展的基礎設施,我國不應該落后于其他大國??上驳氖?,國家級《關于促進大數(shù)據(jù)發(fā)展的行動綱要》于2015年8月19日正式通過,標志著我國已經啟動了大數(shù)據(jù)的后發(fā)之勢。因此,最為這一過程的蒞臨者更多是談幾點我對大數(shù)據(jù)的幾點體會。
世界的本質是數(shù)據(jù)
大數(shù)據(jù)有諸多定義,從麥肯錫的技術定義到維基百科的一個范性的概括,再到IDC(國際數(shù)據(jù)公司)被廣泛接受的四個特性——4V,即海量的數(shù)據(jù)規(guī)模(Volume)、快速的數(shù)據(jù)流轉和動態(tài)的數(shù)據(jù)體系(Velocity)、多樣的數(shù)據(jù)類型(Variety)和巨大的數(shù)據(jù)價值(Value)。大數(shù)據(jù)告訴了我們,現(xiàn)在以及未來的社會,數(shù)據(jù)至關重要,數(shù)據(jù)成為我們分析、決策的前提和基礎。
何為數(shù)據(jù)?就是有根據(jù)的數(shù)字編碼,這是人類度量世界萬物的一個尺度。早在古埃及,人類已經學會了通過數(shù)據(jù)來計量財富和日常的生活。歐洲的文藝復興后,數(shù)據(jù)開始進入人類的意識形態(tài),可以刻畫自然乃至人文規(guī)律。隨著近現(xiàn)代信息技術的發(fā)展和數(shù)字化進程的日益深入,數(shù)據(jù)逐漸脫離了僅僅作為刻度表征的特性,成為世界萬物的量化映射。世界可以通過數(shù)據(jù)來表示,人類也可以通過數(shù)字化的信息對世界進行再認識,數(shù)據(jù)最終實現(xiàn)了主體地位,是客觀存在的一個體系。這也驗證了古希臘哲學家畢達哥拉斯“數(shù)是萬物的本原”的思想,世界的一切關系皆可用數(shù)據(jù)來表征。
大數(shù)據(jù)是方法論
如果說大數(shù)據(jù)是方法論,更多是分析、解決問題的一次變革。數(shù)量經濟學告訴我們,一個經濟過程的刻畫,背后潛在的原理是通過一般模型出發(fā),參數(shù)靠近理論在樣本的空間內進行估計和檢驗,實現(xiàn)經濟過程的模型簡化,來探討和發(fā)現(xiàn)一種因果關系。因此這一過程難以避免分析主體依據(jù)變量對樣本進行必要的加工或調整,而大數(shù)據(jù)實現(xiàn)了用數(shù)據(jù)說話。先前分析問題的方式是一種小樣本的思維模式,建立在分析問題信息相對不全面的前提之上(樣本數(shù)據(jù)往往具有“一次性”)。
大數(shù)據(jù)理論的提出,本身基于海量數(shù)據(jù),是一種全數(shù)據(jù)的思維方式,通過數(shù)據(jù)挖掘來獲得數(shù)據(jù)本身的含義,Let data say!因此,大數(shù)據(jù)強調的是整體、多樣、關聯(lián)、動態(tài)、開放、平等的新思維,通過關系的相關性來變革認識事物的方法。同時通過海量存儲、云計算、數(shù)據(jù)挖掘等信息技術實現(xiàn)思維理解的物理轉化。
大數(shù)據(jù)是國家整體競爭力的體現(xiàn)
大數(shù)據(jù)是國家未來現(xiàn)代化發(fā)展的基礎設施,因此大數(shù)據(jù)的實現(xiàn)必然是高投入、高技術門檻、周期長、資源匹配效率高的建設過程。不僅涉及建設的軟硬件,而且關于日后的管理、運營和相關服務的配套,是國家整體實力的體現(xiàn)。從廣義層面上講,大數(shù)據(jù)是由海量數(shù)據(jù)集合和對這些數(shù)據(jù)進行存儲、處理、分析的技術所組成的綜合性概念。那么從大數(shù)據(jù)的概念上理解,大數(shù)據(jù)基礎設施的建立必須形成以大數(shù)據(jù)為產業(yè)鏈條、縱橫交錯的生態(tài)環(huán)境??v向來看,處于底層的是IT技術的開源項目,在這之上的是基礎架構、證析和應用。橫向來看,依次是基礎架構、證析和應用,其中的應用又必須依靠數(shù)據(jù)源。這樣看來,大數(shù)據(jù)真正從實現(xiàn)到最終的應用,國家層面需要在人才、財稅、科技金融等方面設計有利于數(shù)據(jù)人才和數(shù)據(jù)產業(yè)發(fā)展的政策,逐步建立有利于大數(shù)據(jù)金融研究與發(fā)展的制度法規(guī)體系。
最后,我想強調當前數(shù)據(jù)的開放問題。大數(shù)據(jù)的前提一定要落腳到數(shù)據(jù),當前我們國家存在數(shù)據(jù)割裂、統(tǒng)計口徑不統(tǒng)一、數(shù)據(jù)重疊與失真等問題,這些都將嚴重制約未來大數(shù)據(jù)國家規(guī)劃的全面實現(xiàn)。因此,當前重中之重需要對“數(shù)據(jù)孤島”問題進行妥善解決,首當其沖是政府數(shù)據(jù)的整合和梳理,亟需中央政府各部委、地方政府間、各級監(jiān)管機構等部門達成數(shù)據(jù)的流動與共享,同時在一定程度上實現(xiàn)部分數(shù)據(jù)的社會公布。因此,這需要政府進行頂層設計,建立法律規(guī)章,實現(xiàn)政府信息保密、私人信息私權向公權的讓渡、統(tǒng)計口徑的統(tǒng)一、數(shù)據(jù)清洗等工作。畢竟美國的數(shù)據(jù)開放,從1789年通過的《管家法》(House-keeping Act)到1966年通過的《信息自由法》(Freedom of Information Act),歷時近200年徹底建立了相對完善的美國數(shù)據(jù)開放制度體系。同時,大數(shù)據(jù)也并非一定是靈丹妙藥,它也肯定存在局限性(我們很難界定什么是“全數(shù)據(jù)”,只是一個相對概念),需要我們決策者用一種理性思維來認識并使用。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03