
對大數(shù)據(jù)現(xiàn)象和概念追根溯源,大致可以分為三個階段。一是20世紀80年代至90年代中期,是大數(shù)據(jù)認知的萌芽階段。1980年,美國著名未來學(xué)家阿爾文?托夫勒在《第三次浪潮》一書中將大數(shù)據(jù)盛贊為“第三次浪潮的華彩樂章”。二是20世紀90年代中期到21世紀前10年,是大數(shù)據(jù)廣受各界關(guān)注的階段。美國高德納(Gartner Group)公司的分析師道格拉斯.蘭尼(Douglas Laney)2001年首次從大數(shù)據(jù)的特征的角度對大數(shù)據(jù)進行了相對明確的定義,強調(diào)大數(shù)據(jù)必須具備3V特征,即容量大、多樣化和速度快。三是2010年至今,是大數(shù)據(jù)戰(zhàn)略應(yīng)用被提上日程并迅速發(fā)展的階段。美國總統(tǒng)科學(xué)技術(shù)顧問委員會于2010年給奧巴馬總統(tǒng)和國會呈報了題為《規(guī)劃數(shù)字化的未來》的報告。麥肯錫公司于2011年發(fā)布了《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》的報告。2012年更是一個重要年份。1月,瑞士達沃斯世界經(jīng)濟論壇發(fā)布報告《大數(shù)據(jù)大影響》;3月,美國奧巴馬政府頒布了《大數(shù)據(jù)的研究和發(fā)展計劃》;5 月,聯(lián)合國秘書長執(zhí)行辦公室發(fā)布了《大數(shù)據(jù)促發(fā)展:挑戰(zhàn)與機遇》的報告;6月,經(jīng)合組織OECD統(tǒng)計委員會第9屆會議發(fā)布《使用大數(shù)據(jù)作決策》研究報告。2013年則可以稱為中國統(tǒng)計的大數(shù)據(jù)元年。7月,“大數(shù)據(jù)時代統(tǒng)計學(xué):機遇與挑戰(zhàn)——中國統(tǒng)計學(xué)高端論壇”在上海財經(jīng)大學(xué)舉辦;10月,主題為“大數(shù)據(jù)背景下的統(tǒng)計”的第十七次全國統(tǒng)計科學(xué)討論會在杭州舉行。11月,國家統(tǒng)計局與阿里、百度等11家企業(yè)簽署了大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議。
什么是大數(shù)據(jù)?麥肯錫報告的定義是,“大數(shù)據(jù)是指大小超出了傳統(tǒng)數(shù)據(jù)庫軟件工具的抓取、存儲、管理和分析能力的數(shù)據(jù)群”。維基百科(Wikipedia)的表述是,“大數(shù)據(jù)是難以用現(xiàn)有的數(shù)據(jù)庫管理工具處理的兼具海量特征和復(fù)雜性特征的數(shù)據(jù)集成?!蓖孔优鎸⒋髷?shù)據(jù)定義為那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度,一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù),認為一般應(yīng)該是“太字節(jié)”的數(shù)量級。阿里創(chuàng)始人馬云則說,大數(shù)據(jù)就是一種服務(wù)。而我們的同仁在研究中提出:大數(shù)據(jù)是指采用多種數(shù)據(jù)收集方式,匯集不同數(shù)據(jù)源,通過采用現(xiàn)代信息技術(shù)和架構(gòu)能夠高速分析處理的、具有高度應(yīng)用價值和決策支持功能的多種類型數(shù)據(jù)及其技術(shù)集成。
從存在形態(tài)看:大數(shù)據(jù)分為可以用二維表反映的結(jié)構(gòu)化數(shù)據(jù)和不能以二維表反映的非結(jié)構(gòu)化數(shù)據(jù),如音頻、視頻、圖片等。從數(shù)據(jù)來源看:大數(shù)據(jù)可分為行政記錄數(shù)據(jù)、商業(yè)記錄數(shù)據(jù)、互聯(lián)網(wǎng)及搜索引擎數(shù)據(jù)三大類。行政記錄數(shù)據(jù)包括個人信息記錄數(shù)據(jù),單位信息記錄數(shù)據(jù)和自然和資源記錄數(shù)據(jù)等;商業(yè)記錄數(shù)據(jù)包括電子商務(wù)交易數(shù)據(jù),企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)和信息咨詢報告數(shù)據(jù)等;互聯(lián)網(wǎng)數(shù)據(jù)則包括搜索引擎數(shù)據(jù),新聞媒體數(shù)據(jù)和社交平臺數(shù)據(jù)等。而大數(shù)據(jù)的特征,從最初的3V已經(jīng)被歸納為6V加1C。即數(shù)據(jù)體量大(Volume),類型多樣化(Variety),處理速度快(Velocity),應(yīng)用價值大(Value),數(shù)據(jù)獲取與發(fā)送的方式自由靈活(Vender),準確性(veracity) 和處理和分析難度非常大(Complexity)。
相對于傳統(tǒng)數(shù)據(jù),大數(shù)據(jù)多是自動化或半自動化生成;數(shù)據(jù)的搜集、處理、存儲和分析能力都已極大提高;數(shù)據(jù)主體和來源日趨多元化;非結(jié)構(gòu)化數(shù)據(jù)占絕大多數(shù);需要大量過濾才能提取有用價值;隱私與安全也存在著巨大隱患。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03