
大數(shù)據(jù)’是第三次浪潮的華彩樂章_數(shù)據(jù)分析師
美國社會思想家托夫勒在 《第三次浪潮》中提出,如果說IBM的主機拉開了信息化革命的大幕,那么‘大數(shù)據(jù)’才是第三次浪潮的華彩樂章。大數(shù)據(jù)以其淺顯易懂的概念、廣泛的潛在應用需求和可展望的巨大經濟社會效益,正成為繼云計算、物聯(lián)網之后信息技術領域的又一熱點,并將在社會經濟各領域產生深刻影響。
麥肯錫全球研究院 (MGI)于2011年6月發(fā)布了題為《大數(shù)據(jù):下一個創(chuàng)新、競爭和生產力的前沿》的研究報告,最早提出大數(shù)據(jù)時代已經到來,并從經濟角度引發(fā)全球對大數(shù)據(jù)的關注。報告指出,當前大數(shù)據(jù)規(guī)模以及其存儲容量正在迅速增長,已經滲透到各個行業(yè)和業(yè)務職能領域,成為可以與物質資產和人力資本相提并論的重要的生產要素。大數(shù)據(jù)是繼傳統(tǒng)IT之后下一個提高生產率的技術前沿。只要具有適當?shù)恼咄苿?,大?shù)據(jù)的使用將成為未來提高競爭力、生產力、創(chuàng)新能力以及創(chuàng)造消費者盈余的關鍵要素,成為領軍企業(yè)與其他企業(yè)之間最大的顯著差別。那些沒有引入新的分析技術和新的數(shù)據(jù)類型的企業(yè),不太可能成為其行業(yè)的領軍者。
2012年3月,美國奧巴馬政府宣布推出 大數(shù)據(jù)的研究和發(fā)展計劃。該計劃涉及美國國家科學基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級研究計劃局、美國地質勘探局等6個聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動和改善與大數(shù)據(jù)相關的收集、組織和分析工具及技術,以推進從大量的、復雜的數(shù)據(jù)集合中獲取知識和洞見的能力。美國奧巴馬政府宣布投資大數(shù)據(jù)領域,是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經濟社會各個層面、各個領域都開始受到重視。
大數(shù)據(jù)的三重內涵
大數(shù)據(jù)在業(yè)內并沒有統(tǒng)一的定義。不同廠商、不同用戶,站的角度不同,對大數(shù)據(jù)的理解也不一樣。麥肯錫報告中對大數(shù)據(jù)的基本定義是:大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲存、管理和分析等能力的數(shù)據(jù)集合。賽迪智庫指出,大數(shù)據(jù)是一個相對的概念,并沒有一個嚴格的標準限定多大規(guī)模的數(shù)據(jù)集合才稱得上是大數(shù)據(jù)。事實上,隨著時間推移和數(shù)據(jù)管理與處理技術的進步,符合大數(shù)據(jù)標準的數(shù)據(jù)集合的規(guī)模也在并將繼續(xù)增長。同時,對于不同行業(yè)領域和不同應用而言,大數(shù)據(jù)的規(guī)模也不統(tǒng)一。
雖然大數(shù)據(jù)直接代表的是數(shù)據(jù)集合這一靜態(tài)對象,但賽迪智庫經過深入研究認為,目前所提到的大數(shù)據(jù),并不僅僅是大規(guī)模數(shù)據(jù)集合本身,而應當是數(shù)據(jù)對象、技術與應用三者的統(tǒng)一:
1.從對象角度看,大數(shù)據(jù)是大小超出典型數(shù)據(jù)庫軟件采集、儲存、管理和分析等能力的數(shù)據(jù)集合。需要注意的是,大數(shù)據(jù)并非大量數(shù)據(jù)簡單、無意義的堆積,數(shù)據(jù)量大并不意味著一定具有可觀的利用前景。由于最終目標是從大數(shù)據(jù)中獲取更多有價值的新信息,所以必然要求這些大量的數(shù)據(jù)之間存在著或遠或近、或直接或間接的關聯(lián)性,才具有相當?shù)姆治鐾诰騼r值。數(shù)據(jù)間是否具有結構性和關聯(lián)性,是 大數(shù)據(jù)與大規(guī)模數(shù)據(jù)的重要差別。
2.從技術角度看,大數(shù)據(jù)技術是從各種各樣類型的大數(shù)據(jù)中,快速獲得有價值信息的技術及其集成。大數(shù)據(jù)與大規(guī)模數(shù)據(jù)、海量數(shù)據(jù)等類似概念間的最大區(qū)別,就在于大數(shù)據(jù)這一概念中包含著對數(shù)據(jù)對象的處理行為。為了能夠完成這一行為,從大數(shù)據(jù)對象中快速挖掘更多有價值的信息,使大數(shù)據(jù)活起來,就需要綜合運用靈活的、多學科的方法,包括數(shù)據(jù)聚類、數(shù)據(jù)挖掘、分布式處理等,而這就需要擁有對各類技術、各類軟硬件的集成應用能力??梢?,大數(shù)據(jù)技術是使大數(shù)據(jù)中所蘊含的價值得以發(fā)掘和展現(xiàn)的重要工具。
3.從應用角度看,大數(shù)據(jù)是對特定的大數(shù)據(jù)集合、集成應用大數(shù)據(jù)技術、獲得有價值信息的行為。正由于與具體應用緊密聯(lián)系,甚至是一對一的聯(lián)系,才使得應用成為大數(shù)據(jù)不可或缺的內涵之一。
需要明確的是,大數(shù)據(jù)分析處理的最終目標,是從復雜的數(shù)據(jù)集合中發(fā)現(xiàn)新的關聯(lián)規(guī)則,繼而進行深度挖掘,得到有效用的新信息。如果數(shù)據(jù)量不小,但數(shù)據(jù)結構簡單,重復性高,分析處理需求也僅僅是根據(jù)已有規(guī)則進行數(shù)據(jù)分組歸類,未與具體業(yè)務緊密結合,依靠已有基本數(shù)據(jù)分析處理技術已足夠,則不能算作是完全的大數(shù)據(jù),只是大數(shù)據(jù)的初級發(fā)展階段。
大數(shù)據(jù)對信息產業(yè)的影響
大數(shù)據(jù)的熱潮興起于新一代信息技術的融合發(fā)展,物聯(lián)網、移動互聯(lián)網、數(shù)字家庭、社會化網絡等應用使得數(shù)據(jù)規(guī)??焖贁U大,對大數(shù)據(jù)的處理和分析的需求日益旺盛,推動了大數(shù)據(jù)領域的發(fā)展。反過來,大數(shù)據(jù)的分析、優(yōu)化結果又反饋到這些應用中,進一步改善其使用體驗,支撐和推動新一代信息技術產業(yè)的發(fā)展。
賽迪智庫 《軟件與信息服務研究》指出,大數(shù)據(jù)將為信息產業(yè)帶來新的增長點。IDC預測,全球數(shù)據(jù)在2015年將達到10萬億TB。面對爆發(fā)式增長的海量數(shù)據(jù),基于傳統(tǒng)架構的信息系統(tǒng)已難以應對,同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件面對以視頻、圖片、文字等非結構化數(shù)據(jù)為主的大數(shù)據(jù)時,也缺少有效的分析工具和方法。信息系統(tǒng)普遍面臨升級換代的迫切需求為信息產業(yè)帶來新的、更為廣闊的增長點。
同時,大數(shù)據(jù)將加速信息技術產品的創(chuàng)新融合發(fā)展。大數(shù)據(jù)面臨著有效存儲、實時分析等挑戰(zhàn),必將對芯片、存儲產業(yè)產生重要影響,將推動一體化數(shù)據(jù)存儲處理服務器、內存計算等產品的升級創(chuàng)新。對數(shù)據(jù)快速處理和分析的需求,將推動商業(yè)智能、數(shù)據(jù)挖掘等軟件在企業(yè)級的信息系統(tǒng)中得到融合應用,成為業(yè)務創(chuàng)新的重要手段。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03