
大數(shù)據(jù)是什么概念_大數(shù)據(jù)特點(diǎn)_大數(shù)據(jù)的價值特征
大數(shù)據(jù)是什么概念
大數(shù)據(jù)是一個寬泛的概念,見仁見智。上面幾個定義,無一例外地都突出了“大”字。誠然“大”是大數(shù)據(jù)的一個重要特征,但遠(yuǎn)遠(yuǎn)不是全部。筆者在調(diào)研多個行業(yè)后,給出了自己的定義:大數(shù)據(jù)是“在多樣的或者大量數(shù)據(jù)中,迅速獲取信息的能力”。前面幾個定義都是從大數(shù)據(jù)本身出發(fā),我們的定義更關(guān)心大數(shù)據(jù)的功用。它能幫助大家干什么?在這個定義中,重心是“能力”。大數(shù)據(jù)的核心能力,是發(fā)現(xiàn)規(guī)律和預(yù)測未來。
互聯(lián)網(wǎng)的“請求”加“響應(yīng)”機(jī)制恰恰在服務(wù)器上保留了人們大量的前兆性的行為數(shù)據(jù),把這些數(shù)據(jù)搜集起來,進(jìn)一步分析挖掘,就可以發(fā)現(xiàn)隱藏在大量細(xì)節(jié)背后的規(guī)律,依據(jù)規(guī)律,預(yù)測未來。收集分析海量的各種類型的數(shù)據(jù),并快速獲取影響未來的信息的能力,就是大數(shù)據(jù)技術(shù)的力所在。
大數(shù)據(jù)特點(diǎn)
要理解大數(shù)據(jù)這一概念,首先要從"大"入手,"大"是指數(shù)據(jù)規(guī)模,大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別,其基本特征可以用4個V來總結(jié)(Vol-ume、Variety、Value和Veloc-ity),即體量大、多樣性、價值密度低、速度快。
第一,數(shù)據(jù)體量巨大。從TB級別,躍升到PB級別。
第二,數(shù)據(jù)類型繁多,如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息,等等。
第三,價值密度低。以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅有一兩秒。
第四,處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數(shù)據(jù)來源或者承載的方式。
大數(shù)據(jù)的價值特征
7·21 北京暴雨之夜,微博成了救災(zāi)的明星。一些好心人在微博上公開自己公司地址,方便大家去躲雨和休息。大家依據(jù)微博實(shí)時了解哪個地方出現(xiàn)了擁堵,哪個地方需要救援。當(dāng)然救災(zāi)不力,應(yīng)對失當(dāng)是另外一回事兒。短信、電話都難以描述精確的地址,尤其是當(dāng)人們焦慮和著急的時候,但是一條微博中可以同時包括人物、時間、地點(diǎn)三個要素,打開微博附加的坐標(biāo)數(shù)據(jù),就可以在地圖上迅速定位,為及時救災(zāi)提供了方便。在這個例子中,人們看到融合數(shù)據(jù)的價值。
再如視頻監(jiān)控的例子。銀行、地鐵等一些敏感的部門或者地點(diǎn),攝像頭都是24 小時運(yùn)轉(zhuǎn),會產(chǎn)生大量視頻數(shù)據(jù)。一般情況下,這些視頻數(shù)據(jù)非??菰铩⒎ξ?,并不會引人注目。但是如果恰巧拍到有圖謀不軌的人,那么這一幀圖像對公安人員來講,就是非常有價值的了。問題是我們無法在事前知道哪一幀會有用,只好把所有的視頻數(shù)據(jù)都保存下來,甚至保存了一年的數(shù)據(jù),只有那一秒對破案有用。但是在研究人類行為的社會學(xué)家眼中,這些視頻可能就是難得的第一手資料,也許可以借此窺探人類的某些行為模式。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03