
大數(shù)據(jù)分析:大數(shù)據(jù)小數(shù)據(jù),有用的就是好數(shù)據(jù)
大數(shù)據(jù)到底有多大?
在 2001 年,道格 · 萊尼(Doug Laney)寫下了一篇具有開創(chuàng)性意義的文章。在這篇文章中,萊尼描繪了一直困擾著他的客戶的一個數(shù)據(jù)問題。萊尼的客戶受困于體量(Volume)過于龐大的數(shù)據(jù),這些數(shù)據(jù)正在以爆發(fā)式的速度(Velocity)增長,同時數(shù)據(jù)所呈現(xiàn)的形式也非常多樣化(Variety)。萊尼的體量、速度和多樣化理論得到了廣泛認可,并被稱為「大數(shù)據(jù)的三重奏」。
遺憾的是,許多人并沒有抓住萊尼的重點。他在文章中所描述的是大數(shù)據(jù)所蘊含的問題,而不是優(yōu)勢。
想要收集大數(shù)據(jù)其實并不容易,而且收集和使用的成本往往非常高昂。與此同時,在一般情況下大數(shù)據(jù)和具體商業(yè)問題的關(guān)聯(lián)度其實并不明顯,遑論大數(shù)據(jù)往往不能滿足品質(zhì)標(biāo)準(zhǔn)的要求。況且在面對大數(shù)據(jù)時,管理數(shù)據(jù)所投入的資源并不能在分析、二次研究以及執(zhí)行等環(huán)節(jié)中使用。由此看來,大數(shù)據(jù)對于許多人而言其實并不是一個祝福。相反,大數(shù)據(jù)有可能會嚴(yán)重攤薄企業(yè)在數(shù)據(jù)分析環(huán)節(jié)所需要的資源。
數(shù)據(jù)2
和其他問題相比,某些問題往往會顯得更加重要,而某些問題則往往會顯得更為復(fù)雜。但即便是在解決那些非常重要或復(fù)雜問題的時候,我們也不一定需要體量龐大的數(shù)據(jù)。
我最喜歡的例子之一是載人航天計劃,你只需要考慮想要活著將人送到太空所需要的所有信息和計算,就不難理解這是一個多么復(fù)雜的問題。載人航天任務(wù)所涉及的數(shù)據(jù)包括:
宇航員的身體狀況和醫(yī)學(xué)信息
地理測量學(xué)(航天器的位置)和重力場
氣象學(xué),云層量和輻射平衡
大氣物理學(xué)
磁場強度
宇宙射線和輻射捕獲量
電磁輻射(紫外線、X 射線和伽瑪射線
這份清單只是所需清單中的一小部分,但它所包含的信息量已經(jīng)非常龐大。甚至連筆者本人也不清楚這些信息到底意味著什么,他只是從一份老舊的 NASA 文件中找到這份清單。(有誰知道行星際介質(zhì)的測量方法嗎?)
載人航天計劃所需要的數(shù)據(jù)到底有多少?與之匹配的計算能力又該有多少?這兩個問題的答案你能猜出來嗎?
筆者曾有幸和「水星計劃」(Mercury Project,美國第一個載人航天計劃)的編程人員露西 · 西蒙 · 拉科夫(Lucy Simon Rakov)進行會談,她向我描述了項目所使用的電腦。據(jù)拉科夫描述,盡管項目中的電腦性能非常強大,但內(nèi)存卻只有 300 千字節(jié)。你沒有看錯,不是「艾字節(jié)」,不是「拍字節(jié)」,也不是「兆字節(jié)」,而是「千字節(jié)」!
換而言之,只要你足夠聰明,你就可以憑借內(nèi)存極小的設(shè)備將航空器送上太空,要知道 300 千字節(jié)的內(nèi)存甚至連存儲一張大一點的圖片也不夠。由此看來,小小的空間其實也大有所為!
盡管如此,大數(shù)據(jù)有時會變得相當(dāng)寶貴,與其價值相比,處理中的煩惱和成本甚至也變得不值一提。
大數(shù)據(jù)有什么好處?
大數(shù)據(jù)可以針對用戶提供定制化的細節(jié)數(shù)據(jù),有了這些數(shù)據(jù),你可以作出更加明智的決策。實際上,有了大數(shù)據(jù)的幫助,你在頃刻間即可完成上千項決策。
如果說你可以一個接著一個地觀察用戶,你會更了解他們的習(xí)慣、喜好和需求。你會更了解如何和他們相處。只要數(shù)據(jù)的準(zhǔn)確度和質(zhì)量得當(dāng),大數(shù)據(jù)可以讓你以定制化的方式與用戶保持親近,就像對待朋友一樣。
你可以通過分析數(shù)據(jù)中的節(jié)為用戶提供個性化服務(wù),客戶可以從你身上獲得類似于亞馬遜(Amazon)或者 Netflix 的針對性服務(wù)。更加顯著的例子是在線婚戀網(wǎng)站的配對服務(wù)。
我需要大數(shù)據(jù)嗎?
除非你已經(jīng)可以在工作中善用日常更小級別的數(shù)據(jù),否則大數(shù)據(jù)對你而言還言之過早。更重要的是,不論面對的是大數(shù)據(jù)還是小數(shù)據(jù),最重要的是你可以善用數(shù)據(jù),并將其轉(zhuǎn)化成自己的強力武器。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03