
大數(shù)據(jù) 是一個革命性的概念
我和許多經(jīng)理人討論大數(shù)據(jù)現(xiàn)象時,也同樣提到,我很喜歡大數(shù)據(jù)這個概念的一切,但唯獨不喜歡這個名字。大數(shù)據(jù)是一個革命性的概念,它可能握有改變幾乎各行各業(yè)的能力。不過,基于某幾項塬因,這個專有名詞本身大有問題。
第一個問題是,「大」只是這種新型態(tài)的數(shù)據(jù)有別于既有數(shù)據(jù)的面向之一,而且對許多組織而言,「大」并非最重要的特質(zhì)。根據(jù)2012年由大數(shù)據(jù)顧問業(yè)者NewVantage Partners針對大型組織的五十名經(jīng)理人所做的一項調(diào)查,在大公司里,他們所處理的較屬于「數(shù)據(jù)缺乏結(jié)構(gòu)」的問題,而非「數(shù)據(jù)量過于龐大」的問題。在該調(diào)查中,有30%的受訪者表示,他們所處理的大數(shù)據(jù)問題主要在于「必須分析來自多個來源的數(shù)據(jù)」;另有22%的受訪者則主要聚焦于「分析新型態(tài)的數(shù)據(jù)」;還有12%的人主要是「分析動態(tài)的數(shù)據(jù)串流」;只有28%的受訪者是以分析大于1TB的數(shù)據(jù)集為主要工作,而且這群人當中有13%是在處理介于 1TB與100TB間的數(shù)據(jù)集,但若以大數(shù)據(jù)的標準來看,這樣的數(shù)據(jù)量并不算多。
「大數(shù)據(jù)」這個稱呼還存在著其他問題?!复蟆惯@個字,很明顯是相對的──就算今天看起來很「大」,并不表示到了明天仍然算「大」。而且,前述調(diào)查也顯示,對一家組織而言的「大」,對另一家組織來說可能很「小」。我個人基本上認為,「大」應(yīng)該指的是1/10PB以上的數(shù)據(jù),但就算數(shù)據(jù)真的多到會造成影響,也不過就是必須購買更多硬件來儲存與處理這些數(shù)據(jù)而已。
有人以三個V(量〔volume〕、龐雜程度〔variety〕、累積的速度〔velocity〕)來定義大數(shù)據(jù),但有人又另外加了幾個V(真實性〔veracity〕、價值〔value〕──或許下一個V是「能夠花錢搞定」〔venality〕),然而這樣的描述也有問題。我認同這些都是大數(shù)據(jù)的重要特質(zhì),但假如你手邊的數(shù)據(jù)只符合其中一兩項的V呢?難道你就因此只握有三分之一或五分之二的大數(shù)據(jù)嗎?
另一個問題是,太多人(尤其是相關(guān)軟硬件廠商)已經(jīng)把「大數(shù)據(jù)」一詞拿來指稱任何接受分析的數(shù)據(jù),或者夸張一點,連純粹呈報用的數(shù)據(jù),或傳統(tǒng)的企業(yè)內(nèi)部資訊,也全都算在內(nèi)。相關(guān)軟硬件廠商與企管顧問,把任何熱門新字眼拿來套用在自己既有的產(chǎn)品或服務(wù)上,已經(jīng)是他們的慣用伎倆;在大數(shù)據(jù)方面,他們肯定也使用了這樣的手法。假如你已開始在閱讀談?wù)摯髷?shù)據(jù)的書籍、文章或廣告,千萬小心,里頭若提到「數(shù)據(jù)導向決策」或是傳統(tǒng)的數(shù)據(jù)分析手法,你所吸收的想法或許很有用、很有價值,但并不能算是什么新東西。
基于定義「大數(shù)據(jù)」時的上述問題,我(以及我徵詢過其意見的一些專家)估計,這個不幸的術(shù)語,可能會比別的術(shù)語短命。媒體與新創(chuàng)企業(yè)都愛用這個字眼,但我已觀察到,一些在大企業(yè)從事資訊工作的人,尤其是在銀行、運輸業(yè)者等已經(jīng)長年掌握龐大數(shù)據(jù)的企業(yè)服務(wù)的人士,都不太愛用這樣的字眼。簡單講,他們認為,這一代的新數(shù)據(jù)來源與型態(tài),不過是先前好幾代新東西的其中一代而已。當然,這并不表示「先前大家認知為大數(shù)據(jù)的那種現(xiàn)象」將會消失。假如你是要描述過去十年左右冒出來、種類繁多的大量新型態(tài)數(shù)據(jù),就我所知,「大數(shù)據(jù)」依舊是最好的統(tǒng)稱術(shù)語。
不過,由于這字眼實在太不精確,企業(yè)必須多解構(gòu)一些,才能修正自己的策略,并且讓利害關(guān)系人知道,管理團隊有意如何運用這些新型態(tài)的數(shù)據(jù),以及哪些類型的數(shù)據(jù)最為重要。大數(shù)據(jù)當然有許多不同的變種可以選擇─而且每一種特質(zhì)都有多種可能的選擇,如圖表1-2所示。你可以先從每一行之中選擇一項。
換句話說,你與其說「我們正針對大數(shù)據(jù)推動一項硬件計劃」,還不如說「我們正準備分析來自于ATM與各分行的影音數(shù)據(jù),以求對顧客關(guān)系有更深入的了解」,會比較有建設(shè)性一些?;蛘?,假如你服務(wù)于醫(yī)療業(yè),你可以決定要「整合電子病歷與基因數(shù)據(jù),提供個人化的治療方案」。此舉除了有助于厘清目標與策略,也有助于避免無止境地討論涉及的數(shù)據(jù)量究竟是大還是小(事實上,即便發(fā)展的是值得崇敬的出色事業(yè),還是有少數(shù)企業(yè)承認,他們只有「小數(shù)據(jù)」需要處理而已─ 由此我也學到,若要讓一個專有名詞真正管用,就必須把彼此相對的兩種情況都囊括進去).
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時代,面對海量、復雜的數(shù)據(jù),如何高效地進行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09