
“揭秘”大數(shù)據(jù)的10個(gè)神話
也許對(duì)大數(shù)據(jù)更好的一個(gè)類比是它就像一匹意氣風(fēng)發(fā)的冠軍賽馬: 通過(guò)適當(dāng)?shù)挠?xùn)練和天賦的騎師,良種賽馬可以創(chuàng)造馬場(chǎng)記錄–但沒(méi)有訓(xùn)練和騎手,這個(gè)強(qiáng)大的動(dòng)物根本連起跑門都進(jìn)不了。
為了確保你組織的大數(shù)據(jù)計(jì)劃保持正軌,你需要消除以下10種常見(jiàn)的誤解。
1. 大數(shù)據(jù)就是‘很多數(shù)據(jù)’
大數(shù)據(jù)從其核心來(lái)講,它描述了結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)如何結(jié)合社交媒體分析,物聯(lián)網(wǎng)的數(shù)據(jù)和其他外部來(lái)源,來(lái)講述一個(gè)”更大的故事”。該故事可能是一個(gè)組織運(yùn)營(yíng)的宏觀描述,或者是無(wú)法用傳統(tǒng)的分析方法捕獲的大局觀。從情報(bào)收集的角度來(lái)看,其所涉及的數(shù)據(jù)的大小是微不足道的。
2.大數(shù)據(jù)必須非常干凈
在商業(yè)分析的世界里,沒(méi)有“太快”之類的東西。相反,在IT世界里,沒(méi)有“進(jìn)垃圾,出金子”這樣的東西,你的數(shù)據(jù)有多干凈?一種方法是運(yùn)行你的分析應(yīng)用程序,它可以識(shí)別數(shù)據(jù)集中的弱點(diǎn)。一旦這些弱點(diǎn)得到解決,再次運(yùn)行分析以突出 “清理過(guò)的” 區(qū)域。
3.所有人類分析人員會(huì)被機(jī)器算法取代
數(shù)據(jù)科學(xué)家的建議并不總是被前線的業(yè)務(wù)經(jīng)理們執(zhí)行。行業(yè)高管Arijit Sengupta在 TechRepublic 的一篇文章中指出,這些建議往往比科學(xué)項(xiàng)目更難實(shí)施。然而,過(guò)分依賴機(jī)器學(xué)習(xí)算法也同樣具有挑戰(zhàn)性。Sengupta說(shuō),機(jī)器算法告訴你該怎么做,但它們沒(méi)有解釋你為什么要這么做。這使得很難將數(shù)據(jù)分析與公司戰(zhàn)略規(guī)劃的其余部分結(jié)合起來(lái)。
預(yù)測(cè)算法的范圍從相對(duì)簡(jiǎn)單的線性算法到更復(fù)雜的基于樹的算法,最后是極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)。
4.數(shù)據(jù)湖是必須的
據(jù)豐田研究所數(shù)據(jù)科學(xué)家Jim Adler說(shuō),巨量存儲(chǔ)庫(kù),一些IT經(jīng)理們?cè)O(shè)想用它來(lái)存儲(chǔ)大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),根本就不存在。企業(yè)機(jī)構(gòu)不會(huì)不加區(qū)分地將所有數(shù)據(jù)存放到一個(gè)共享池中。Adler說(shuō),這些數(shù)據(jù)是 “精心規(guī)劃”的,存儲(chǔ)于獨(dú)立的部門數(shù)據(jù)庫(kù)中,鼓勵(lì)”專注的專業(yè)知識(shí)”。這是實(shí)現(xiàn)合規(guī)和其他治理要求所需的透明度和問(wèn)責(zé)制的唯一途徑。
5.算法是萬(wàn)無(wú)一失的預(yù)言家
不久前, 谷歌流感趨勢(shì)項(xiàng)目 被大肆炒作,聲稱比美國(guó)疾病控制中心和其他健康信息服務(wù)機(jī)構(gòu)更快、更準(zhǔn)確地預(yù)測(cè)流感疫情的發(fā)生地。正如《紐約客》的Michele Nijhuis 在 2017年6月3日的文章 中所寫的那樣, 人們認(rèn)為與流感有關(guān)詞語(yǔ)的搜索會(huì)準(zhǔn)確地預(yù)測(cè)疫情即將爆發(fā)的地區(qū)。事實(shí)上,簡(jiǎn)單地繪制本地溫度是一個(gè)更準(zhǔn)確的預(yù)測(cè)方法。
谷歌的流感預(yù)測(cè)算法陷入了一個(gè)常見(jiàn)的大數(shù)據(jù)陷阱——它產(chǎn)生了無(wú)意義的相關(guān)性,比如將高中籃球比賽和流感爆發(fā)聯(lián)系起來(lái),因?yàn)閮烧叨及l(fā)生在冬季。當(dāng)數(shù)據(jù)挖掘在一組海量數(shù)據(jù)上運(yùn)行時(shí),它更可能發(fā)現(xiàn)具有統(tǒng)計(jì)意義而非實(shí)際意義的信息之間的關(guān)系。一個(gè)例子是將緬因州的離婚率與美國(guó)人均人造黃油的消費(fèi)量掛鉤:盡管沒(méi)有任何現(xiàn)實(shí)意義,但這兩個(gè)數(shù)字之間確實(shí)存在“統(tǒng)計(jì)上顯著”的關(guān)系。
6.你不能在虛擬化基礎(chǔ)架構(gòu)上運(yùn)行大數(shù)據(jù)應(yīng)用
大約10年前,當(dāng)”大數(shù)據(jù)”首次出現(xiàn)在人們眼前時(shí),它就是Apache hadoop的代名詞。就像VMware的Justin Murray在 2017年5月12日的文章 中所寫的,大數(shù)據(jù)這一術(shù)語(yǔ)現(xiàn)在包括一系列技術(shù),從NoSQL(MongoDB,Apache Cassandra)到Apache Spark。
此前,批評(píng)者們質(zhì)疑Hadoop在虛擬機(jī)上的性能,但Murray指出,Hadoop在虛擬機(jī)上的性能與物理機(jī)相當(dāng),而且它能更有效地利用集群資源。Murray還炮轟了一種誤解,即認(rèn)為虛擬機(jī)的基本特性需要存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)。實(shí)際上,供應(yīng)商們經(jīng)常推薦直接連接存儲(chǔ),這提供了更好的性能和更低的成本。
7.機(jī)器學(xué)習(xí)是人工智能的同義詞
一個(gè)識(shí)別大量數(shù)據(jù)中模式的算法和一個(gè)能夠根據(jù)數(shù)據(jù)模式得出邏輯結(jié)論的方法之間的差距更像是一個(gè)鴻溝。ITProPortal 的Vineet Jain在 2017年5月26日的文章 中寫道,機(jī)器學(xué)習(xí)使用統(tǒng)計(jì)解釋來(lái)生成預(yù)測(cè)模型。這是算法背后的技術(shù),它可以根據(jù)一個(gè)人過(guò)去的購(gòu)買記錄來(lái)預(yù)測(cè)他可能購(gòu)買什么,或者根據(jù)他們的聽(tīng)歌歷史來(lái)預(yù)測(cè)他們喜歡的音樂(lè)。
雖然這些算法很聰明,但它們遠(yuǎn)遠(yuǎn)不能達(dá)到人工智能的目的,即復(fù)制人類的決策過(guò)程。基于統(tǒng)計(jì)的預(yù)測(cè)缺乏人類的推理、判斷和想象力。從這個(gè)意義上說(shuō),機(jī)器學(xué)習(xí)可能被認(rèn)為是真正AI的必要先導(dǎo)。即使是迄今為止最復(fù)雜的AI 系統(tǒng),比如 IBM沃森 ,也無(wú)法提供人類數(shù)據(jù)科學(xué)家所提供的大數(shù)據(jù)的洞察力。
8.大多數(shù)大數(shù)據(jù)項(xiàng)目至少實(shí)現(xiàn)了一半的目標(biāo)
IT經(jīng)理們知道沒(méi)有數(shù)據(jù)分析項(xiàng)目是100%成功的。當(dāng)這些項(xiàng)目涉及大數(shù)據(jù)時(shí),成功率就會(huì)直線下降,NewVantage Partners最近的調(diào)查結(jié)果顯示了這一點(diǎn)。在過(guò)去的五年中,95%的企業(yè)領(lǐng)導(dǎo)人表示,他們的公司參與了一個(gè)大數(shù)據(jù)項(xiàng)目,但只有48.4%的項(xiàng)目取得了”可衡量的結(jié)果”。
NewVantage Partners的大數(shù)據(jù)執(zhí)行調(diào)查顯示, 只有不到一半的大數(shù)據(jù)項(xiàng)目實(shí)現(xiàn)了目標(biāo),而 “文化”變化是最難實(shí)現(xiàn)的。
事實(shí)上,根據(jù)2016年10月發(fā)布的 Gartner的研究結(jié)果 ,大數(shù)據(jù)項(xiàng)目很少能跨過(guò)試驗(yàn)階段。Gartner的調(diào)查發(fā)現(xiàn),只有15%的大數(shù)據(jù)實(shí)現(xiàn)被部署到生產(chǎn)中,與去年調(diào)查報(bào)告的14%的成功率相對(duì)持平。
9.大數(shù)據(jù)的增長(zhǎng)將減少對(duì)數(shù)據(jù)工程師的需求
如果你公司大數(shù)據(jù)計(jì)劃的目標(biāo)是盡量減少對(duì)數(shù)據(jù)科學(xué)家的需求,你可能會(huì)得到令人不快的驚喜。 2017 Robert Half 技術(shù)薪資指南 指出, 數(shù)據(jù)工程師的年薪平均躍升到13萬(wàn)美元和19.6萬(wàn)美元之間, 而數(shù)據(jù)科學(xué)家的薪資目前平均在11.6萬(wàn)美元和16.3萬(wàn)美元之間, 而商業(yè)情報(bào)分析員的薪資目前平均在11.8萬(wàn)美元到13.875萬(wàn)美元之間。
10.員工和一線經(jīng)理將張開雙臂擁抱大數(shù)據(jù)
NewVantage Partners的調(diào)查發(fā)現(xiàn),85.5%的公司都致力于創(chuàng)造一個(gè)“數(shù)據(jù)驅(qū)動(dòng)的文化”。然而,新的數(shù)據(jù)計(jì)劃的整體成功率僅為37.1%。這些公司最常提到的三個(gè)障礙是缺乏組織一致性(42.6%),缺乏中層管理人員的采納和理解(41%),以及業(yè)務(wù)阻力或缺乏理解(41%)。
未來(lái)可能屬于大數(shù)據(jù),但獲得這一技術(shù)的好處需要大量的針對(duì)多樣人性的辛勤工作。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03