
大數(shù)據(jù)分析的10個實用竅門!
如果你的公司正著手開啟你的大數(shù)據(jù)分析之旅,不要煩惱:你不是一個人,這條船上大有人在。但是你需要加倍努力才能趕上數(shù)據(jù)分析的領(lǐng)頭羊們。這篇文章是從行業(yè)大會的討論中總結(jié)出來的十個小竅門。
1避免華而不實
現(xiàn)在企業(yè)可以從傳感器、智能手機(jī)中獲取比以前多得多的數(shù)據(jù),但相應(yīng)的做出成果的壓力也就更大了。陷入熱潮特別是一些閃亮的新技術(shù)宣傳熱潮是很容易的。但是靠大數(shù)據(jù)技術(shù)真正獲得成功卻不是易事,僅僅掌握某項技能是不足以讓成功一蹴而就的。今天的大數(shù)據(jù)領(lǐng)導(dǎo)者們已經(jīng)在數(shù)據(jù)分析行業(yè)工作長達(dá)十年甚至更久,他們有成功的基礎(chǔ)。
2不要盲目崇拜數(shù)據(jù)
據(jù)說數(shù)據(jù)已成為一種新“貨幣”并展現(xiàn)了自身價值。這樣說可能有點夸大其詞。數(shù)據(jù)公司應(yīng)該只收集其需要的數(shù)據(jù)來解決業(yè)務(wù)問題即可,而不是像一頭貪婪嗜財?shù)木摭堃粯哟罅慷诜e數(shù)據(jù)。
麥肯錫消費(fèi)市場分析中心的首席營運(yùn)官M(fèi)att Ariker說“數(shù)據(jù)本身能夠成為一種競爭優(yōu)勢,當(dāng)然你也可能讓分析毫無意義。我已經(jīng)老了,我在寶潔公司開始分析師生涯。那時我們會花費(fèi)12周來分析兩周的促銷活動。你真的很需要思考這樣幾個問題:那些高質(zhì)量的問題究竟是什么意思,你該如何來整合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以及整理總結(jié)你的流程化分析問題的方法。否則你將一無所獲。
3首先考慮商業(yè)案例
一些公司在數(shù)據(jù)分析之初,會收集所有能到手的數(shù)據(jù),然后全部放入自己的數(shù)據(jù)池中,妄想可以有一種有魔力的算法讓自己一鍵獲得業(yè)務(wù)解決方案。但是他們往往難以有所收獲。
Bodkin說“人們往往有這樣的誤解:數(shù)據(jù)科學(xué)家們的工作就是在周一到辦公室之后說‘我又可以無所限制地做些什么有趣的事呢?’而據(jù)我所知,沒有什么公司會拿出巨額預(yù)算進(jìn)行無限制的數(shù)據(jù)探索。(他們會參考一些已有商業(yè)案例)”
4形成數(shù)據(jù)分析文化
你可以在最純凈的數(shù)據(jù)集上用最優(yōu)秀的算法來創(chuàng)造出驚艷的結(jié)論,但那毫無意義,除非你的業(yè)務(wù)伙伴相信你所做的數(shù)據(jù)分析具有價值,并且相信那些數(shù)據(jù)和結(jié)論。這需要你建立一種數(shù)據(jù)分析文化。
Teradata實驗室主席Oliver Ratzenberger說:“如果你分析那些領(lǐng)先的數(shù)據(jù)分析競爭者們就會發(fā)現(xiàn),他們花費(fèi)了過去的10到15年時間來形成自己的數(shù)據(jù)分析文化。有些公司曾說過自己將在接下來的90年里完成在數(shù)據(jù)分析項目上從‘爬行’到‘疾跑’的蛻變。這和技術(shù)無關(guān),這是在說他們數(shù)據(jù)分析文化的形成?!?/span>
5快速失敗積累出最終的成功
數(shù)據(jù)科學(xué)是一個往復(fù)循環(huán)的過程。在你成功把數(shù)據(jù)變成有價值的結(jié)論并實施他們之前,你總會經(jīng)歷各種各樣的失敗。最近的許多大數(shù)據(jù)領(lǐng)域的突破性進(jìn)展,例如Apache Spark都是專注于加速這個過程。
但是大數(shù)據(jù)從業(yè)者不應(yīng)該為了失敗而失敗,故意陷入這個失敗嘗試的循環(huán)過程。麥肯錫的Ariker說:“你可以進(jìn)行多項測試,失敗的現(xiàn)實僅僅預(yù)示著你會更快的失敗。你所有的靈活的數(shù)據(jù)分析過程都是基于公司支持和假設(shè)驅(qū)動的。你的失敗是為了改進(jìn)數(shù)據(jù)分析過程并獲得更好的結(jié)論,而不是不顧結(jié)果地去享受數(shù)據(jù)分析的過程。
6保證最高管理層在數(shù)據(jù)分析的一環(huán)
和管理層分享你的數(shù)據(jù)分析的成果是必要的,不僅是為了確保他們不會插手你以后的數(shù)據(jù)分析項目,也是為了保證你在分析管理層關(guān)注的問題 。
寶潔公司領(lǐng)導(dǎo)人,商業(yè)智能和數(shù)據(jù)分析領(lǐng)導(dǎo)者David Dittmann在最近的CAO峰會上說:“我們學(xué)到的一點是,你必須一直給管理層展現(xiàn)數(shù)據(jù)價值。而如果你一直缺席管理層的業(yè)務(wù)討論會,我想你的工作會出現(xiàn)方向性的根本錯誤。”
7管理很無聊卻是必要的
沒有什么比一場有關(guān)數(shù)據(jù)分析進(jìn)程和改變管理方式的討論更讓人犯困了。但是在這樣一個快節(jié)奏的大數(shù)據(jù)時代,處理好所有部分不僅僅是細(xì)節(jié)問題,它更是長期成功的基石。
能夠在30天里對一件事保持敏銳是很重要的。Teradata的Ratzenberger說:“但是你需要有能夠這么做的基礎(chǔ)。包括產(chǎn)品系列,錯誤處理和版本控制的集成管理是必要的。有些部分在開始的30或90天里是起作用的,但是你還需要保持其在隨后依然有效。你有一副好牌在手,就需要你好好把握,一旦你出錯一張,隨之而來的可能就是滿盤皆輸?!?/span>
8保持全程思考
你可能有一個最好的預(yù)測模型。但是,除非它可以在現(xiàn)實世界中有效并且有較好的效益,否則它將毫無價值,只是對公司時間和資源的浪費(fèi)。
麥肯錫的Ariker說:“如果你跑去對經(jīng)理說‘好消息,我們的大數(shù)據(jù)平臺可以生產(chǎn)很多數(shù)據(jù)產(chǎn)品,但是我需要再雇1500個人’,那估計你第二天得找份新工作了。你必須一直思考流程化數(shù)據(jù)處理和效益的平衡,并確保你在研究一個高質(zhì)量問題的同時考慮好答案?!?/span>
9積少成多
在大數(shù)據(jù)領(lǐng)域,一氣呵成地處理所有問題聽上去是異常誘人的。你想要依據(jù)眾多變量來建模解決業(yè)務(wù)問題,所以你去收集了有關(guān)各個業(yè)務(wù)的眾多數(shù)據(jù),然而你的算法卻在剔除合適的結(jié)論。想法是美好的,結(jié)果卻不盡如人意。
肯尼索州立大學(xué)的應(yīng)用統(tǒng)計和數(shù)據(jù)科學(xué)教授Jennifer Lewis Priestley講了一個故事:有個數(shù)學(xué)專業(yè)的學(xué)生建立了一個極好而又極差的模型,這個模型有非常高的準(zhǔn)確率,但是產(chǎn)生了2500個預(yù)測器。“這毫無意義。你不可能去操作2500個預(yù)測器。所以我讓那個學(xué)生去篩選出四個我可以實際使用的預(yù)測器”她在2015SAS數(shù)據(jù)分析大會上說。
10不要去獵取“獨角獸”
精通統(tǒng)計學(xué)、科技和商業(yè)的數(shù)據(jù)科學(xué)家們被稱作“獨角獸”,因為他們是如此的稀有(事實上并不存在獨角獸,因為他們是神話生物,但那是另外的故事了)。
盡管這樣的數(shù)據(jù)科學(xué)家確實存在,但這不值得你浪費(fèi)時間去挖他們來你的公司。ThinkBig的Bodkin說:“我所有的客戶都在嘗試著挖人。但是你無法從一個人身上就得到想要的價值,你只能從一個團(tuán)隊——一個高效的數(shù)據(jù)科學(xué)團(tuán)隊得到你想要的數(shù)據(jù)分析結(jié)果。”
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11