
數(shù)據(jù)分析4要素,常用的“套路”也要會(huì)
要做一名優(yōu)秀數(shù)據(jù)分析師,首先對(duì)數(shù)據(jù)分析崗位有基本的概念,其次,要明白數(shù)據(jù)分析中有哪些套路和方法,如此,才能舉一反三,才能不同場(chǎng)景數(shù)據(jù)分析切換自如。下面我們高屋建瓴,抽繭剝絲般講講數(shù)據(jù)分析四大要素。
-任何數(shù)據(jù)分析過程都逃不掉四大要素-
任何數(shù)據(jù)分析過程都包括四大要素:場(chǎng)景+數(shù)據(jù)+工具+方法,數(shù)據(jù)分析起點(diǎn)必須來源于某個(gè)場(chǎng)景下的需求,根據(jù)需求目標(biāo)(場(chǎng)景),搭建分析框架(方法),提取需要的數(shù)據(jù)指標(biāo)(數(shù)據(jù)),用適合的工具實(shí)現(xiàn),最后提煉結(jié)論,給出建議或策略。
01 場(chǎng)景
首先,移動(dòng)互聯(lián)網(wǎng)化+傳統(tǒng)企業(yè)轉(zhuǎn)型觸網(wǎng)使數(shù)據(jù)獲取難度大大降低,其次,云存儲(chǔ)和云計(jì)算使存儲(chǔ)和計(jì)算成本降低,最后,人工智能和商業(yè)智能使數(shù)據(jù)價(jià)值凸顯,越來越多企業(yè)愿意花大錢于數(shù)據(jù)基礎(chǔ)建設(shè),那么數(shù)據(jù)分析場(chǎng)景也越來越豐富,從行業(yè)來看,主要有互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、金融、汽車、房地產(chǎn)和供應(yīng)鏈等。
每個(gè)行業(yè)具體業(yè)務(wù)場(chǎng)景也會(huì)不同,比如同樣是互聯(lián)網(wǎng),可以分為游戲、社交、電商、安全、新零售、娛樂、外賣、航旅、共享經(jīng)濟(jì)、搜索、人工智能.....,應(yīng)用場(chǎng)景和邊界不斷擴(kuò)展,不同場(chǎng)景分析套路和重點(diǎn)也不完全相同,但有一點(diǎn),場(chǎng)景越豐富,數(shù)據(jù)分析崗越有必要和價(jià)值,思路和想象也可無限擴(kuò)展。
02 數(shù)據(jù)
百科定義:數(shù)據(jù)指對(duì)客觀事件進(jìn)行記錄并可以鑒別的符號(hào),是對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號(hào)或這些物理符號(hào)的組合。它是可識(shí)別的、抽象的符號(hào)。它不僅指狹義上的數(shù)字,還可以是具有一定意義的文字、字母、數(shù)字符號(hào)的組合、圖形、圖像、視頻、音頻等,也是客觀事物的屬性、數(shù)量、位置及其相互關(guān)系的抽象表示。
數(shù)據(jù)特征:變異性和規(guī)律性,變異性是指不同事件量化的數(shù)據(jù)不同,具有差異性,正是因?yàn)閿?shù)據(jù)變異性,數(shù)據(jù)分析才有必要;規(guī)律性是指包羅萬象的數(shù)據(jù)中,數(shù)據(jù)是有規(guī)律可尋的,從而得出有價(jià)值的結(jié)論,正是因?yàn)橐?guī)律性數(shù)據(jù)分析才有價(jià)值。
數(shù)據(jù)類型:數(shù)據(jù)可分為結(jié)構(gòu)性和非結(jié)構(gòu)性數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是指可以用數(shù)字量化的,相對(duì)規(guī)整的數(shù)據(jù),比如生產(chǎn)、業(yè)務(wù)、交易和客戶信息等的結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)分析和方法很長(zhǎng)時(shí)期都集中在這類數(shù)據(jù)上,這塊的方法和工具也相對(duì)成熟;但相比結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)量更大,也蘊(yùn)含著非常豐富的價(jià)值,比如合約、發(fā)票、書信與采購(gòu)記錄等營(yíng)運(yùn)內(nèi)容;如文書處理、電子表格、簡(jiǎn)報(bào)檔案與電子郵件等部門內(nèi)容;如HTML與XML等格式信息的Web內(nèi)容;以及如聲音、影片、圖形等媒體內(nèi)容。非結(jié)構(gòu)數(shù)據(jù)處理算法和方法在近幾年有很大的進(jìn)步,比如在圖像、語(yǔ)音、翻譯等有廣泛應(yīng)用。
數(shù)據(jù)簡(jiǎn)史:數(shù)據(jù)規(guī)模和存儲(chǔ)方式在1991年之前,增長(zhǎng)是緩慢的,之后在互聯(lián)網(wǎng)的推動(dòng)下,數(shù)據(jù)量開始爆發(fā),2005年hadoop誕生,標(biāo)志著人類對(duì)海量數(shù)據(jù)處理有了解決方案,近幾年在很多學(xué)者和企業(yè)的推波助瀾下,數(shù)據(jù)價(jià)值越來越受到企業(yè)重視。
03 工具
工欲善其事必先利其器,工具在數(shù)據(jù)分析過程中也是非常重要的一環(huán),下面列舉些常用的工具類型:
1>筆記本電腦,電腦配置還是要高點(diǎn)兒,尤其是在數(shù)據(jù)量比較大的公司,如果計(jì)算內(nèi)存小,很容易出現(xiàn)死機(jī),嚴(yán)重影響工作效率。至于電腦操作系統(tǒng)是選擇os,還是ws,建議選擇后者,從電腦普及率來看是ws更高,ws分析工具更全,功能更強(qiáng)大;
2>基礎(chǔ)分析和展示工具:數(shù)據(jù)分析中最常用的數(shù)據(jù)匯總和展示工具是excel和ppt,excel是最常用的數(shù)據(jù)分析工具,哪怕是在大的數(shù)據(jù)公司,比如阿里巴巴、美團(tuán)、騰訊、百度,通常會(huì)先在云上把需要的指標(biāo)進(jìn)行初步匯總,取出放到excel中分析,excel功能很強(qiáng)大,除了透視匯總,圖表、分類外,還有簡(jiǎn)單模型、規(guī)劃求解等功能。
因此,excel是最基礎(chǔ)也最常用的分析工具,數(shù)據(jù)分析師必須要好好掌握;數(shù)據(jù)分析完成后,通常要把成果展示給聽眾,ppt是非常好的選擇,數(shù)據(jù)分析報(bào)告ppt不像營(yíng)銷同學(xué)做的花哨,形式為輔,核心是結(jié)論、信息傳達(dá),數(shù)據(jù)作為論據(jù),如果能將數(shù)據(jù)分析報(bào)告類ppt做的很美觀,也很厲害,可以參考咨詢公司的報(bào)告,比如麥肯錫、埃森哲等,網(wǎng)上可以找到很多。
3> 數(shù)據(jù)提取工具:數(shù)據(jù)提取如果數(shù)據(jù)量比較小,很多公司會(huì)有直接下載的功能,但如果數(shù)據(jù)量比較大,就需要自己加工了,常用的數(shù)據(jù)查詢工具有sql、hive,很多大的互聯(lián)網(wǎng)公司都是用hive,hive和sql語(yǔ)法有點(diǎn)類似,也是很多數(shù)據(jù)倉(cāng)庫(kù)同學(xué)必須掌握的語(yǔ)言,作為一名大公司的數(shù)據(jù)分析同學(xué),hive是必須要掌握的,hive最早是谷歌搞出來的,不少公司在此基礎(chǔ)上封裝成自己的語(yǔ)言,加些自己的函數(shù)等,但總體語(yǔ)法和架構(gòu)是一樣的。
4>可視化工具:ppt中有些可視化的功能,但在可視分析上還不是特別專業(yè),市場(chǎng)上認(rèn)可度比較高的可視化分析工具有tableau、spotfire等,前者市場(chǎng)推廣做的更好,知名度更高,后者功能更強(qiáng)大,可視化組件更豐富。如果想給人耳目一新的感覺,這些可視化工具是不錯(cuò)的選擇,而且所見即所得,tableau和spotfire都收費(fèi),前者差不多1萬元左右,如果是學(xué)生,可以申請(qǐng)教育版的,這樣可以省一筆錢。當(dāng)然,大的互聯(lián)網(wǎng)公司也會(huì)有自己的數(shù)據(jù)產(chǎn)品,相對(duì)外部工具,數(shù)據(jù)接入更容易。
5>高階數(shù)據(jù)分析工具:如果你想用一些算法、模型解決日常的工作,可以學(xué)習(xí)R軟件、python,還有傳統(tǒng)的一些spss、matlab、spss modler等,除了這些工具外,大公司也會(huì)有自己的模型或算法平臺(tái),可以通過java、python等語(yǔ)言直接調(diào)取已有算法包,也可以用這些語(yǔ)言重新封裝新的算法再使用。
市面上工具很多,但要做一名合格的數(shù)據(jù)分析師,掌握1/2/3中的工具就可以解決80%的商業(yè)分析問題,另外,20%需要高階的工具。
04 方法
數(shù)據(jù)分析思維數(shù)據(jù)分析方法包括兩個(gè)層面,一個(gè)是數(shù)據(jù)分析思維層面,另一個(gè)是套路層面,常用的數(shù)據(jù)分析思維有:
1> MEMC(Mutually Exclusive Collectively Exhaustive)——“相互獨(dú)立、完全窮盡”,這個(gè)是金字塔原理中非常經(jīng)典的復(fù)雜問題拆解方法,尤其是針對(duì)比較大的研究課題,可能開始無從下手,這個(gè)時(shí)候通過這種方法,可以把整體分解成很多局部模塊,再針對(duì)每個(gè)模塊進(jìn)行可能性假設(shè)和論證,最終得出滿意的答案。
2> 歸納,指從許多個(gè)別的事物中概括出一般性概念、原則或結(jié)論的思維方法,每次數(shù)據(jù)分析探索可能很多維度、視角都會(huì)嘗試,最終要寫成分析報(bào)告的時(shí)候需要提煉核心觀點(diǎn),這就是一個(gè)信息歸納的過程。
3> 演繹,演繹推理是由普通性的前提推出特殊性結(jié)論的推理,我們?cè)跀?shù)據(jù)分析中經(jīng)常會(huì)沿用原有的經(jīng)驗(yàn),很多都是采用演繹的方式進(jìn)行,比如 28法則是人類收入分配中有這種傾向,電商賣家收入也會(huì)有這種傾向。
4>對(duì)比思維,數(shù)據(jù)分析中很多時(shí)候要回答某個(gè)結(jié)果是好還是壞,需要有具體的參考系,常用的參考系有四類,去年同期對(duì)比如何,上期環(huán)比如何,和目標(biāo)比如何,和競(jìng)爭(zhēng)對(duì)手比如何,只有通過對(duì)比才有實(shí)際的意義,否則只是陳列數(shù)據(jù)。
5> 抽繭剝絲,數(shù)據(jù)分析要像剝洋蔥一樣,一層層往下分解,直接不能再分解,或者可落地解決為止,如果只停留在表象,會(huì)發(fā)現(xiàn)不接地氣,數(shù)據(jù)無法真正驅(qū)動(dòng)業(yè)務(wù)。
6> 5W1H,數(shù)據(jù)分析不一定都要回答6方面的問題,想表達(dá)的是如何面對(duì)復(fù)雜case,要了解這個(gè)需求的前因后果,只有先做綜合性的判斷,才能清楚地判斷需求是否靠譜,是要接著往下做,還是要放棄,很多需求是沒有意義的。另外,通過5W1H方式的溝通,會(huì)獲得解決方向靈感,以及判斷需求所能影響的范圍。
“套路”方法常用的套路層面,需要結(jié)合具體的業(yè)務(wù)場(chǎng)景,比如電商流量、安全、市場(chǎng)營(yíng)銷、會(huì)員運(yùn)營(yíng)、銷售管理等不同場(chǎng)景的數(shù)據(jù)分析套路是不完全一樣的,下面大概講下,后續(xù)會(huì)退出更詳細(xì)的
1>流量:常用的分析方法是流量漏掉,不管是在電商、搜索、還是在社交游戲,通過流量漏斗思路,做流量轉(zhuǎn)化效率優(yōu)化都是這塊的核心。
2>安全:安全最主要的思路是攻防(規(guī)則識(shí)別、模型識(shí)別),流程或政策優(yōu)化,比如針對(duì)賬號(hào)被盜這樣的風(fēng)險(xiǎn),可以在登錄時(shí)增加校驗(yàn)流程,或者增加校驗(yàn)難度,也可在不改變流程情況下,提高規(guī)則、模型對(duì)異常攻擊識(shí)別的準(zhǔn)確率和覆蓋度。原則要做安全和用戶體驗(yàn)平衡。
3>成交:成交很重要的思路是從流量端做成交驅(qū)動(dòng)拆解,成交金額=uv*轉(zhuǎn)化率*客單價(jià),每個(gè)指標(biāo)都可以再細(xì)分,也可以從供給端做供給數(shù)量和效率拆解,再?gòu)牟煌S度細(xì)分,比如行業(yè)、商家類型等。
4>用戶:用戶主要關(guān)注的是用戶粘性,和ARUP值,常用的方法是RFM,將用戶分成不同類型精細(xì)化運(yùn)營(yíng),終極目標(biāo)是讓用戶離不開你,情愿花更多錢。
5>銷售管理:銷售核心的工作是KPI制定和分配,傭金激勵(lì),過程管理,數(shù)據(jù)分析更多是KPI制定的方法,傭金系數(shù)制定的方法,過程指標(biāo)分解的方法。
6> 市場(chǎng)營(yíng)銷:市場(chǎng)營(yíng)銷核心分析思路是影響面,以及投入產(chǎn)出比(roi)。
以上就是數(shù)據(jù)分析4要素,希望您對(duì)數(shù)據(jù)分析崗有全面的了解。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10