
結(jié)合自己的成長經(jīng)驗(yàn),從一個數(shù)據(jù)分析師成長為管理過近百人的數(shù)據(jù)團(tuán)隊(duì)的負(fù)責(zé)人,也許有不少經(jīng)驗(yàn)和走過的坑可以總結(jié),從而幫助大家。所以決定接下來寫一個《數(shù)據(jù)分析師》成長記錄。同時也回答收集到的各個問題。本篇寫了數(shù)據(jù)分析師的入門需要的基本的知識,邏輯,工作方法。
了解數(shù)據(jù)分析師
數(shù)據(jù)分析師是企業(yè)在未來10年內(nèi)最重要崗位之一,也許再過幾年,對任何企業(yè)中的80%的崗位,都要求掌握數(shù)據(jù)分析能力。為什么?從幾個層面簡單來說:
①在行業(yè)層面:在大數(shù)據(jù)時代下,互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)與各個行業(yè)的結(jié)合,以及未來即將到來的物聯(lián)網(wǎng),各個企業(yè)面臨的競爭壓力越來越大,面對越來越快的用戶需求變化,都需要基于數(shù)據(jù)來快速做出決策,決策的反饋越來越快。基于經(jīng)驗(yàn)的反饋不是不重要,還是非常重要。但是現(xiàn)在是一個追求速度、追求快速迭代的時代,不管是個人與企業(yè),能把經(jīng)驗(yàn)+數(shù)據(jù)結(jié)合的人才也許是未來真正需要的。
②在企業(yè)層面:在現(xiàn)在這個大數(shù)據(jù)時代下,對各種數(shù)據(jù)的獲取與處理已不是問題,2019年開始,很多企業(yè)都在說修煉內(nèi)功,如何修煉內(nèi)功,我想這個內(nèi)功心法就是:“企業(yè)數(shù)字化”。
③在個人層面:每個人都在企業(yè)工作中都會收到各種各樣的數(shù)據(jù),面對這些數(shù)據(jù),你必須具備的能力是知道怎么處理,怎么解讀,怎么分析數(shù)據(jù),怎么去開展工作,你需要基于相關(guān)的數(shù)據(jù)與分析!可以回答:
數(shù)據(jù)分析師的價值是什么
回到一個公司,數(shù)據(jù)分析師主要干什么的呢?數(shù)據(jù)分析師主要的價值體現(xiàn)在哪些方面,這是我?guī)啄昵敖o數(shù)據(jù)分析師下的定義,現(xiàn)在看來非常適應(yīng)。
數(shù)據(jù)分析師是從數(shù)據(jù)的角度,使用一定的方法與工具,對數(shù)據(jù)進(jìn)行加工處理,結(jié)合商業(yè)場景進(jìn)行結(jié)構(gòu)化分析。幫助公司相關(guān)業(yè)務(wù)部門監(jiān)控、定位、分析、解決商業(yè)問題,從而幫助公司業(yè)務(wù)部門高效決策,提升經(jīng)營效率,發(fā)現(xiàn)業(yè)務(wù)機(jī)會點(diǎn),讓企業(yè)取得持續(xù)競爭優(yōu)勢。
例如,在企業(yè)內(nèi)部,數(shù)據(jù)分析師經(jīng)?;卮疬@些問題:
坦白說,能理解這段定義,基本也知道數(shù)據(jù)分析師應(yīng)該干什么,也知道數(shù)據(jù)分析師要具體什么樣的能力了。
基于以上,數(shù)據(jù)分析師也必須深刻理解“數(shù)據(jù)是數(shù)據(jù)分析師的武器”。數(shù)據(jù)分析師要“懂?dāng)?shù)據(jù)”,什么叫“懂?dāng)?shù)據(jù)”,同時大家都說數(shù)據(jù)分析師要懂業(yè)務(wù),數(shù)據(jù)分析師“懂?dāng)?shù)據(jù)”要分二個層面:
①數(shù)據(jù)是在哪個業(yè)務(wù)場景產(chǎn)生的,是對應(yīng)什么樣的業(yè)務(wù)動作。怎么理解?例如:在外賣這個場景中,配送開始時間是當(dāng)配送員點(diǎn)擊配送記錄;配送結(jié)束時間是當(dāng)配送員送到后點(diǎn)擊配送結(jié)束。當(dāng)你知道這個數(shù)據(jù)產(chǎn)生場景的時候,你就針對這個場景,要設(shè)計(jì)統(tǒng)計(jì)某個數(shù)據(jù)指標(biāo)應(yīng)該怎么計(jì)算:
該外賣單配送時長=配送結(jié)束-配送完成
當(dāng)你以這個指標(biāo)去衡量,作為一個很重要指標(biāo)衡量外賣配送服務(wù)的時候,可以與配送設(shè)定目標(biāo)相比,例如:希望是30分鐘送到,那就這個值與30分鐘比;或者說與顧客預(yù)約時間上限相比:配送結(jié)束時間小于顧客預(yù)約時間上限;當(dāng)定義好這個數(shù)據(jù)指標(biāo):分析師就要基于這個相關(guān)數(shù)據(jù)以這個數(shù)據(jù)指標(biāo)為方向,不斷優(yōu)化數(shù)字。
②數(shù)據(jù)質(zhì)量。當(dāng)以這個指標(biāo)作為KPI,很容易會導(dǎo)致對數(shù)據(jù)“造假”。配送員遲點(diǎn)開始配送,或者是提前核銷配送結(jié)束,以保證這個數(shù)值達(dá)到KPI目標(biāo)。這里就是我們提到的第二個層面,數(shù)據(jù)質(zhì)量問題。
該數(shù)據(jù)存在于哪個數(shù)據(jù)庫,哪個表。需要知道數(shù)據(jù)存在哪,你要按上面的邏輯去加工,就需要一定的工具,往往是SQL是第一步處理;第二步可能需要更深入需要用到統(tǒng)計(jì)方法或者機(jī)器學(xué)習(xí)模型,往往要掌握一門工具,現(xiàn)在比較流行是Python。
小提示:
如果一個數(shù)據(jù)分析師,在你自己的企業(yè)內(nèi)部,你能這樣去“懂?dāng)?shù)據(jù)”,你會發(fā)現(xiàn)你工作就是圍繞幾個核心的“數(shù)據(jù)指標(biāo)”開展,你也很清楚自己的價值是什么。
數(shù)據(jù)分析師的工作是怎樣的
數(shù)據(jù)分析師的工作是怎樣的,可以通過這個問題來回答: “海洋老師您好,目前轉(zhuǎn)行在乙方坐數(shù)據(jù)分析。公司流程原因,沒有機(jī)會接觸業(yè)務(wù),工作就像人工取數(shù)機(jī),顛覆了我對數(shù)據(jù)分析的認(rèn)識,而且自己認(rèn)為只取數(shù)沒有成長,而且沒有任何價值。對下一份工作比較迷茫,想去業(yè)務(wù)想關(guān)的,但是不知道方向,謝謝海洋老師?!?/span>
這個情況,可能是甲方通過工單或者需求描述提個需求給你,叫你從數(shù)據(jù)庫中提取數(shù)據(jù),按要求來進(jìn)行。往往就是要求保證按他的邏輯,或者他的定義來實(shí)現(xiàn)。
可能碰到的問題,就是數(shù)據(jù)提取的反復(fù);往往可能是業(yè)務(wù)沒有描述清楚導(dǎo)致;當(dāng)然也有可能是你對底層表不熟悉,或者業(yè)務(wù)不熟悉在寫SQL的時候或者構(gòu)建報表的時候邏輯不對。
這個不僅僅在乙方,在甲方也許也有過之而無不及。有處理不完的數(shù)據(jù)需求,有處理不完的報表需求,哪有時間去思考業(yè)務(wù)?哪些時間去分析業(yè)務(wù)?哪些時間去了解業(yè)務(wù)?
我的成長經(jīng)驗(yàn)分享:這都是借口
①對團(tuán)隊(duì)新人,我之前說過;你每天抽1個小時,半個小時時間自己去思考:
你和提需求最多的業(yè)務(wù)伙伴有沒有1對1溝通過。很多時候,約著一起吃飯,帶著請教的問一下需求方,需要我們支持什么?你們現(xiàn)在主要的業(yè)務(wù)問題是什么?態(tài)度好一點(diǎn),謙虛一點(diǎn),當(dāng)你服務(wù)一段時間后,你這樣溝通會得到很多業(yè)務(wù)信息。
②難道你真的007了嗎?
思維導(dǎo)圖記錄下來,寫下你的思考;提個數(shù)據(jù)看看。
③你沒有去關(guān)注些行業(yè)公眾號或者相關(guān)網(wǎng)站,去看看同個行業(yè)的人是說什么,在干什么。雖然很多分享與演講是最好的,所以一般是分享的最佳實(shí)踐,也許不一定人家已經(jīng)完成最佳實(shí)踐了,但說明人家在路上,你也知道行業(yè)是什么樣子的。
看完行業(yè)的文章,有沒有結(jié)合一下。看看自己公司,自己做到大概是什么程度;對比是為了找到差距,不是抱怨,別人都做的那么牛了,我們還在“原始社會”。對比是為了:
看到別人的方向是什么,為自己或者團(tuán)隊(duì)提供參考。
對著別人的內(nèi)容,我們可以參考做一做;基于看到的內(nèi)容,如果自己要做好,自己能力上或者條件上是否還有欠缺。
了解業(yè)務(wù)是很多方法,比如:
成長經(jīng)驗(yàn)分享:
能幫助企業(yè)解決問題,才是你作為一個數(shù)據(jù)分析師價值的關(guān)鍵。業(yè)務(wù)同學(xué)不關(guān)心你的掌握了什么技能,會用什么方法。更關(guān)注是不是你和說的內(nèi)容和描述的需求,提出的問題,你能理解,你能和他交流的來(用現(xiàn)在的詞來說叫同頻),他會覺得你懂業(yè)務(wù)。和你交流或者問題反饋給你應(yīng)該是靠譜,有希望的。
數(shù)據(jù)分析工具與方法
對于數(shù)據(jù)分析方法與工具,是大多數(shù)據(jù)分析師或者很多人評估一個數(shù)據(jù)分析師是否有“技術(shù)”。你會使用hive,會spark,會python,我懂各種大數(shù)據(jù)工具,我懂各種機(jī)器學(xué)習(xí)模型。這個非常非常重要,但是可能相對來說:
成長經(jīng)驗(yàn)分享:
我之前也花有很多時間去學(xué)習(xí)各種工具,R語言與python,SQL的各種技巧,excel各種技巧,但發(fā)現(xiàn)學(xué)習(xí)后很多不用就忘記了。其實(shí)學(xué)習(xí)的初心,就覺得學(xué)習(xí)會這些就很牛B的,就可以找到非常好的工作!成長下來:這是一個必要條件,而非充分條件。我學(xué)習(xí)的時候非常喜歡把學(xué)習(xí)筆記,自己的思考寫下來。核心就是為了自己回過頭去看看,去思考,去對比現(xiàn)在與當(dāng)時。我寫的內(nèi)容當(dāng)時主要為自己看,當(dāng)然順便也幫忙一些小伙伴。
SQL+EXCEL+PYTHON是必備要掌握的工具,SQL是核心,怎么強(qiáng)調(diào)都不過分。因?yàn)榇蠖鄶?shù)據(jù)都數(shù)據(jù)處理都還是通過寫SQL程度來完成,這個SQL語言不僅是在關(guān)系型數(shù)據(jù)庫,而且現(xiàn)在各種大數(shù)據(jù)工具都會有SQL引擎,例如:hive,sparksql,clickhouse等都支持寫SQL完成。
EXCEL就不用說了,就用于完成最后一公里;把EXCEL的做圖,透視表,相關(guān)函數(shù)重點(diǎn)掌握了,一些特定的小技巧,碰到的搜索一下應(yīng)該都能解決。當(dāng)然看到一些小技巧也可以記錄下來放到自己博客中,也方便查找。
Python 現(xiàn)在是未來要做統(tǒng)計(jì),爬蟲,機(jī)器學(xué)習(xí),一些復(fù)雜數(shù)據(jù)處理邏輯必備的工具,所以有空我建議可以去學(xué)習(xí);但是PYTHON非常大,還是建議先學(xué)習(xí)基礎(chǔ),有基礎(chǔ)后結(jié)合實(shí)際工作中來用,不然會“云里霧里”。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10