
數(shù)據(jù)分析師眼中的數(shù)據(jù)真相
隨著大數(shù)據(jù)概念的普及和人們對數(shù)據(jù)價(jià)值認(rèn)識的不斷深入,數(shù)據(jù)分析越來越受到人們的重視,尤其是在企業(yè)中,現(xiàn)在很多做銷售、市場的企業(yè)人員已經(jīng)開始用數(shù)據(jù)說話,很多企業(yè)也已經(jīng)開始借助數(shù)據(jù)進(jìn)行決策和管理,量化經(jīng)營的理念正逐步深入人心。與此同時(shí),專業(yè)的數(shù)據(jù)分析師也逐漸進(jìn)入人們的視野,被評為未來十年最有前途的十大職業(yè)之一。
作為一名數(shù)據(jù)分析師,保持對數(shù)據(jù)的敏感性是最基本的要求之一,這里所說的數(shù)據(jù)敏感性不僅是指能夠發(fā)現(xiàn)隱藏在數(shù)據(jù)之間的關(guān)系和規(guī)律,還包括能夠辨別數(shù)據(jù)的真?zhèn)?。因?yàn)殡S著數(shù)據(jù)產(chǎn)生量的爆炸式增長,一些假的、有問題的數(shù)據(jù)也不斷出現(xiàn),這些數(shù)據(jù)有些是由抽樣誤差或采集過程引起的,有的則是出于某種目的人為造成的,而且有些錯(cuò)誤的數(shù)據(jù)還非常隱蔽,往往容易被人忽視,從而造成錯(cuò)誤的判斷甚至因此蒙受巨大的經(jīng)濟(jì)損失。作為一名數(shù)據(jù)分析師,對待這類數(shù)據(jù)不能人云亦云,需要有自己的認(rèn)識和理解,要透過數(shù)據(jù)的表面看背后的真相和存在的問題,下面舉幾個(gè)日常生活中常見的數(shù)據(jù)案例來說明如何看清數(shù)據(jù)的真相。
1、失業(yè)率
失業(yè)率是我們大家都非常熟悉的一個(gè)指標(biāo),也是政府制定相關(guān)政策的一個(gè)重要依據(jù)。這些年,中國政府一直將失業(yè)率控制在4%以下作為一項(xiàng)重要的執(zhí)政目標(biāo),每年也都基本實(shí)現(xiàn)了這一目標(biāo),然而,以大多數(shù)人的感受來說,實(shí)際的失業(yè)率似乎比4%要大,而且有時(shí)候感覺會差很多。那么,到底是什么原因造成了實(shí)際統(tǒng)計(jì)數(shù)據(jù)與民眾自身感受之間的這種差距呢?要弄清這一問題,我們首先應(yīng)該看一下失業(yè)率的概念和統(tǒng)計(jì)方法。
失業(yè)率是失業(yè)人口占勞動力人口的百分比。世界上大多數(shù)國家都采用兩種失業(yè)統(tǒng)計(jì)方法。一種是行政登記失業(yè)率,另一種是勞動力抽樣調(diào)查失業(yè)率。兩種失業(yè)率都是政府決策的重要依據(jù)。中國之前一直采用城鎮(zhèn)登記失業(yè)率來衡量失業(yè)情況。城鎮(zhèn)登記失業(yè)率是指在報(bào)告期末城鎮(zhèn)登記失業(yè)人數(shù)占期末城鎮(zhèn)從業(yè)人員總數(shù)與期末實(shí)有城鎮(zhèn)登記失業(yè)人數(shù)之和的比重。分子是登記的失業(yè)人數(shù),分母是從業(yè)的人數(shù)與登記失業(yè)人數(shù)之和。在城鎮(zhèn)單位從業(yè)人員中,不包括使用的農(nóng)村勞動力、聘用的離退休人員、港澳臺及外方人員。城鎮(zhèn)登記失業(yè)人員是指有非農(nóng)業(yè)戶口,在一定的勞動年齡內(nèi)(16歲以上及男50歲以下、女45歲以下),有勞動能力,無業(yè)而要求就業(yè),并在當(dāng)?shù)鼐蜆I(yè)服務(wù)機(jī)構(gòu)進(jìn)行求職登記的人員。
由城鎮(zhèn)登記失業(yè)率的計(jì)算方法我們不難看出,一系列限制使得這一指標(biāo)的代表性大為降低。由于很多真正失業(yè)的人不一定去登記,加上農(nóng)村的農(nóng)民就業(yè)沒有包括在里面,而最近幾年2.5億農(nóng)民工群體已成為一支不容忽視的就業(yè)群體,而且隨著人們壽命的延長,45到60歲之間的人仍工作在第一線,然而他們卻都沒有被納入到城鎮(zhèn)登記失業(yè)率的統(tǒng)計(jì)范圍之內(nèi),因此實(shí)際每年公布的登記失業(yè)率數(shù)字,比調(diào)查失業(yè)率要低。這也成為城鎮(zhèn)登記失業(yè)率飽受詬病的原因,也是造成實(shí)際每年公布的失業(yè)率與我們每個(gè)人的切身感受相差較大的最根本原因。
正是基于城鎮(zhèn)登記失業(yè)率這些明顯的缺陷,中國政府決定,從2011年開始,不再使用“城鎮(zhèn)登記失業(yè)率”這一指標(biāo),而采用“調(diào)查失業(yè)率”。 2013年9月9日,中國首次向外公開了調(diào)查失業(yè)率的有關(guān)數(shù)據(jù)。國務(wù)院總理李克強(qiáng)在英國《金融時(shí)報(bào)》發(fā)表署名文章《中國將給世界傳遞持續(xù)發(fā)展的訊息》透露,“今年以來,中國經(jīng)濟(jì)運(yùn)行穩(wěn)中有進(jìn),上半年GDP同比增長7.6%;5%的調(diào)查失業(yè)率和2.4%的通脹率,均處于合理、可控范圍?!?%的調(diào)查失業(yè)率,高于此前人社部公布的一二季度均為4.1%的登記失業(yè)率,可以說更具有說服力。但這一數(shù)據(jù)到底是否準(zhǔn)確、代表性如何,需要對調(diào)查失業(yè)率的計(jì)算方法、抽樣方式、方法、調(diào)查范圍等深入研究之后才能判斷其最終的代表性。
二、死亡率
死亡率的概念大家都不陌生,而且一般也不會產(chǎn)生歧義。但是如果死亡率被用在不恰當(dāng)?shù)膱龊希敲赐瑯訒霈F(xiàn)問題。
以一個(gè)經(jīng)常被引用的故事為例。在美國和西班牙交戰(zhàn)期間,美國海軍的死亡率是千分之九,而同時(shí)期紐約居民的死亡率是千分之十六。后來,海軍征兵人員就用這兩個(gè)死亡率來證明參軍更安全。那么,這個(gè)結(jié)論正確嗎?顯然是不正確,因?yàn)檫@兩個(gè)數(shù)字根本就是不匹配的,當(dāng)兵的一般都是身強(qiáng)力壯的年輕人,而居民的死亡率是包括老弱病殘等各類人群的一個(gè)綜合數(shù)據(jù),而老弱病殘者又是主要的死亡人群構(gòu)成者,這些人拉抬了整個(gè)居民的死亡率。所以正常應(yīng)該是用同年齡段的海軍和紐約居民的死亡率來作對比,從而判斷參軍是否安全。一般情況下,相同年齡段的海軍死亡率應(yīng)該是高于居民死亡率的。
這一案例說明數(shù)據(jù)之間要具有匹配性才能進(jìn)行對比。不具有可比性的數(shù)據(jù)有時(shí)候會很隱蔽。不容易發(fā)現(xiàn),這就需要分析師有更敏銳的觀察能力。比如某個(gè)零售企業(yè)想計(jì)算2013年11月前十天的銷售比去年同期增長了多少,表面上來看這兩個(gè)數(shù)據(jù)是可以直接對比的,有匹配性。實(shí)際上對以規(guī)律性非常強(qiáng)的零售企業(yè)來說,周末對銷售的影響是非常大的。翻開日歷會發(fā)現(xiàn),2013年11月的1~10日比2012年11月同期多一個(gè)“星期天”,這就容易使對比結(jié)果出現(xiàn)誤差。 因此,對零售企業(yè)來說,最好以周來進(jìn)行對比。
三、離婚率
中國離婚率連年遞增,婚外情成婚姻最大殺手,從年齡結(jié)構(gòu)看22~35歲人群是離婚主力軍,36~50歲年齡段是婚姻平穩(wěn)期,50歲以上人群離婚率上揚(yáng),從教育背景看,學(xué)歷高低與離婚率高低成反比,學(xué)歷越低,離婚率越高,學(xué)歷越高,離婚率越低。這些結(jié)論似乎與我們的日常感受比較吻合,但需要注意的是離婚率的計(jì)算公式是否科學(xué)合理?,F(xiàn)行的離婚率公式是這樣的:離婚率=離婚數(shù)/結(jié)婚總數(shù),乍一看,沒有任何問題。以2012年為例,2012年的離婚率就是2012年離婚數(shù)除以2012年結(jié)婚數(shù)?但仔細(xì)研究會發(fā)現(xiàn),2012年離婚的人和結(jié)婚的人根本就不是一個(gè)概念。這樣計(jì)算的結(jié)果容易廣大人民群眾造成誤解!
實(shí)際的離婚率計(jì)算公式應(yīng)該是:2002年結(jié)婚人群在2012年的離婚率=2002年結(jié)婚且2012年離婚總數(shù)/2002年的結(jié)婚總數(shù)。此外,如果我們對2002年結(jié)婚人群從2002年開始到2012年為止,每年都計(jì)算一個(gè)離婚率的話,還可以分析每年的離婚率變化情況,是否真在第七年的時(shí)候達(dá)到最高值,即通常所說的七年之癢是否真的存在。
與離婚率的概念類似,很多零售企業(yè)每個(gè)月都會計(jì)算的退貨率,也需要分門別類才能正確的計(jì)算出來的。
以上僅僅列舉了幾個(gè)日常生活中常見指標(biāo)的數(shù)據(jù)陷阱問題,實(shí)際生活中這樣的例子還有很多。有時(shí)候是數(shù)據(jù)的確有錯(cuò)誤,有時(shí)候數(shù)據(jù)雖然正確,但計(jì)算方法或者使用場合不正確,或者對比不匹配,同樣會誤導(dǎo)我們。因此,雖然我們不能每個(gè)人都成為數(shù)據(jù)分析師,但多嘗試從數(shù)據(jù)背后看問題,多培養(yǎng)數(shù)據(jù)敏感性,仍然會使我們獲益匪淺。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03