探秘 z-score：數(shù)據(jù)分析中的標(biāo)準(zhǔn)化利器?

? 在數(shù)據(jù)的海洋中，面對形態(tài)各異、尺度不同的數(shù)據(jù)，如何找到一個通用的標(biāo)準(zhǔn)來衡量數(shù)據(jù)的相對位置和離散程度？z-score，又稱標(biāo)準(zhǔn)分?jǐn)?shù)，便是解決這一難題的有效工具。它像一把精準(zhǔn)的標(biāo)尺，能將原始數(shù)據(jù)轉(zhuǎn)化為具有統(tǒng)一尺度的標(biāo)準(zhǔn)化數(shù)值，在統(tǒng)計學(xué)、機器學(xué)習(xí)、質(zhì)量控制等眾多領(lǐng)域發(fā)揮著關(guān)鍵作用。?

z-score 的定義與計算方法?

z-score 表示的是一個數(shù)據(jù)點距離均值有多少個標(biāo)準(zhǔn)差，其計算公式為： ? z= (x?μ)/σ。其中，x 是原始數(shù)據(jù)點，μ 是數(shù)據(jù)集的均值，σ 是數(shù)據(jù)集的標(biāo)準(zhǔn)差。?

舉個簡單例子，假設(shè)有一組學(xué)生的數(shù)學(xué)考試成績：85、90、78、92、88，其均值 μ 經(jīng)計算為 86.6，標(biāo)準(zhǔn)差 ? σ 約為 5.2 。若想知道成績?yōu)?92 的學(xué)生在班級中的相對位置，將 ? x=92 ， ? μ=86.6 ， ? σ=5.2 代入公式，可得 ? z= (92?86.6)/5.2 ? ≈1.04 。這意味著該學(xué)生的成績比均值高出約 1.04 個標(biāo)準(zhǔn)差，在班級成績分布中處于相對靠前的位置。?

z-score 的核心應(yīng)用場景?

• 數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化? 在機器學(xué)習(xí)和數(shù)據(jù)挖掘中，不同特征的數(shù)據(jù)往往具有不同的量綱和取值范圍。例如，在預(yù)測房價的模型中，房屋面積的數(shù)值可能在幾十到幾百之間，而房齡的數(shù)值在幾到幾十年之間。如果直接將這些數(shù)據(jù)輸入模型，模型可能會過度關(guān)注數(shù)值較大的特征，從而影響預(yù)測的準(zhǔn)確性。通過計算 z-score 對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，能使所有數(shù)據(jù)都轉(zhuǎn)換到均值為 0，標(biāo)準(zhǔn)差為 1 的標(biāo)準(zhǔn)分布上，消除量綱的影響，讓模型更好地學(xué)習(xí)數(shù)據(jù)特征間的關(guān)系。?
• 異常值檢測? 一般來說，在符合正態(tài)分布的數(shù)據(jù)集中，約 68% 的數(shù)據(jù)點位于均值 ±1 個標(biāo)準(zhǔn)差范圍內(nèi)，約 95% 的數(shù)據(jù)點位于均值 ±2 個標(biāo)準(zhǔn)差范圍內(nèi)，約 99.7% 的數(shù)據(jù)點位于均值 ±3 個標(biāo)準(zhǔn)差范圍內(nèi)。當(dāng)某個數(shù)據(jù)點的 z-score 絕對值大于 3 時，就可以懷疑該數(shù)據(jù)點是異常值。例如在產(chǎn)品質(zhì)量檢測中，若某批零件的尺寸測量值經(jīng)計算 z-score 超出正常范圍，就可能意味著生產(chǎn)過程出現(xiàn)了異常，需要及時排查問題。?
• 比較不同數(shù)據(jù)集的數(shù)據(jù)? 當(dāng)我們想要比較來自不同數(shù)據(jù)集的數(shù)據(jù)時，z-score 能派上大用場。比如，兩位學(xué)生分別參加了不同難度的數(shù)學(xué)考試，學(xué)生 A 在考試一中得分 85，該考試平均成績 80，標(biāo)準(zhǔn)差 5；學(xué)生 B 在考試二中得分 90，該考試平均成績 88，標(biāo)準(zhǔn)差 3。僅看原始分?jǐn)?shù)難以判斷誰的成績更出色，但通過計算 z-score，學(xué)生 A 的 z-score 為 (85?80)/5 ? =1 ，學(xué)生 B 的 z-score 為 ? (90?88)/3 ? ≈0.67 ，由此可知學(xué)生 A 在其所在考試中的表現(xiàn)相對更優(yōu)。?

z-score 的局限性與使用注意事項?

盡管 z-score 功能強大，但也存在一定局限性。它的計算依賴于數(shù)據(jù)集的均值和標(biāo)準(zhǔn)差，若數(shù)據(jù)集中存在極端異常值，會對均值和標(biāo)準(zhǔn)差產(chǎn)生較大影響，進(jìn)而影響 z-score 的準(zhǔn)確性。此外，對于非正態(tài)分布的數(shù)據(jù)，z-score 在判斷異常值時的有效性會降低。因此，在使用 z-score 時，首先要對數(shù)據(jù)的分布形態(tài)有所了解，必要時結(jié)合其他方法進(jìn)行綜合分析；其次，在計算前需對數(shù)據(jù)進(jìn)行仔細(xì)檢查，合理處理異常值，以確保 z-score 能準(zhǔn)確反映數(shù)據(jù)特征。?

z-score 作為數(shù)據(jù)分析的重要工具，為我們提供了一種簡潔而有效的數(shù)據(jù)處理思路。掌握 z-score 的原理和應(yīng)用，能幫助我們在數(shù)據(jù)處理、模型構(gòu)建等工作中撥開迷霧，更清晰地洞察數(shù)據(jù)背后的規(guī)律，做出更科學(xué)合理的決策。

推薦學(xué)習(xí)書籍 《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計已有10萬+在讀~ 免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0