探秘 z-score：數(shù)據(jù)分析中的標(biāo)準(zhǔn)化利器?

? 在數(shù)據(jù)的海洋中，面對(duì)形態(tài)各異、尺度不同的數(shù)據(jù)，如何找到一個(gè)通用的標(biāo)準(zhǔn)來衡量數(shù)據(jù)的相對(duì)位置和離散程度？z-score，又稱標(biāo)準(zhǔn)分?jǐn)?shù)，便是解決這一難題的有效工具。它像一把精準(zhǔn)的標(biāo)尺，能將原始數(shù)據(jù)轉(zhuǎn)化為具有統(tǒng)一尺度的標(biāo)準(zhǔn)化數(shù)值，在統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、質(zhì)量控制等眾多領(lǐng)域發(fā)揮著關(guān)鍵作用。?

z-score 的定義與計(jì)算方法?

z-score 表示的是一個(gè)數(shù)據(jù)點(diǎn)距離均值有多少個(gè)標(biāo)準(zhǔn)差，其計(jì)算公式為： ? z= (x?μ)/σ。其中，x 是原始數(shù)據(jù)點(diǎn)，μ 是數(shù)據(jù)集的均值，σ 是數(shù)據(jù)集的標(biāo)準(zhǔn)差。?

舉個(gè)簡(jiǎn)單例子，假設(shè)有一組學(xué)生的數(shù)學(xué)考試成績(jī)：85、90、78、92、88，其均值 μ 經(jīng)計(jì)算為 86.6，標(biāo)準(zhǔn)差 ? σ 約為 5.2 。若想知道成績(jī)?yōu)?92 的學(xué)生在班級(jí)中的相對(duì)位置，將 ? x=92 ， ? μ=86.6 ， ? σ=5.2 代入公式，可得 ? z= (92?86.6)/5.2 ? ≈1.04 。這意味著該學(xué)生的成績(jī)比均值高出約 1.04 個(gè)標(biāo)準(zhǔn)差，在班級(jí)成績(jī)分布中處于相對(duì)靠前的位置。?

z-score 的核心應(yīng)用場(chǎng)景?

• 數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化? 在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中，不同特征的數(shù)據(jù)往往具有不同的量綱和取值范圍。例如，在預(yù)測(cè)房?jī)r(jià)的模型中，房屋面積的數(shù)值可能在幾十到幾百之間，而房齡的數(shù)值在幾到幾十年之間。如果直接將這些數(shù)據(jù)輸入模型，模型可能會(huì)過度關(guān)注數(shù)值較大的特征，從而影響預(yù)測(cè)的準(zhǔn)確性。通過計(jì)算 z-score 對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，能使所有數(shù)據(jù)都轉(zhuǎn)換到均值為 0，標(biāo)準(zhǔn)差為 1 的標(biāo)準(zhǔn)分布上，消除量綱的影響，讓模型更好地學(xué)習(xí)數(shù)據(jù)特征間的關(guān)系。?
• 異常值檢測(cè)? 一般來說，在符合正態(tài)分布的數(shù)據(jù)集中，約 68% 的數(shù)據(jù)點(diǎn)位于均值 ±1 個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，約 95% 的數(shù)據(jù)點(diǎn)位于均值 ±2 個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，約 99.7% 的數(shù)據(jù)點(diǎn)位于均值 ±3 個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。當(dāng)某個(gè)數(shù)據(jù)點(diǎn)的 z-score 絕對(duì)值大于 3 時(shí)，就可以懷疑該數(shù)據(jù)點(diǎn)是異常值。例如在產(chǎn)品質(zhì)量檢測(cè)中，若某批零件的尺寸測(cè)量值經(jīng)計(jì)算 z-score 超出正常范圍，就可能意味著生產(chǎn)過程出現(xiàn)了異常，需要及時(shí)排查問題。?
• 比較不同數(shù)據(jù)集的數(shù)據(jù)? 當(dāng)我們想要比較來自不同數(shù)據(jù)集的數(shù)據(jù)時(shí)，z-score 能派上大用場(chǎng)。比如，兩位學(xué)生分別參加了不同難度的數(shù)學(xué)考試，學(xué)生 A 在考試一中得分 85，該考試平均成績(jī) 80，標(biāo)準(zhǔn)差 5；學(xué)生 B 在考試二中得分 90，該考試平均成績(jī) 88，標(biāo)準(zhǔn)差 3。僅看原始分?jǐn)?shù)難以判斷誰的成績(jī)更出色，但通過計(jì)算 z-score，學(xué)生 A 的 z-score 為 (85?80)/5 ? =1 ，學(xué)生 B 的 z-score 為 ? (90?88)/3 ? ≈0.67 ，由此可知學(xué)生 A 在其所在考試中的表現(xiàn)相對(duì)更優(yōu)。?

z-score 的局限性與使用注意事項(xiàng)?

盡管 z-score 功能強(qiáng)大，但也存在一定局限性。它的計(jì)算依賴于數(shù)據(jù)集的均值和標(biāo)準(zhǔn)差，若數(shù)據(jù)集中存在極端異常值，會(huì)對(duì)均值和標(biāo)準(zhǔn)差產(chǎn)生較大影響，進(jìn)而影響 z-score 的準(zhǔn)確性。此外，對(duì)于非正態(tài)分布的數(shù)據(jù)，z-score 在判斷異常值時(shí)的有效性會(huì)降低。因此，在使用 z-score 時(shí)，首先要對(duì)數(shù)據(jù)的分布形態(tài)有所了解，必要時(shí)結(jié)合其他方法進(jìn)行綜合分析；其次，在計(jì)算前需對(duì)數(shù)據(jù)進(jìn)行仔細(xì)檢查，合理處理異常值，以確保 z-score 能準(zhǔn)確反映數(shù)據(jù)特征。?

z-score 作為數(shù)據(jù)分析的重要工具，為我們提供了一種簡(jiǎn)潔而有效的數(shù)據(jù)處理思路。掌握 z-score 的原理和應(yīng)用，能幫助我們?cè)?a href='/map/shujuchuli/' style='color:#000;font-size:inherit;'>數(shù)據(jù)處理、模型構(gòu)建等工作中撥開迷霧，更清晰地洞察數(shù)據(jù)背后的規(guī)律，做出更科學(xué)合理的決策。

推薦學(xué)習(xí)書籍 《CDA一級(jí)教材》適合CDA一級(jí)考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計(jì)已有10萬+在讀~ 免費(fèi)加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0