數(shù)據(jù)標(biāo)準(zhǔn)化的原因及方法

前段時間有幾個和我一樣學(xué)習(xí)數(shù)據(jù)分析師的朋友聊天，說到數(shù)據(jù)標(biāo)準(zhǔn)化的原因和方法。下面我們就具體的解釋一下？

一、為何要將數(shù)據(jù)標(biāo)準(zhǔn)化？

由于不同變量常常具有不同的單位和不同的變異程度。不同的單位常使系數(shù)的實踐解釋發(fā)生困難。例如：第1個變量的單位是kg，第2個變量的單位是cm，那么在計算絕對距離時將出現(xiàn)將兩個事例中第1個變量觀察值之差的絕對值（單位是kg）與第2個變量觀察值之差的絕對值（單位是cm ）相加的情況。使用者會說5kg的差異怎么可以與3cm的差異相加？

不同變量自身具有相差較大的變異時，會使在計算出的關(guān)系系數(shù)中，不同變量所占的比重大不相同。例如如果第1個變量（兩水稻品種米粒中的脂肪含量）的數(shù)值在2%到4%之間，而第2個變量（兩水稻品種的畝產(chǎn)量）的數(shù)值范圍都在1000與5000之間。為了消除量綱影響和變量自身變異大小和數(shù)值大小的影響，故將數(shù)據(jù)標(biāo)準(zhǔn)化。

二、數(shù)據(jù)標(biāo)準(zhǔn)化的方法： 

1、對變量的離差標(biāo)準(zhǔn)化

離差標(biāo)準(zhǔn)化是將某變量中的觀察值減去該變量的最小值，然后除以該變量的極差。即

x’ik＝[xik －Min (xk)]／Rk

經(jīng)過離差標(biāo)準(zhǔn)化后，各種變量的觀察值的數(shù)值范圍都將在〔0，1〕之間，并且經(jīng)標(biāo)準(zhǔn)化的數(shù)據(jù)都是沒有單位的純數(shù)量。離差標(biāo)準(zhǔn)化是消除量綱（單位）影響和變異大小因素的影響的最簡單的方法。   有一些關(guān)系系數(shù)（例如絕對值指數(shù)尺度）在定義時就已經(jīng)要求對數(shù)據(jù)進行離差標(biāo)準(zhǔn)化，但有些關(guān)系系數(shù)的計算公式卻沒有這樣要求，當(dāng)選用這類關(guān)系系數(shù)前，不妨先對數(shù)據(jù)進行標(biāo)準(zhǔn)化，看看分析的結(jié)果是否為有意義的變化。

2，對變量的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化

標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化是將某變量中的觀察值減去該變量的平均數(shù)，然后除以該變量的標(biāo)準(zhǔn)差。即

x’ik ＝ (xik － )／sk

經(jīng)過標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化后，各變量將有約一半觀察值的數(shù)值小于0，另一半觀察值的數(shù)值大于0，變量的平均數(shù)為0，標(biāo)準(zhǔn)差為1。經(jīng)標(biāo)準(zhǔn)化的數(shù)據(jù)都是沒有單位的純數(shù)量。對變量進行的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化可以消除量綱（單位）影響和變量自身變異的影響。但有人認(rèn)為經(jīng)過這種標(biāo)準(zhǔn)化后，原來數(shù)值較大的的觀察值對分類結(jié)果的影響仍然占明顯的優(yōu)勢，應(yīng)該進一步消除大小因子的影響。盡管如此，它還是當(dāng)前用得最多的數(shù)據(jù)標(biāo)準(zhǔn)化方法。

3，先對事例進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，再對變量進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化

第一步，先對事例進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即將某事例中的觀察值減去該事例的平均數(shù)，然后除以該事例的標(biāo)準(zhǔn)差。即

x’ik ＝ (xik － )／si

第二步，再對變量進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即將某變量中的觀察值減去該變量的平均數(shù)，然后除以該變量的標(biāo)準(zhǔn)差。即

 x’’ik ＝ (x’ik － ’k)／s’k

使用這種標(biāo)準(zhǔn)化的目的也在于消除性狀間的量綱（單位）影響和變異大小因子的影響，使性狀間具有可比性。

4，先對變量、后對事例、再對變量的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化

這種標(biāo)準(zhǔn)化的目的也在于消除性狀間的量綱（單位）影響和變異大小因子的影響，使性狀間具有可比性。具體做法是：

第一步，先對變量進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即將某變量中的觀察值減去該變量的平均數(shù)，然后除以該變量的標(biāo)準(zhǔn)差。即

x’ik ＝ (xik － )／sk

第二步，后對事例進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即將某事例中的觀察值減去該事例的平均數(shù)，然后除以該事例的標(biāo)準(zhǔn)差。即

 x’’ik ＝ (x’ik － ’i)／s’i

第三步，再對變量進行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即將某變量中的觀察值減去該變量的平均數(shù)，然后除以該變量的標(biāo)準(zhǔn)差。即

x’’’ik ＝ (x’’ik － ’’k)／s’’k

進行了前兩步之后，還要進行第三步的原因，主要是為了計算的方便。

在數(shù)據(jù)分析過程中，我們經(jīng)常需要對數(shù)據(jù)進行標(biāo)準(zhǔn)化（normalization），數(shù)據(jù)標(biāo)準(zhǔn)化主要功能就是消除變量間的量綱關(guān)系，從而使數(shù)據(jù)具有可比性。可以舉個簡單的例子，一個百分制的變量與一個5分值的變量在一起怎么比較？只有通過數(shù)據(jù)標(biāo)準(zhǔn)化，都把它們標(biāo)準(zhǔn)到同一個標(biāo)準(zhǔn)時才具有可比性。即通過將屬性數(shù)據(jù)按照比例縮放，使之落入一個小的特定區(qū)間，如[-1,+1]、[0,1]等，以進一步分析數(shù)據(jù)的屬性。

有許多中數(shù)據(jù)標(biāo)準(zhǔn)化方法，常用的有最小-最大標(biāo)準(zhǔn)化、Z-score標(biāo)準(zhǔn)化和按小數(shù)定標(biāo)標(biāo)準(zhǔn)化等。下面對數(shù)據(jù)標(biāo)準(zhǔn)化的常用方法進行了介紹：

一、Min-Max標(biāo)準(zhǔn)化

min-max標(biāo)準(zhǔn)化方法是對原始數(shù)據(jù)進行線性變換。設(shè)minA和maxA分別為屬性A的最小值和最大值，將A的一個原始值x通過min-max標(biāo)準(zhǔn)化映射成在區(qū)間【0,1】中的值，其公式為：

新數(shù)據(jù)=（原數(shù)據(jù)-極小值）/（極大值-極小值）

這種方法適用于原始數(shù)據(jù)的取值范圍已經(jīng)確定的情況。

例如：假定屬性income的最小與最大值分別為$12,000和$98,000。我們想映射income到區(qū)間[0,1]。根據(jù)min-max標(biāo)準(zhǔn)化，incom值$73,600將變換為

（73,600-12,000）/（98,000-12,000）×（1-0）=0.716。

二、z-score標(biāo)準(zhǔn)化

這種方法基于原始數(shù)據(jù)的均值(mean)和標(biāo)準(zhǔn)差(standard deviation)進行數(shù)據(jù)的標(biāo)準(zhǔn)化。將屬性A的原始值v使用z-score標(biāo)準(zhǔn)化到v’的計算方法是：

新數(shù)據(jù)=（原數(shù)據(jù)-均值）/標(biāo)準(zhǔn)差

z-score標(biāo)準(zhǔn)化方法適用于屬性A的最大值和最小值未知的情況，或有超出取值范圍的離群數(shù)據(jù)的情況。

spass的默認(rèn)的標(biāo)準(zhǔn)化方法就是z-score標(biāo)準(zhǔn)化。

用Excel進行z-score標(biāo)準(zhǔn)化的方法：在Excel中沒有現(xiàn)成的額函數(shù)，需要自己分步計算，其實標(biāo)準(zhǔn)化的公式很簡單。

步驟如下：

1、求出各變量（指標(biāo)）的算術(shù)平均值（數(shù)學(xué)期望）xi和標(biāo)準(zhǔn)差si

2、進行標(biāo)準(zhǔn)化處理：zij=(xij-xi)/si。其中：zij為標(biāo)準(zhǔn)化后的變量值；xij為實際變量值。

3、將逆指標(biāo)錢的正負(fù)號對調(diào)。標(biāo)準(zhǔn)化后的變量值圍繞0上下波動，大雨0說明高于平均水平，小于0說明低于平均水平。

三、Decimal scaling（小數(shù)定標(biāo)標(biāo)準(zhǔn)化）

這種方法通過移動數(shù)據(jù)的小數(shù)點位置來進行標(biāo)準(zhǔn)化。小數(shù)點移動多少位取決于屬性A的取值中的最大絕對值。將屬性A的原始值x使用decimal scaling標(biāo)準(zhǔn)化到y(tǒng)’的計算方法是：y=x/(10*j)     其中，j是滿足條件的最小整數(shù)。

例如 假定A的值由-986到917，A的最大絕對值為986，為使用小數(shù)定標(biāo)標(biāo)準(zhǔn)化，我們用1000（即，j=3）除以每個值，這樣，-986被規(guī)范化為-0.986。

注意，標(biāo)準(zhǔn)化會對原始數(shù)據(jù)做出改變，因此需要保存所使用的標(biāo)準(zhǔn)化方法的參數(shù)，以便對后續(xù)的數(shù)據(jù)進行統(tǒng)一的標(biāo)準(zhǔn)化。數(shù)據(jù)分析師認(rèn)證培訓(xùn)