在數(shù)據(jù)處理過程中，經(jīng)常會遇到偏態(tài)數(shù)據(jù)。我們都知道數(shù)據(jù)整體服從正態(tài)分布，那樣本均值和方差則相互獨立。因此大家都會希望數(shù)據(jù)事成正態(tài)分布的，但是現(xiàn)實情況卻是：大多數(shù)情況下，數(shù)據(jù)都是偏態(tài)分布的，這時候就需要我們將偏態(tài)數(shù)據(jù)正態(tài)化。今天，小編跟大家分享的就是將偏態(tài)數(shù)據(jù)正態(tài)化的處理方法，希望對大家研究和學(xué)習(xí)偏態(tài)數(shù)據(jù)有所幫助。

一、正態(tài)分布和偏態(tài)分布

首先我們先來了解一下什么是正態(tài)分布，什么是偏態(tài)分布。

由圖中可知，正態(tài)分布，兩頭低，中間高，整個形態(tài)是對稱鐘形的一個分布的狀態(tài)。大量連續(xù)數(shù)據(jù)測量時，我們最希望的就是數(shù)據(jù)可以成這種狀態(tài)，也就是正態(tài)分布，一個標(biāo)準(zhǔn)的正態(tài)分布是u(均值)=0.σ(標(biāo)準(zhǔn)差)=1.

橫坐標(biāo)代表隨機變量X的一個取值，在均值(u=0)附近概率密度最大，越偏離均值，概率密度減小，不在(u-3σ,u+3σ)范圍內(nèi)的數(shù)據(jù)就屬于統(tǒng)計學(xué)意義上的異常值了。

根據(jù)圖中可以看出，偏態(tài)分布，分為兩種情況，左偏又叫負(fù)偏態(tài)，以及右偏又叫正偏態(tài)，也可以用偏度來表示，偏度>0.也就是頻數(shù)分布的高峰向左偏移，呈右(正)偏態(tài)分布;偏度<0.即頻數(shù)分布的高峰向右偏移，呈左(負(fù))偏態(tài)分布;|偏度|>1.呈高度偏態(tài)，0.5<|偏度|<1.呈中等偏態(tài)。

二、檢驗數(shù)據(jù)是否服從正態(tài)分布

rom scipy.stats import norm
sns.distplot(train['SalePrice'],fit=norm)
#均值和方差
(mu,sigma) = norm.fit(train['SalePrice'])
print('n mu = {:.2f} and sigma = {:.2f}n'.format(mu, sigma))
plt.legend(['Normal dist. ($mu=$ {:.2f} and $sigma=$ {:.2f} )'.format(mu, sigma)],
            loc='best')
plt.ylabel('Frequency')
plt.title('SalePrice distribution')

fig =plt.figure()
res = stats.probplot(train['SalePrice'], plot=plt)
plt.show()

三、偏態(tài)數(shù)據(jù)處理

如果檢測到數(shù)據(jù)是呈偏態(tài)分布，我們需要將其其變換為正態(tài)分布，常用的幾種變換方式為：

1、對數(shù)變換：即將原始數(shù)據(jù)X的對數(shù)值作為新的分布數(shù)據(jù)，適用于相乘關(guān)系的數(shù)據(jù)、高度偏態(tài)的數(shù)據(jù)

2、平方根變換：即即將原始數(shù)據(jù)X的平方根作為新的分布數(shù)據(jù)。適用于泊松分布(方差與均數(shù)近似相等)的數(shù)據(jù)、輕度偏態(tài)的數(shù)據(jù)

3、倒數(shù)變換1/x：即將原始數(shù)據(jù)X的倒數(shù)作為新的分析數(shù)據(jù)。適用于兩端波動較大的數(shù)據(jù)

4、反正弦變換：即將原始數(shù)據(jù)X的平方根反正弦值做為新的分析數(shù)據(jù)。適用于百分比的數(shù)據(jù)、中度偏態(tài)的數(shù)據(jù)

#用對數(shù)化解決偏態(tài) log(1+x)
train['SalePrice'] = np.log1p(train['SalePrice'])
sns.distplot(train['SalePrice'],fit=norm)
(mu, sigma) = norm.fit(train['SalePrice'])
print( 'n mu = {:.2f} and sigma = {:.2f}n'.format(mu, sigma))

#Now plot the distribution
plt.legend(['Normal dist. ($mu=$ {:.2f} and $sigma=$ {:.2f} )'.format(mu, sigma)],
            loc='best')
plt.ylabel('Frequency')
plt.title('SalePrice distribution')

#Get also the QQ-plot
fig = plt.figure()
res = stats.probplot(train['SalePrice'], plot=plt)
plt.show()

相關(guān)性分析是一項重要的數(shù)據(jù)分析工具，可以幫助我們理解變量之間的關(guān)系并做出相應(yīng)的推斷。通過散點圖、相關(guān)系數(shù)和回歸分析等方法，我們可以定量地衡量變量之間的相關(guān)程度，并將其應(yīng)用于各個領(lǐng)域的研究與實踐中。深入理解相關(guān)性分析的原理和應(yīng)用，對于數(shù)據(jù)科學(xué)家和決策者來說都是至關(guān)重要的技能。

想深入學(xué)習(xí)統(tǒng)計學(xué)知識，為數(shù)據(jù)分析筑牢根基？那快來看看統(tǒng)計學(xué)極簡入門課程！

學(xué)習(xí)入口：https://edu.cda.cn/goods/show/3386?targetId=5647&preview=0

課程由專業(yè)數(shù)據(jù)分析師打造，完全免費，60 天有效期且隨到隨學(xué)。它用獨特思路講重點，從數(shù)據(jù)種類到統(tǒng)計學(xué)體系，內(nèi)容通俗易懂。學(xué)完它，能讓你輕松入門統(tǒng)計學(xué)，還能提升數(shù)據(jù)分析能力。趕緊點擊鏈接開啟學(xué)習(xí)，讓自己在數(shù)據(jù)領(lǐng)域更上一層樓！