作者 | George Seif

編譯 | 廖琴 孫夢(mèng)琪

來(lái)源 | 讀芯術(shù)

數(shù)據(jù)科學(xué)家都應(yīng)該知道如何有效地使用數(shù)據(jù)并從中獲取信息。下面是小編整理的五大實(shí)用型統(tǒng)計(jì)學(xué)概念，每個(gè)數(shù)據(jù)科學(xué)家都應(yīng)該熟知，它們能讓你在數(shù)據(jù)科學(xué)領(lǐng)域發(fā)揮得更加行云流水。

從定義來(lái)看，數(shù)據(jù)科學(xué)實(shí)際上指的是從數(shù)據(jù)中獲取信息的過(guò)程。數(shù)據(jù)科學(xué)旨在解釋所有數(shù)據(jù)在現(xiàn)實(shí)世界中的意義，而不僅僅局限于數(shù)字層面。

為了提取嵌入在復(fù)雜數(shù)據(jù)集中的信息，數(shù)據(jù)科學(xué)家使用了許多工具和技術(shù)，包括數(shù)據(jù)探索、可視化和建模。在數(shù)據(jù)探索中常用的一類非常重要的數(shù)學(xué)技術(shù)是統(tǒng)計(jì)學(xué)。

從實(shí)踐層面上講，采用統(tǒng)計(jì)學(xué)使人們能夠?qū)?shù)據(jù)進(jìn)行具體的數(shù)學(xué)總結(jié)。人們可以使用統(tǒng)計(jì)數(shù)據(jù)來(lái)描述部分?jǐn)?shù)據(jù)的屬性，而不必試圖描述每個(gè)數(shù)據(jù)點(diǎn)。通常這就足以提取一些關(guān)于數(shù)據(jù)結(jié)構(gòu)和組成的信息。

有時(shí)候，在聽(tīng)到“統(tǒng)計(jì)學(xué)”這個(gè)詞時(shí)，人們總會(huì)想得過(guò)于復(fù)雜。的確，它可能是有點(diǎn)抽象，但并不總是需要借助復(fù)雜的理論來(lái)從統(tǒng)計(jì)技術(shù)中獲得有價(jià)值的內(nèi)容。

最基本的統(tǒng)計(jì)學(xué)知識(shí)往往在數(shù)據(jù)科學(xué)中最有實(shí)用價(jià)值。

本文為大家介紹5個(gè)用于數(shù)據(jù)科學(xué)的實(shí)用統(tǒng)計(jì)學(xué)知識(shí)。它們不是令人抓狂的抽象概念，而是極為簡(jiǎn)單的、可以應(yīng)用的技術(shù)，且前景很好。

那么開(kāi)始吧！

1. 集中趨勢(shì)

數(shù)據(jù)集或特征變量的集中趨勢(shì)是指集的中心值或典型值。也就是說(shuō)，可能存在一個(gè)值可以(在一定程度上)最充分地描述數(shù)據(jù)集。

例如，假設(shè)正態(tài)分布以(100,100)為中心。那么點(diǎn)(100,100)就是中心趨勢(shì)，因?yàn)樵谒锌蛇x擇的點(diǎn)中，它總結(jié)數(shù)據(jù)的效果最佳。

對(duì)于數(shù)據(jù)科學(xué)，可以使用集中趨勢(shì)測(cè)度快速簡(jiǎn)單地了解整體數(shù)據(jù)集。數(shù)據(jù)的“中心”可能是非常有價(jià)值的信息，可以說(shuō)明數(shù)據(jù)集究竟是如何產(chǎn)生偏差的，因?yàn)閿?shù)據(jù)所圍繞的任何值本質(zhì)上都是有偏差的。

在數(shù)學(xué)上有兩種常見(jiàn)的選擇集中趨勢(shì)的方法。

平均數(shù)

數(shù)據(jù)集的平均數(shù)指整個(gè)數(shù)據(jù)集圍繞分布的一個(gè)平均數(shù)值。在定義平均值時(shí)，所有用于計(jì)算平均數(shù)值的權(quán)重都是相等的。

例如，計(jì)算以下5個(gè)數(shù)字的平均數(shù)：

(3 + 64 + 187 + 12 + 52) / 5 = 63.6

平均值對(duì)于計(jì)算實(shí)際的數(shù)學(xué)平均數(shù)非常有用。使用像Numpy這樣的Python庫(kù)計(jì)算也非?？?。

中位數(shù)

中位數(shù)是數(shù)據(jù)集的中間值。也就是說(shuō)，如果把數(shù)據(jù)從小到大(或者從大到小)排序，然后取集的中間值:這便是中位數(shù)。

接下來(lái)再次計(jì)算相同的5個(gè)數(shù)的中位數(shù)：

[3, 12, 52, 64, 187]→52

中位數(shù)與平均數(shù)63.6相差很大。二者沒(méi)有對(duì)錯(cuò)之分，可視情況和目的選擇其一。

計(jì)算中位數(shù)需要對(duì)數(shù)據(jù)進(jìn)行排序——如果數(shù)據(jù)集很大，這就不實(shí)用了。

另一方面，中位數(shù)對(duì)離群值的魯棒性要強(qiáng)于平均數(shù)，因?yàn)槿绻幸恍┓浅８叩碾x群值，平均數(shù)就會(huì)偏大或偏小。

平均數(shù)和中位數(shù)可以用簡(jiǎn)單的numpy單行代碼計(jì)算：

numpy.mean(array)

numpy.median(array)

2. 分布

在統(tǒng)計(jì)學(xué)中，數(shù)據(jù)分布是指在更大的范圍內(nèi)，數(shù)據(jù)集中趨向一個(gè)或多個(gè)值的程度。

看看下面的高斯概率分布圖——假設(shè)這些是描述真實(shí)世界數(shù)據(jù)集的概率分布。

藍(lán)色曲線的擴(kuò)展值最小，因?yàn)槠浯蟛糠謹(jǐn)?shù)據(jù)點(diǎn)都在一個(gè)相當(dāng)窄的范圍內(nèi)。紅色曲線的擴(kuò)展值最大，這是因?yàn)榇蠖鄶?shù)數(shù)據(jù)點(diǎn)所占的范圍要大得多。

圖中顯示了這些曲線的標(biāo)準(zhǔn)差值，下一節(jié)中將進(jìn)行解釋。

標(biāo)準(zhǔn)差

標(biāo)準(zhǔn)差是量化數(shù)據(jù)分布最常見(jiàn)的方法。計(jì)算分五步進(jìn)行：

1.求平均數(shù)。

2.求每個(gè)數(shù)據(jù)點(diǎn)到平均數(shù)距離的平方。

3.對(duì)步驟2中的值進(jìn)行求和。

4.除以數(shù)據(jù)點(diǎn)的個(gè)數(shù)。

5.取平方根。

值越大意味著數(shù)據(jù)離平均數(shù)更“分散”。值越小意味著數(shù)據(jù)更集中在平均值附近。

用Numpy很容易就能計(jì)算出標(biāo)準(zhǔn)差：

numpy.std(array)

3. 百分?jǐn)?shù)

百分?jǐn)?shù)可用于進(jìn)一步描述范圍內(nèi)每個(gè)數(shù)據(jù)點(diǎn)的位置。

百分?jǐn)?shù)根據(jù)數(shù)據(jù)點(diǎn)在值范圍中的位置高低來(lái)描述數(shù)據(jù)點(diǎn)的確切位置。

更準(zhǔn)確地說(shuō)，第p個(gè)百分位是數(shù)據(jù)集中的值，在該值處可以將其分為兩部分。下半部分包含p %的數(shù)據(jù)，即第p個(gè)百分位。

例如，看下列11個(gè)數(shù)字：

13 5 7 9 11 13 15 17 19 21

數(shù)字15是第70百分位，因?yàn)楫?dāng)在數(shù)字15處將數(shù)據(jù)集分成兩部分時(shí)，剩余70%的數(shù)據(jù)小于15。

百分?jǐn)?shù)與平均數(shù)和標(biāo)準(zhǔn)差相結(jié)合，可以讓人們很好地了解特定的點(diǎn)在數(shù)據(jù)分布/數(shù)據(jù)范圍內(nèi)的位置。如果它是一個(gè)異常值，那么它的百分?jǐn)?shù)將接近于終點(diǎn)——小于5%或大于95%。另一方面，如果百分位數(shù)計(jì)算結(jié)果接近50，那么可知其接近集中趨勢(shì)。

數(shù)組的第50百分位可以用Numpy來(lái)計(jì)算，代碼如下:

numpy.percentile(array, 50)

4. 偏態(tài)

數(shù)據(jù)偏態(tài)用于衡量數(shù)據(jù)的不對(duì)稱性。

正偏態(tài)表示值集中在數(shù)據(jù)點(diǎn)中心的左側(cè);負(fù)偏度表示值集中在數(shù)據(jù)點(diǎn)中心的右側(cè)。

下圖充分說(shuō)明了這一點(diǎn)。

下面的公式可用于計(jì)算偏態(tài)：

偏態(tài)可說(shuō)明數(shù)據(jù)分布與高斯分布的差距。偏態(tài)越大，數(shù)據(jù)集離高斯分布越遠(yuǎn)。

這很重要，因?yàn)槿魧?duì)數(shù)據(jù)的分布有一個(gè)粗略的概念，就可以為特定的分布定制要訓(xùn)練的ML模型。此外，并非所有ML建模技術(shù)都能對(duì)非高斯數(shù)據(jù)起作用。

在開(kāi)始建模之前，再次強(qiáng)調(diào)，統(tǒng)計(jì)數(shù)據(jù)提供了重要的信息！

下面是在Scipy代碼中計(jì)算偏態(tài)的方法：

scipy.stats.skew(array)

5. 協(xié)方差和相關(guān)性

協(xié)方差

兩個(gè)特征變量的協(xié)方差可用于衡量二者的“相關(guān)性”。如果兩個(gè)變量有正協(xié)方差，那么當(dāng)一個(gè)變量增加時(shí)，另一個(gè)也會(huì)增加；當(dāng)協(xié)方差為負(fù)時(shí)，特征變量的值將向相反的方向變化。

相關(guān)性

相關(guān)性也就是簡(jiǎn)單的標(biāo)準(zhǔn)化(比例)協(xié)方差，即兩個(gè)被分析變量的積差。這將有效地促使關(guān)聯(lián)范圍始終保持在-1.0和1.0之間。

若兩個(gè)特征變量的相關(guān)系數(shù)為1.0，則兩個(gè)特征變量的相關(guān)系數(shù)為正相關(guān)。這也就意味著，如果一個(gè)變量的變化量是給定的，那么第二個(gè)變量就會(huì)按比例向相同的方向移動(dòng)。

▲降維主成分分析(PCA)說(shuō)明

當(dāng)正相關(guān)系數(shù)小于1時(shí)，表示正相關(guān)系數(shù)小于完全正相關(guān)，且相關(guān)強(qiáng)度隨著數(shù)字趨近于1而增大。這同樣也適用于負(fù)相關(guān)值，只是特征變量的值朝相反的方向變化，而不是朝相同的方向變化。

了解相關(guān)性對(duì)于主成分分析(PCA)等降維技術(shù)非常有用。從計(jì)算一個(gè)相關(guān)矩陣開(kāi)始——如果有兩個(gè)或兩個(gè)以上的變量高度相關(guān)，那么它們?cè)诮忉寯?shù)據(jù)時(shí)實(shí)際上是多余的，可以刪除其中一些變量以降低復(fù)雜性。