作者 | CDA數(shù)據(jù)分析師

來源 | CDA數(shù)據(jù)科學研究院

從事數(shù)據(jù)分析工作，統(tǒng)計基礎不可或缺。今天小編就來給大家好好梳理一下關(guān)于一名合格數(shù)據(jù)分析師所要掌握的統(tǒng)計基礎都有哪些，旨在為大家查缺補漏，讓大家的數(shù)據(jù)分析之路走得更扎實穩(wěn)靠。

統(tǒng)計的基本任務是對經(jīng)濟社會發(fā)展情況進行統(tǒng)計調(diào)查、統(tǒng)計分析，提供統(tǒng)計資料和統(tǒng)計咨詢意見、實行統(tǒng)計監(jiān)督。統(tǒng)計的信息、咨詢和監(jiān)督三大職能，是相互作用、相互促進、相輔相成和密切聯(lián)系的。信息職能是統(tǒng)計最基本的職能，是保證咨詢和監(jiān)督職能得以有效發(fā)揮的前提。咨詢和監(jiān)督職能是在信息職能基礎上的拓展和深化，是在充分發(fā)揮信息資源作用的基礎上，對統(tǒng)計整體效能的提高。

按照所采用的計量尺度的不同，可以將統(tǒng)計數(shù)據(jù)分為分類數(shù)據(jù)、順序數(shù)據(jù)和數(shù)值型數(shù)據(jù)。

分類數(shù)據(jù)是只能歸于某一類別的非數(shù)字型數(shù)據(jù)，它是對事物進行分類的結(jié)果，數(shù)據(jù)表現(xiàn)為類別，是用文字來表述的。

順序數(shù)據(jù)是只能歸于某一有序類別的非數(shù)字型數(shù)據(jù)。順序數(shù)據(jù)雖然也是類別，但這些類別是有序的。

數(shù)值型數(shù)據(jù)是按數(shù)字尺度測量的觀測值，其結(jié)果表現(xiàn)為具體的數(shù)值?，F(xiàn)實中所處理的大多數(shù)數(shù)據(jù)都是數(shù)值型數(shù)據(jù)。

分類數(shù)據(jù)和順序數(shù)據(jù)說明的是事物的品質(zhì)特征，通常是用文字來表述的，其結(jié)果均表現(xiàn)為類別，因而也可統(tǒng)稱為定性數(shù)據(jù)或稱品質(zhì)數(shù)據(jù)；數(shù)值型數(shù)據(jù)說明的是現(xiàn)象的數(shù)量特征，通常是用數(shù)值來表現(xiàn)的，因此也可以稱為定量數(shù)據(jù)或數(shù)量數(shù)據(jù)。

本文主要介紹了一名合格的數(shù)據(jù)分析師所應具備的統(tǒng)計基礎——統(tǒng)計描述。數(shù)據(jù)分析的前提就是要學會觀察數(shù)據(jù)，了解數(shù)據(jù)，統(tǒng)計描述包括對數(shù)據(jù)的圖表描述和統(tǒng)計量描述，它能讓我們對數(shù)據(jù)有一個直觀的認識，比如數(shù)據(jù)是否完整、是否存在異常、服從什么分布、存在什么規(guī)律等，為數(shù)據(jù)預處理和數(shù)據(jù)分析做準備。

內(nèi)容框架

一． 圖表描述

1. 分類數(shù)據(jù)描述

（1） 頻數(shù)分布表——單變量分布表

主要用于計數(shù)和匯總一個分類變量的數(shù)據(jù)，通過它可以使頻數(shù)、比例等一目了然，從而為進一步分析做準備。

（2） 頻數(shù)分布表——雙變量列聯(lián)表

主要用于計數(shù)和匯總兩個分類變量的數(shù)據(jù)，通過它可以使兩個變量交叉分類的頻數(shù)、比例等一目了然，從而為進一步分析做準備。

（3） 條形圖

它可以用來展示各類別的絕對值和數(shù)據(jù)的分布特征。它通過相同寬度條形的長短來表示各類別的數(shù)值大小。

（4） 帕累托圖

它可以用來比較各類別的頻數(shù)大小。它是按各類別數(shù)據(jù)出現(xiàn)的頻數(shù)多少排序后繪制的條形圖，通過對條形圖的排序，容易看出哪類數(shù)據(jù)出現(xiàn)得多，哪類數(shù)據(jù)出現(xiàn)的少。

（5） 餅圖

它可以用來展示一個樣本的結(jié)構(gòu)。它通過一個圓來表示總的數(shù)值大小，用圓內(nèi)各扇形的角度來表示各類別的數(shù)值大小。

（6） 環(huán)形圖

它可以顯示多個樣本各部分所占的相應比例，從而用來比較多個樣本的結(jié)構(gòu)。它是把餅圖疊在一起，挖去中間的部分；圖中每一個環(huán)都表示一個樣本，樣本中的每一部分數(shù)據(jù)則用環(huán)中的一段表示。

2. 順序數(shù)據(jù)描述

（1） 頻數(shù)分布表——累計頻數(shù)分布表

主要用于計數(shù)和匯總順序變量的數(shù)據(jù)，通過它可以使頻數(shù)、比例、累積頻數(shù)、累積頻率等一目了然，從而為進一步分析做準備。

（2） 累計頻數(shù)分布圖

主要是用于展示順序變量的累積頻數(shù)分布情況。它是將各類別按級別大小進行升序或降序排列在橫坐標上，用縱坐標表示各類別的頻率，然后用折線繪制出累積頻率。

3. 數(shù)值型數(shù)據(jù)描述

（1） 頻數(shù)分布表——分組表

主要是用于計數(shù)和匯總數(shù)值型分組數(shù)據(jù)。通過它可以使分組后的頻數(shù)、比例等一目了然，從而為進一步分析做準備。

用于展示數(shù)據(jù)分布特征的圖形主要有以下幾種：

（2） 直方圖

它可以用來展示分組數(shù)據(jù)的分布特征。它用矩形的面積來表示頻數(shù)分布，在矩形的高度表示每一組的頻數(shù)或頻率，寬度則表示各組的組距。

直方圖與條形圖的區(qū)別與聯(lián)系：

區(qū)別：條形圖主要用來展示分類數(shù)據(jù)，其高度表示各類別頻數(shù)的多少，其寬度是固定的；直方圖則主要是用于展示數(shù)值型分組數(shù)據(jù)，是用面積表示頻數(shù)分布，矩形的高度表示每一組的頻數(shù)或頻率，寬度則表示各組的組距，因此其高度和寬度均有意義。且由于分組數(shù)據(jù)具有連續(xù)性，直方圖的各矩形通常是連續(xù)排列的，而條形圖則是分開排列的。

聯(lián)系：二者都用來展示數(shù)據(jù)的分布情況；在平面直角坐標系中，二者的橫軸都表示分組，縱軸都可表示頻數(shù)或頻率大小。

（3） 莖葉圖

它不僅可以用來反映數(shù)據(jù)的分布特征，還可以保留原始數(shù)據(jù)的信息，更適用于觀察少量數(shù)據(jù)的分布。它由“莖”和“葉”兩部分構(gòu)成。繪制時，首先將一個數(shù)值分成兩部分，通常是以該數(shù)據(jù)的高位數(shù)值作為樹莖，而葉上只保留該數(shù)值的最后一個數(shù)字。

（4） 箱線圖

它不僅可以用來反映原始數(shù)據(jù)的分布特征，還可以進行多組數(shù)據(jù)分布特征的比較。繪制時，先找出數(shù)據(jù)的最大值、最小值、中位數(shù)和兩個四分位數(shù)；然后連接兩個四分位數(shù)畫出箱子；再將最大值和最小值與箱子相連，中位數(shù)在箱子中間。箱線圖還可用來尋找離群點，從而來處理數(shù)據(jù)的異常值。

用于展示時間序列的圖形：

（5） 線圖

它可以用于展示時間序列數(shù)據(jù)，反映現(xiàn)象隨時間變化的特征。繪制時，時間一般繪在橫軸，觀測值繪在縱軸。一般情況下，橫軸應長于縱軸，縱軸數(shù)據(jù)下端應從“0”開始（若起始數(shù)據(jù)與“0”相差大，可采用折斷符號），以便于比較。

用于展示變量之間的關(guān)系的圖形主要有以下幾種：

（6） 散點圖（兩個數(shù)值型變量）

它可以用來展示兩個數(shù)值型變量之間的關(guān)系，一個變量在橫軸，一個變量在縱軸，通過觀察散點的趨勢判斷兩變量的相關(guān)性。

（7）氣泡圖（三個數(shù)值型變量）

它可以用來展示三個數(shù)值型變量之間的關(guān)系。第一個變量用橫軸表示，第二個變量用縱軸表示，第三個變量用氣泡的大小表示。

（8）矩陣散點圖（兩個以上數(shù)值型變量）

它可以用來同時比較多個變量兩兩之間的關(guān)系。

（9）雷達圖（兩個以上數(shù)值型變量）

它是從一點出發(fā)，用每一條射線代表一個變量，多個變量的數(shù)據(jù)的連成線就圍成了一個區(qū)域，多個樣本就能繪制多個區(qū)域 ，從而方便研究各樣本間的相似程度。

（10）輪廓圖（兩個以上數(shù)值型變量）

它是用橫軸表示各樣本，縱軸表示每個樣本的多個變量的取值，將不同樣本同一個變量的取值用折線連接，從而便于分析各個樣本之間的相似程度。

二． 統(tǒng)計量描述

1. 集中趨勢度量

(1) 分類數(shù)據(jù)：眾數(shù)

眾數(shù)是一組數(shù)據(jù)中出現(xiàn)次數(shù)最多的變量值，常用于反映一組分類數(shù)據(jù)的集中趨勢，且不受極端值影響。

(2) 順序數(shù)據(jù)：中位數(shù)、四分位數(shù)

中位數(shù)是一組數(shù)據(jù)排序后處于中間位置的變量值。四分位數(shù)是一組數(shù)據(jù)排序后處于25%和75%位置上的值。它們常用于反映一組順序數(shù)據(jù)的集中趨勢，且不受極端值影響。

(3) 數(shù)值型數(shù)據(jù)：平均數(shù)

平均數(shù)是一組數(shù)據(jù)相加后除以數(shù)據(jù)的個數(shù)得到的結(jié)果，它的計算公式有多種，如簡單平均數(shù)、加權(quán)平均數(shù)、幾何平均數(shù)。主要是用于反映一組數(shù)值型數(shù)據(jù)的集中趨勢，且易受極端值影響。

2. 離散程度度量

(1) 分類數(shù)據(jù)：異眾比率

異眾比率是指非眾數(shù)組的頻數(shù)占總頻數(shù)的比例，它主要用于衡量眾數(shù)對一組數(shù)據(jù)的代表程度。其值越大，眾數(shù)的代表性越差；值越小，眾數(shù)代表性越好。

(2) 順序數(shù)據(jù)：四分位差

四分位差是上四分位數(shù)與下四分位數(shù)之差。它反映了中間50%數(shù)據(jù)的離散程度，其數(shù)值越小說明數(shù)據(jù)越集中，數(shù)值越大說明數(shù)據(jù)越發(fā)散。

(3) 數(shù)值型數(shù)據(jù)：方差和標準差

方差是各變量值與其均值離差平方的平均數(shù)。方差的平方根成為標準差。它們是實際中應用最廣的數(shù)值型數(shù)據(jù)離散程度測度值。其值越大，說明數(shù)據(jù)越分散。此外，還有極差、平均差等可以對離散程度進行測度。

此外，還有極差，平均差等統(tǒng)計量有時也可以反映數(shù)值型數(shù)據(jù)的離散程度，不過極差描述的效果不太好，而平均差則不方便計算，故不常用。

注：數(shù)值型數(shù)據(jù)的相對位置度量用標準分數(shù)（sc）如z=-1.5，則表示該數(shù)值低于平均數(shù)的1.5倍標準差，標準分數(shù)公式如下：

3. 分布形狀度量：偏態(tài)系數(shù)、峰態(tài)系數(shù)

(1) 偏態(tài)系數(shù)是對數(shù)據(jù)分布對稱性的測度，當分布對稱時，其值為0；分布左偏時，其值為負；分布右偏時，其值為正。

(2) 峰態(tài)系數(shù)是對數(shù)據(jù)分布平峰或尖峰程度的測度，它是通過與標準正態(tài)分布的峰態(tài)系數(shù)進行比較來實現(xiàn)的，當分布為正態(tài)時，其值為0；分布為尖峰時，其值為正；分布為平峰時，其值為負。

4. 相對離散程度：離散（變異）系數(shù)

離散系數(shù)是一組數(shù)據(jù)的標準差與其相應的平均數(shù)之比，其計算公式為：

它主要用來比較不同樣本之間的離散程度。離散系數(shù)越大，說明數(shù)據(jù)的離散程度越大；離散系數(shù)越小，則說明數(shù)據(jù)的離散程度越小。