作者 | CDA數(shù)據(jù)分析師

來源 | CDA數(shù)據(jù)科學(xué)研究院

從事數(shù)據(jù)分析工作，統(tǒng)計(jì)基礎(chǔ)不可或缺。今天小編就來給大家好好梳理一下關(guān)于一名合格數(shù)據(jù)分析師所要掌握的統(tǒng)計(jì)基礎(chǔ)都有哪些，旨在為大家查缺補(bǔ)漏，讓大家的數(shù)據(jù)分析之路走得更扎實(shí)穩(wěn)靠。

統(tǒng)計(jì)的基本任務(wù)是對(duì)經(jīng)濟(jì)社會(huì)發(fā)展情況進(jìn)行統(tǒng)計(jì)調(diào)查、統(tǒng)計(jì)分析，提供統(tǒng)計(jì)資料和統(tǒng)計(jì)咨詢意見、實(shí)行統(tǒng)計(jì)監(jiān)督。統(tǒng)計(jì)的信息、咨詢和監(jiān)督三大職能，是相互作用、相互促進(jìn)、相輔相成和密切聯(lián)系的。信息職能是統(tǒng)計(jì)最基本的職能，是保證咨詢和監(jiān)督職能得以有效發(fā)揮的前提。咨詢和監(jiān)督職能是在信息職能基礎(chǔ)上的拓展和深化，是在充分發(fā)揮信息資源作用的基礎(chǔ)上，對(duì)統(tǒng)計(jì)整體效能的提高。

按照所采用的計(jì)量尺度的不同，可以將統(tǒng)計(jì)數(shù)據(jù)分為分類數(shù)據(jù)、順序數(shù)據(jù)和數(shù)值型數(shù)據(jù)。

分類數(shù)據(jù)是只能歸于某一類別的非數(shù)字型數(shù)據(jù)，它是對(duì)事物進(jìn)行分類的結(jié)果，數(shù)據(jù)表現(xiàn)為類別，是用文字來表述的。

順序數(shù)據(jù)是只能歸于某一有序類別的非數(shù)字型數(shù)據(jù)。順序數(shù)據(jù)雖然也是類別，但這些類別是有序的。

數(shù)值型數(shù)據(jù)是按數(shù)字尺度測(cè)量的觀測(cè)值，其結(jié)果表現(xiàn)為具體的數(shù)值。現(xiàn)實(shí)中所處理的大多數(shù)數(shù)據(jù)都是數(shù)值型數(shù)據(jù)。

分類數(shù)據(jù)和順序數(shù)據(jù)說明的是事物的品質(zhì)特征，通常是用文字來表述的，其結(jié)果均表現(xiàn)為類別，因而也可統(tǒng)稱為定性數(shù)據(jù)或稱品質(zhì)數(shù)據(jù)；數(shù)值型數(shù)據(jù)說明的是現(xiàn)象的數(shù)量特征，通常是用數(shù)值來表現(xiàn)的，因此也可以稱為定量數(shù)據(jù)或數(shù)量數(shù)據(jù)。

本文主要介紹了一名合格的數(shù)據(jù)分析師所應(yīng)具備的統(tǒng)計(jì)基礎(chǔ)——統(tǒng)計(jì)描述。數(shù)據(jù)分析的前提就是要學(xué)會(huì)觀察數(shù)據(jù)，了解數(shù)據(jù)，統(tǒng)計(jì)描述包括對(duì)數(shù)據(jù)的圖表描述和統(tǒng)計(jì)量描述，它能讓我們對(duì)數(shù)據(jù)有一個(gè)直觀的認(rèn)識(shí)，比如數(shù)據(jù)是否完整、是否存在異常、服從什么分布、存在什么規(guī)律等，為數(shù)據(jù)預(yù)處理和數(shù)據(jù)分析做準(zhǔn)備。

內(nèi)容框架

一． 圖表描述

1. 分類數(shù)據(jù)描述

（1） 頻數(shù)分布表——單變量分布表

主要用于計(jì)數(shù)和匯總一個(gè)分類變量的數(shù)據(jù)，通過它可以使頻數(shù)、比例等一目了然，從而為進(jìn)一步分析做準(zhǔn)備。

（2） 頻數(shù)分布表——雙變量列聯(lián)表

主要用于計(jì)數(shù)和匯總兩個(gè)分類變量的數(shù)據(jù)，通過它可以使兩個(gè)變量交叉分類的頻數(shù)、比例等一目了然，從而為進(jìn)一步分析做準(zhǔn)備。

（3） 條形圖

它可以用來展示各類別的絕對(duì)值和數(shù)據(jù)的分布特征。它通過相同寬度條形的長(zhǎng)短來表示各類別的數(shù)值大小。

（4） 帕累托圖

它可以用來比較各類別的頻數(shù)大小。它是按各類別數(shù)據(jù)出現(xiàn)的頻數(shù)多少排序后繪制的條形圖，通過對(duì)條形圖的排序，容易看出哪類數(shù)據(jù)出現(xiàn)得多，哪類數(shù)據(jù)出現(xiàn)的少。

（5） 餅圖

它可以用來展示一個(gè)樣本的結(jié)構(gòu)。它通過一個(gè)圓來表示總的數(shù)值大小，用圓內(nèi)各扇形的角度來表示各類別的數(shù)值大小。

（6） 環(huán)形圖

它可以顯示多個(gè)樣本各部分所占的相應(yīng)比例，從而用來比較多個(gè)樣本的結(jié)構(gòu)。它是把餅圖疊在一起，挖去中間的部分；圖中每一個(gè)環(huán)都表示一個(gè)樣本，樣本中的每一部分?jǐn)?shù)據(jù)則用環(huán)中的一段表示。

2. 順序數(shù)據(jù)描述

（1） 頻數(shù)分布表——累計(jì)頻數(shù)分布表

主要用于計(jì)數(shù)和匯總順序變量的數(shù)據(jù)，通過它可以使頻數(shù)、比例、累積頻數(shù)、累積頻率等一目了然，從而為進(jìn)一步分析做準(zhǔn)備。

（2） 累計(jì)頻數(shù)分布圖

主要是用于展示順序變量的累積頻數(shù)分布情況。它是將各類別按級(jí)別大小進(jìn)行升序或降序排列在橫坐標(biāo)上，用縱坐標(biāo)表示各類別的頻率，然后用折線繪制出累積頻率。

3. 數(shù)值型數(shù)據(jù)描述

（1） 頻數(shù)分布表——分組表

主要是用于計(jì)數(shù)和匯總數(shù)值型分組數(shù)據(jù)。通過它可以使分組后的頻數(shù)、比例等一目了然，從而為進(jìn)一步分析做準(zhǔn)備。

用于展示數(shù)據(jù)分布特征的圖形主要有以下幾種：

（2） 直方圖

它可以用來展示分組數(shù)據(jù)的分布特征。它用矩形的面積來表示頻數(shù)分布，在矩形的高度表示每一組的頻數(shù)或頻率，寬度則表示各組的組距。

直方圖與條形圖的區(qū)別與聯(lián)系：

區(qū)別：條形圖主要用來展示分類數(shù)據(jù)，其高度表示各類別頻數(shù)的多少，其寬度是固定的；直方圖則主要是用于展示數(shù)值型分組數(shù)據(jù)，是用面積表示頻數(shù)分布，矩形的高度表示每一組的頻數(shù)或頻率，寬度則表示各組的組距，因此其高度和寬度均有意義。且由于分組數(shù)據(jù)具有連續(xù)性，直方圖的各矩形通常是連續(xù)排列的，而條形圖則是分開排列的。

聯(lián)系：二者都用來展示數(shù)據(jù)的分布情況；在平面直角坐標(biāo)系中，二者的橫軸都表示分組，縱軸都可表示頻數(shù)或頻率大小。

（3） 莖葉圖

它不僅可以用來反映數(shù)據(jù)的分布特征，還可以保留原始數(shù)據(jù)的信息，更適用于觀察少量數(shù)據(jù)的分布。它由“莖”和“葉”兩部分構(gòu)成。繪制時(shí)，首先將一個(gè)數(shù)值分成兩部分，通常是以該數(shù)據(jù)的高位數(shù)值作為樹莖，而葉上只保留該數(shù)值的最后一個(gè)數(shù)字。

（4） 箱線圖

它不僅可以用來反映原始數(shù)據(jù)的分布特征，還可以進(jìn)行多組數(shù)據(jù)分布特征的比較。繪制時(shí)，先找出數(shù)據(jù)的最大值、最小值、中位數(shù)和兩個(gè)四分位數(shù)；然后連接兩個(gè)四分位數(shù)畫出箱子；再將最大值和最小值與箱子相連，中位數(shù)在箱子中間。箱線圖還可用來尋找離群點(diǎn)，從而來處理數(shù)據(jù)的異常值。

用于展示時(shí)間序列的圖形：

（5） 線圖

它可以用于展示時(shí)間序列數(shù)據(jù)，反映現(xiàn)象隨時(shí)間變化的特征。繪制時(shí)，時(shí)間一般繪在橫軸，觀測(cè)值繪在縱軸。一般情況下，橫軸應(yīng)長(zhǎng)于縱軸，縱軸數(shù)據(jù)下端應(yīng)從“0”開始（若起始數(shù)據(jù)與“0”相差大，可采用折斷符號(hào)），以便于比較。

用于展示變量之間的關(guān)系的圖形主要有以下幾種：

（6） 散點(diǎn)圖（兩個(gè)數(shù)值型變量）

它可以用來展示兩個(gè)數(shù)值型變量之間的關(guān)系，一個(gè)變量在橫軸，一個(gè)變量在縱軸，通過觀察散點(diǎn)的趨勢(shì)判斷兩變量的相關(guān)性。

（7）氣泡圖（三個(gè)數(shù)值型變量）

它可以用來展示三個(gè)數(shù)值型變量之間的關(guān)系。第一個(gè)變量用橫軸表示，第二個(gè)變量用縱軸表示，第三個(gè)變量用氣泡的大小表示。

（8）矩陣散點(diǎn)圖（兩個(gè)以上數(shù)值型變量）

它可以用來同時(shí)比較多個(gè)變量?jī)蓛芍g的關(guān)系。

（9）雷達(dá)圖（兩個(gè)以上數(shù)值型變量）

它是從一點(diǎn)出發(fā)，用每一條射線代表一個(gè)變量，多個(gè)變量的數(shù)據(jù)的連成線就圍成了一個(gè)區(qū)域，多個(gè)樣本就能繪制多個(gè)區(qū)域 ，從而方便研究各樣本間的相似程度。

（10）輪廓圖（兩個(gè)以上數(shù)值型變量）

它是用橫軸表示各樣本，縱軸表示每個(gè)樣本的多個(gè)變量的取值，將不同樣本同一個(gè)變量的取值用折線連接，從而便于分析各個(gè)樣本之間的相似程度。

二． 統(tǒng)計(jì)量描述

1. 集中趨勢(shì)度量

(1) 分類數(shù)據(jù)：眾數(shù)

眾數(shù)是一組數(shù)據(jù)中出現(xiàn)次數(shù)最多的變量值，常用于反映一組分類數(shù)據(jù)的集中趨勢(shì)，且不受極端值影響。

(2) 順序數(shù)據(jù)：中位數(shù)、四分位數(shù)

中位數(shù)是一組數(shù)據(jù)排序后處于中間位置的變量值。四分位數(shù)是一組數(shù)據(jù)排序后處于25%和75%位置上的值。它們常用于反映一組順序數(shù)據(jù)的集中趨勢(shì)，且不受極端值影響。

(3) 數(shù)值型數(shù)據(jù)：平均數(shù)

平均數(shù)是一組數(shù)據(jù)相加后除以數(shù)據(jù)的個(gè)數(shù)得到的結(jié)果，它的計(jì)算公式有多種，如簡(jiǎn)單平均數(shù)、加權(quán)平均數(shù)、幾何平均數(shù)。主要是用于反映一組數(shù)值型數(shù)據(jù)的集中趨勢(shì)，且易受極端值影響。

2. 離散程度度量

(1) 分類數(shù)據(jù)：異眾比率

異眾比率是指非眾數(shù)組的頻數(shù)占總頻數(shù)的比例，它主要用于衡量眾數(shù)對(duì)一組數(shù)據(jù)的代表程度。其值越大，眾數(shù)的代表性越差；值越小，眾數(shù)代表性越好。

(2) 順序數(shù)據(jù)：四分位差

四分位差是上四分位數(shù)與下四分位數(shù)之差。它反映了中間50%數(shù)據(jù)的離散程度，其數(shù)值越小說明數(shù)據(jù)越集中，數(shù)值越大說明數(shù)據(jù)越發(fā)散。

(3) 數(shù)值型數(shù)據(jù)：方差和標(biāo)準(zhǔn)差

方差是各變量值與其均值離差平方的平均數(shù)。方差的平方根成為標(biāo)準(zhǔn)差。它們是實(shí)際中應(yīng)用最廣的數(shù)值型數(shù)據(jù)離散程度測(cè)度值。其值越大，說明數(shù)據(jù)越分散。此外，還有極差、平均差等可以對(duì)離散程度進(jìn)行測(cè)度。

此外，還有極差，平均差等統(tǒng)計(jì)量有時(shí)也可以反映數(shù)值型數(shù)據(jù)的離散程度，不過極差描述的效果不太好，而平均差則不方便計(jì)算，故不常用。

注：數(shù)值型數(shù)據(jù)的相對(duì)位置度量用標(biāo)準(zhǔn)分?jǐn)?shù)（sc）如z=-1.5，則表示該數(shù)值低于平均數(shù)的1.5倍標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)分?jǐn)?shù)公式如下：

3. 分布形狀度量：偏態(tài)系數(shù)、峰態(tài)系數(shù)

(1) 偏態(tài)系數(shù)是對(duì)數(shù)據(jù)分布對(duì)稱性的測(cè)度，當(dāng)分布對(duì)稱時(shí)，其值為0；分布左偏時(shí)，其值為負(fù)；分布右偏時(shí)，其值為正。

(2) 峰態(tài)系數(shù)是對(duì)數(shù)據(jù)分布平峰或尖峰程度的測(cè)度，它是通過與標(biāo)準(zhǔn)正態(tài)分布的峰態(tài)系數(shù)進(jìn)行比較來實(shí)現(xiàn)的，當(dāng)分布為正態(tài)時(shí)，其值為0；分布為尖峰時(shí)，其值為正；分布為平峰時(shí)，其值為負(fù)。

4. 相對(duì)離散程度：離散（變異）系數(shù)

離散系數(shù)是一組數(shù)據(jù)的標(biāo)準(zhǔn)差與其相應(yīng)的平均數(shù)之比，其計(jì)算公式為：

它主要用來比較不同樣本之間的離散程度。離散系數(shù)越大，說明數(shù)據(jù)的離散程度越大；離散系數(shù)越小，則說明數(shù)據(jù)的離散程度越小。