海量數(shù)據(jù)對比分析，技術(shù)面試?yán)锏哪切╅T道

最近有很多用戶說到了年終需要回顧這一年的工作，根據(jù)這一年的數(shù)據(jù)看看有沒有異常的情況，那么哪種圖能夠清晰直觀地展現(xiàn)出這一信息呢？

答案只有一個，那就是…

箱形圖

箱形圖（英文：Box plot），又稱為盒須圖、盒式圖、盒狀圖或箱線圖，是一種用作顯示一組數(shù)據(jù)分散情況資料的統(tǒng)計圖。因型狀如箱子而得名。在各種領(lǐng)域也經(jīng)常被使用，常見于品質(zhì)管理，快速識別異常值。

箱形圖最大的優(yōu)點(diǎn)就是不受異常值的影響，能夠準(zhǔn)確穩(wěn)定地描繪出數(shù)據(jù)的離散分布情況，同時也利于數(shù)據(jù)的清洗。

想要搞懂箱形圖，那么一定要了解…

五大因“數(shù)”

我們一組序列數(shù)為例：12，15，17，19，20，23，25，28，30，33，34，35，36，37講解這五大因“數(shù)”

（1）確定四分位數(shù)的位置。Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的項數(shù)。

（2）根據(jù)位置，計算相應(yīng)的四分位數(shù)。

例中：

Q1所在的位置=（14+1）/4=3.75，

Q1=0.25×第三項+0.75×第四項=0.25×17+0.75×19=18.5；

2、中位數(shù)（第二個四分位數(shù)）Q2

中位數(shù)，即一組數(shù)由小到大排列處于中間位置的數(shù)。若序列數(shù)為偶數(shù)個，該組的中位數(shù)為中間兩個數(shù)的平均數(shù)。

例中：

Q2所在的位置=2（14+1）/4=7.5，

Q2=0.5×第七項+0.5×第八項=0.5×25+0.5×28=26.5

3、上四分位數(shù)Q3

計算方法同下四分位數(shù)。

例中：

Q3所在的位置=3（14+1）/4=11.25，

Q3=0.75×第十一項+0.25×第十二項=0.75×34+0.25×35=34.25。

4、上限

上限是非異常范圍內(nèi)的最大值。

首先要知道什么是四分位距如何計算的？

四分位距IQR=Q3-Q1，那么上限=Q3+1.5IQR

5、下限

下限是非異常范圍內(nèi)的最小值。

下限=Q1-1.5IQR

講了這么多的“數(shù)學(xué)知識”，那么箱形圖到底如何通過BDP應(yīng)用到實際的工作呢？我們還是用一個實例來幫助大家理解。

現(xiàn)在有“2017年各季度各地區(qū)分公司銷售業(yè)績”工作表，我們想要找出各季度哪些分公司業(yè)績屬于不正常范圍內(nèi)。

數(shù)據(jù)示例如下圖：

BDP箱形圖結(jié)果：

從上圖可以清晰的找出異常點(diǎn)，例如第二季度北京分公司的銷售額為22147元，該值比上限10759元還要大，所以定義為異常值。

箱形圖的價值

1.直觀明了地識別數(shù)據(jù)批中的異常值

上文講了很久的識別異常值，其實箱線圖判斷異常值的標(biāo)準(zhǔn)以四分位數(shù)和四分位距為基礎(chǔ)，四分位數(shù)具有一定的耐抗性，多達(dá)25%的數(shù)據(jù)可以變得任意遠(yuǎn)而不會很大地擾動四分位數(shù)，所以異常值不會影響箱形圖的數(shù)據(jù)形狀，箱線圖識別異常值的結(jié)果比較客觀。由此可見，箱線圖在識別異常值方面有一定的優(yōu)越性。

2.利用箱線圖判斷數(shù)據(jù)批的偏態(tài)和尾重

對于標(biāo)準(zhǔn)正態(tài)分布的樣本，只有極少值為異常值。異常值越多說明尾部越重，自由度越?。醋杂勺儎拥牧康膫€數(shù)）；

而偏態(tài)表示偏離程度，異常值集中在較小值一側(cè)，則分布呈左偏態(tài)；異常值集中在較大值一側(cè)，則分布呈右偏態(tài)。

3.利用箱線圖比較幾批數(shù)據(jù)的形狀

同一數(shù)軸上，幾批數(shù)據(jù)的箱線圖并行排列，幾批數(shù)據(jù)的中位數(shù)、尾長、異常值、分布區(qū)間等形狀信息便昭然若揭。如上圖，可直觀得看出第三季度各分公司的銷售額大體都在下降。

但箱形圖也有他的局限性，比如：不能精確地衡量數(shù)據(jù)分布的偏態(tài)和尾重程度；對于批量比較大的數(shù)據(jù)，反映的信息更加模糊以及用中位數(shù)代表總體評價水平有一定的局限性。