R異常值檢測

正常值 vs.異常值

異常值的定義是：和大多數(shù)樣本表現(xiàn)不一致的個體。

數(shù)據(jù)噪聲：就好比當你收聽一個信號不好的無線廣播時，你會聽到許多背景噪聲。

圖中橙色區(qū)域的數(shù)據(jù)圍繞某個值上下波動并且沒有表現(xiàn)出確定的趨勢，我們稱之為白噪聲數(shù)據(jù)。

圖中紅圈中的數(shù)據(jù)是噪聲數(shù)據(jù)嗎?抑或是某種未發(fā)現(xiàn)趨勢的峰值呢?

一個好的算法可以檢測出異常值并將其剔除掉，AnomalyDetection包種的AnomalyDetectionTs函數(shù)可以很好地實現(xiàn)這個功能。

異常值檢測實例

本文案例采用的是維基百科的數(shù)據(jù)，我們可以利用R通過API接口下載某個特定詞項每日瀏覽量的數(shù)據(jù)。

本文的研究數(shù)據(jù)是：英文詞語fifa從2013-02-22至今每日瀏覽量的數(shù)據(jù)。

應用上文提到的算法，我們可以繪制出原始的時間序列圖并標注出異常值的位置。算法解析

算法中的參數(shù)max_anoms=0.01表示在最終結果中標注出0.01%的異常值;而參數(shù)direction=”pos”則表示檢測高于平均水平的異常值。

如下表所示，該算法不僅可以檢測出異常值，還會返回對應的平均水平值。

如果你想了解更多的關于該算法的數(shù)學原理，你可以搜索Generalized ESD和時間序列分解。

發(fā)現(xiàn)異常情況

上圖中黑色直線表示該時期內的瀏覽量呈遞減趨勢。有趣的是，位于直線上方用黑圈標注出來的兩個點并沒有被判定為異常值，這是因為該異常值檢測算法主要關注的是趨勢變化時的情況。黑圈中的點還是處于下降趨勢中，所以沒有被判定為異常值。相反地，2014-07-12的瀏覽量突然上升，突破前期的下降趨勢，因此該點被判定為異常值。

新聞核實

詞語fifa瀏覽量的異常值與國際足聯(lián)的新聞消息息息相關，第一組異常值出現(xiàn)在2014年世界杯期間(2014年6 – 7月)，而第二組異常值出現(xiàn)在國際足聯(lián)丑聞事件期間(2015年5月)。

洛杉磯時報中展示了國際足聯(lián)丑聞事件進展的時間表，正如我們算法所檢測出的異常值，該丑聞事件有兩個重要的時間點：5月27日和28日。

附錄(R Code)

install.packages(“devtools”)

devtools::install_github(“petermeissner/wikipediatrend”)

devtools::install_github(“twitter/AnomalyDetection”)

install.packages(“Rcpp”)

library(wikipediatrend) ## Library containing API wikipedia access

library(AnomalyDetection)

library(ggplot2)

Download wiki webpage “fifa”

fifa_data = wp_trend(“fifa”, from=”2013-03-18”, lang = “en”)

Plotting data

ggplot(fifa_data, aes(x=date, y=count, color=count)) + geom_line()

Convert date variable

fifa_data<img alt=”date=as.POSIXct(fift_data”data-cke-saved-src=”https://chart.googleapis.com/chart?cht=tx&chl=date%20%3D%20as.POSIXct(fifa_data”>date)

Keep only desiered variables (date & page views)

fifa_data=fifa_data[,c(1,2)]

Apply anomaly detection

data_anomaly = AnomalyDetectionTs(fifa_data, max_anoms=0.01, direction=”pos”, plot=TRUE, e_value = T)

jpeg(“03_fifa_wikipedia_term_page_views_anomaly_detection.jpg”, width= 8.25, height= 5.25, units=”in”, res=500, pointsize = 4)

Plot original data + anomalies points

data_anomaly$plot

dev.off()

Calculate deviation percentage from the expected value

data_anomalyperc_diff=round(100*(data_anomalyexpected_value-data_anomalyanoms)/data_anomalyexpected_value)

Plot anomalies table

anomaly_table=data_anomaly$anoms