異常值檢測一般要求新發(fā)現(xiàn)的數(shù)據(jù)是否與現(xiàn)有觀測數(shù)據(jù)具有相同的分布或者不同的分布，相同的分布可以稱之為內(nèi)點(diǎn)（inlier），具有不同分布的點(diǎn)可以稱之為離群值。離群點(diǎn)和新奇點(diǎn)檢測是不同的，有一個重要的區(qū)分必須掌握：

離群點(diǎn)檢測:訓(xùn)練數(shù)據(jù)包含離群點(diǎn),這些離群點(diǎn)被定義為遠(yuǎn)離其它內(nèi)點(diǎn)的觀察值。因此，離群點(diǎn)檢測估計(jì)器會嘗試擬合出訓(xùn)練數(shù)據(jù)中內(nèi)圍點(diǎn)聚集的區(qū)域, 而忽略異常值觀察。

新奇點(diǎn)檢測:訓(xùn)練數(shù)據(jù)沒有受到離群點(diǎn)污染，我們感興趣的是檢測一個新的觀測值是否為離群點(diǎn)。在這種情況下，離群點(diǎn)被認(rèn)為是新奇點(diǎn)。

離群點(diǎn)檢測和新奇點(diǎn)檢測都用于異常檢測, 其中一項(xiàng)感興趣的是檢測異?；虍惓Ｓ^察。離群點(diǎn)檢測又被稱之為無監(jiān)督異常檢測，新奇點(diǎn)檢測又被稱之為半監(jiān)督異常檢測。 在離群點(diǎn)檢測的背景下, 離群點(diǎn)/異常點(diǎn)不能夠形成密集的簇，因?yàn)榭捎玫墓烙?jì)器假設(shè)離群點(diǎn)/異常點(diǎn)位于低密度區(qū)域。相反的，在新奇點(diǎn)檢測的背景下， 新奇點(diǎn)/異常點(diǎn)只要位于訓(xùn)練數(shù)據(jù)的低密度區(qū)域，是可以形成稠密聚類簇的，在此背景下被認(rèn)為是正常的。

scikit-learn有一套機(jī)器學(xué)習(xí)工具estimator.fit(X_train)，可用于新奇點(diǎn)或離群值檢測。然后可以使用estimator.predict(X_test)方法將新觀察值分類為離群點(diǎn)或內(nèi)點(diǎn) ：內(nèi)圍點(diǎn)會被標(biāo)記為1，而離群點(diǎn)標(biāo)記為-1。

離群點(diǎn)檢測方法總結(jié)

下面的例子展示了二維數(shù)據(jù)集上不同異常檢測算法的特點(diǎn)。數(shù)據(jù)集包含一種或兩種模式(高密度區(qū)域)，以說明算法處理多模式數(shù)據(jù)的能力。

對于每個數(shù)據(jù)集，產(chǎn)生15%的樣本作為隨機(jī)均勻噪聲。這個比例是給予OneClassSVM的nu參數(shù)和其他離群點(diǎn)檢測算法的污染參數(shù)的值。由于局部離群因子(LOF)用于離群值檢測時沒有對新數(shù)據(jù)應(yīng)用的預(yù)測方法，因此除了局部離群值因子(LOF)外，inliers和離群值之間的決策邊界以黑色顯示。

sklearn.svm。一個已知的eclasssvm對異常值很敏感，因此在異常值檢測方面表現(xiàn)不太好。該估計(jì)器最適合在訓(xùn)練集沒有異常值的情況下進(jìn)行新穎性檢測。也就是說，在高維的離群點(diǎn)檢測，或者在不對嵌入數(shù)據(jù)的分布做任何假設(shè)的情況下，一個類支持向量機(jī)可能在這些情況下給出有用的結(jié)果，這取決于它的超參數(shù)的值。

sklearn.covariance。橢圓包絡(luò)假設(shè)數(shù)據(jù)是高斯分布，并學(xué)習(xí)一個橢圓。因此，當(dāng)數(shù)據(jù)不是單峰時，它就會退化。但是請注意，這個估計(jì)器對異常值是穩(wěn)健的。

sklearn.ensemble。IsolationForest sklearn.neighbors。LocalOutlierFactor對于多模態(tài)數(shù)據(jù)集似乎表現(xiàn)得相當(dāng)好。sklearn的優(yōu)勢。第三個數(shù)據(jù)集的局部離群因子超過其他估計(jì)顯示，其中兩種模式有不同的密度。這種優(yōu)勢是由LOF的局域性來解釋的，即它只比較一個樣本的異常分?jǐn)?shù)與其相鄰樣本的異常分?jǐn)?shù)。

最后，對于最后一個數(shù)據(jù)集，很難說一個樣本比另一個樣本更反常，因?yàn)樗鼈兪蔷鶆蚍植荚诔⒎襟w中。除了sklearn。svm。有一點(diǎn)過度擬合的支持向量機(jī)，所有的估計(jì)器都對這種情況給出了合適的解決方案。在這種情況下，明智的做法是更密切地觀察樣本的異常分?jǐn)?shù)，因?yàn)橐粋€好的估計(jì)器應(yīng)該給所有樣本分配相似的分?jǐn)?shù)。

雖然這些例子給出了一些關(guān)于算法的直覺，但這種直覺可能不適用于非常高維的數(shù)據(jù)。

最后，請注意，模型的參數(shù)在這里是精心挑選的，但在實(shí)踐中需要進(jìn)行調(diào)整。在沒有標(biāo)記數(shù)據(jù)的情況下，這個問題是完全無監(jiān)督的，因此模型的選擇是一個挑戰(zhàn)。

# Author: Alexandre Gramfort <alexandre.gramfort@inria.fr>
#         Albert Thomas <albert.thomas@telecom-paristech.fr>
# License: BSD 3 clause

import time

import numpy as np
import matplotlib
import matplotlib.pyplot as plt

from sklearn import svm
from sklearn.datasets import make_moons, make_blobs
from sklearn.covariance import EllipticEnvelope
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor

print(__doc__)

matplotlib.rcParams['contour.negative_linestyle'] = 'solid'

# Example settings
n_samples = 300
outliers_fraction = 0.15
n_outliers = int(outliers_fraction * n_samples)
n_inliers = n_samples - n_outliers

# define outlier/anomaly detection methods to be compared
anomaly_algorithms = [
    ("Robust covariance", EllipticEnvelope(contamination=outliers_fraction)),
    ("One-Class SVM", svm.OneClassSVM(nu=outliers_fraction, kernel="rbf",
                                      gamma=0.1)),
    ("Isolation Forest", IsolationForest(contamination=outliers_fraction,
                                         random_state=42)),
    ("Local Outlier Factor", LocalOutlierFactor(
        n_neighbors=35, contamination=outliers_fraction))]

# Define datasets
blobs_params = dict(random_state=0, n_samples=n_inliers, n_features=2)
datasets = [
    make_blobs(centers=[[0, 0], [0, 0]], cluster_std=0.5,
               **blobs_params)[0],
    make_blobs(centers=[[2, 2], [-2, -2]], cluster_std=[0.5, 0.5],
               **blobs_params)[0],
    make_blobs(centers=[[2, 2], [-2, -2]], cluster_std=[1.5, .3],
               **blobs_params)[0],
    4. * (make_moons(n_samples=n_samples, noise=.05, random_state=0)[0] -
          np.array([0.5, 0.25])),
    14. * (np.random.RandomState(42).rand(n_samples, 2) - 0.5)]

# Compare given classifiers under given settings
xx, yy = np.meshgrid(np.linspace(-7, 7, 150),
                     np.linspace(-7, 7, 150))

plt.figure(figsize=(len(anomaly_algorithms) * 2 + 3, 12.5))
plt.subplots_adjust(left=.02, right=.98, bottom=.001, top=.96, wspace=.05,
                    hspace=.01)

plot_num = 1
rng = np.random.RandomState(42)

for i_dataset, X in enumerate(datasets):
    # Add outliers
    X = np.concatenate([X, rng.uniform(low=-6, high=6,
                       size=(n_outliers, 2))], axis=0)

    for name, algorithm in anomaly_algorithms:
        t0 = time.time()
        algorithm.fit(X)
        t1 = time.time()
        plt.subplot(len(datasets), len(anomaly_algorithms), plot_num)
        if i_dataset == 0:
            plt.title(name, size=18)

        # fit the data and tag outliers
        if name == "Local Outlier Factor":
            y_pred = algorithm.fit_predict(X)
        else:
            y_pred = algorithm.fit(X).predict(X)

        # plot the levels lines and the points
        if name != "Local Outlier Factor":  # LOF does not implement predict
            Z = algorithm.predict(np.c_[xx.ravel(), yy.ravel()])
            Z = Z.reshape(xx.shape)
            plt.contour(xx, yy, Z, levels=[0], linewidths=2, colors='black')

        colors = np.array(['#377eb8', '#ff7f00'])
        plt.scatter(X[:, 0], X[:, 1], s=10, color=colors[(y_pred + 1) // 2])

        plt.xlim(-7, 7)
        plt.ylim(-7, 7)
        plt.xticks(())
        plt.yticks(())
        plt.text(.99, .01, ('%.2fs' % (t1 - t0)).lstrip('0'),
                 transform=plt.gca().transAxes, size=15,
                 horizontalalignment='right')
        plot_num += 1

plt.show()