Python中尋找數(shù)據(jù)異常值的3種方法

第Python中尋找數(shù)據(jù)異常值的3種方法目錄1.引言2.舉個栗子3.孤立森林4.橢圓模型擬合5.局部異常因子算法6.挑選異常值檢測方法7.異常值消除8.總結(jié)

1.引言

在數(shù)據(jù)處理、機器學(xué)習等領(lǐng)域，我們經(jīng)常需要對各式各樣的數(shù)據(jù)進行處理，本文重點介紹三種非常簡單的方法來檢測數(shù)據(jù)集中的異常值。

2.舉個栗子

為了方便介紹，這里給出我們的測試數(shù)據(jù)集，如下：

data=pd.DataFrame([

[87,82,85],

[81,89,75],

[86,87,69],

[91,79,86],

[88,89,82],

[0,0,0],#thisguymissedtheexam

[100,100,100],

],columns=["math","science","english"])

圖示如下：

假設(shè)這里我們有一堆學(xué)生的三門科目的考試成績英語、數(shù)學(xué)和科學(xué)。這些學(xué)生通常表現(xiàn)很好，但其中一人錯過了所有考試，三門科目都得了0分。在我們的分析中包括這個家伙可能會把事情搞砸，所以我們需要將他視為異常。

3.孤立森林

使用孤立森林算法來求解上述異常值分析非常簡單，代碼如下：

fromsklearn.ensembleimportIsolationForest

predictions=IsolationForest().fit(data).predict(data)

#predictions=array([1,1,1,1,1,-1,-1])

這里預(yù)測值針對每一行進行預(yù)測，預(yù)測結(jié)果為1或者-1；其中1表示該行不是異常值，而-1表示該行是異常值。在上述例子中，我們的孤立森林算法將數(shù)據(jù)中的最后2行都預(yù)測為異常值。

4.橢圓模型擬合

使用孤橢圓模型擬合算法來求解上述異常值同樣非常方便，代碼如下：

fromsklearn.covarianceimportEllipticEnvelope

predictions=EllipticEnvelope().fit(data).predict(data)

#predictions=array([1,1,1,1,1,-1,1])

在上述代碼中，我們使用了另外一種異常值檢測算法來代替孤立森林算法，但是代碼保持不變。相似地，在預(yù)測值中，1表示非異常值，-1表示異常值。在上述情況下，我們的橢圓模型擬合算法只將倒數(shù)第二個學(xué)生作為異常值，即所有成績都為零的考生。

5.局部異常因子算法

類似地，我們可以非常方便地使用局部異常因子算法來對上述數(shù)據(jù)進行分析，樣例代碼如下：

fromsklearn.neighborsimportLocalOutlierFactor

predictions=LocalOutlierFactor(n_neighbors=5,novelty=True).fit(data).predict(data)

#array([1,1,1,1,1,-1,1])

局部異常因子算法是sklearn上可用的另一種異常檢測算法，我們可以簡單地在這里隨插隨用。同樣地，這里該算法僅將最后第二個數(shù)據(jù)行預(yù)測為異常值。

6.挑選異常值檢測方法

那么，我們?nèi)绾螞Q定哪種異常檢測算法更好呢？簡而言之，沒有最佳的異常值檢測算法我們可以將它們視為做相同事情的不同方式（并獲得略有不同的結(jié)果）

7.異常值消除

在我們從上述三種異常檢測算法中的任何一種獲得異常預(yù)測后，我們現(xiàn)在可以執(zhí)行異常值的刪除。這里我們只需保留異常預(yù)測為1的所有數(shù)據(jù)行，

代碼如下：

#predictions=array([1,1,1,1,1,-1,1])

data2=data[prediction