什么是离群值？如何检测？

基础概念

什么是离群值？

Outliers（离群值），也称逸出值，是指在数据集中显著偏离其他数据点的值。这些值与大多数观测值之间存在明显的差异，可能是由于异常情况、测量错误、数据输入错误或真实的罕见现象导致的。

特征：

1. 数值偏离： 与其他数据点相比，数值异常大或异常小。
2. 分布偏差： 数据分布上表现为长尾或极端值。
3. 影响分析： 离群值可能会显著影响均值、标准差、回归分析等统计模型的结果。

异常值和离群值有差异吗？

异常值和离群值虽然常常互换使用，但在统计学和数据分析中有细微差异：

1. 异常值 (Outlier)

   • 定义：明显偏离数据集中的大部分样本点的数据值。
   • 特征：可能是由数据采集错误、录入错误或罕见事件导致的。
   • 处理方式：常被视为错误数据，需要修正或删除。
   • 例子：如果大多数人的年龄在20-60岁之间，但某个记录显示年龄为150岁，这可能是异常值。

2. 离群值 (Anomaly)

   • 定义：在给定上下文或模式中表现异常的数据点。
   • 特征：可能反映某些特殊或罕见事件，并不一定是错误数据。
   • 处理方式：需要进一步分析，可能代表异常行为（如欺诈检测中的异常交易）。
   • 例子：信用卡交易中，某人突然进行一系列大额支付，可能是离群值，但需要进一步分析是否欺诈。

关键区别：

• 数据质量方面：异常值通常视为错误或无效数据，而离群值可能是有效但罕见的数据。
• 分析目的：异常值常需清理，而离群值常需分析。
• 背景依赖性：离群值取决于具体场景和分析目标，而异常值通常是整体数据分布之外的数据点。

示例对比：

假设你分析某城市的人口收入分布：

• 异常值：某些收入记录为负值或过高值（如10亿），可能是数据录入错误。
• 离群值：年收入100万的人可能是高收入群体，尽管罕见，但可能是有效数据。

总结：

• 异常值：主要关注数据错误，倾向于剔除或修复。
• 离群值：关注模式异常，倾向于分析背后的原因。

离群值的检测与处理

离群值的检测方法：

1. 可视化方法：
   • 箱线图（Boxplot）： 使用 IQR（四分位距）来标记异常点。
   • 散点图（Scatter Plot）： 可直观显示数据的分布和异常值。
2. 统计方法：
   • Z-Score 方法： 超过特定标准差的值（如±3）可视为离群值。
   • IQR 方法： 低于 Q1 - 1.5×IQR 或高于 Q3 + 1.5×IQR 的值被视为异常点。
3. 机器学习方法：
   • 孤立森林（Isolation Forest）
   • 局部异常因子（Local Outlier Factor, LOF）

处理方法：

1. 删除： 如果离群值是明显的错误或噪声，可以将其删除。
2. 替换： 使用中位数或均值替代异常值。
3. 独立分析： 如果离群值是真实的罕见现象，可以单独建模分析。
4. 变换： 数据转换（如对数变换）减少异常值的影响。

示例：

数据集：[10, 12, 11, 13, 300, 14, 15]
这里的 300 就可能是一个离群值。

离群值的检测和处理是数据分析和机器学习预处理中重要的步骤，尤其是在确保模型鲁棒性和预测准确性方面至关重要。

实操：如何使用Python检测离群值？

在 Python 中，可以通过多种方法寻找离群值，以下是常用的几种方法：

---

1. 使用 Z-Score 检测离群值

原理：

Z-Score 衡量每个数据点与均值之间的标准差距离。通常绝对值大于 3 的点被认为是离群值。

代码示例：

import numpy as np
import pandas as pd# 示例数据
data = [10, 12, 11, 13, 300, 14, 15]
df = pd.DataFrame(data, columns=['value'])# 计算 Z-Score
df['z_score'] = (df['value'] - df['value'].mean()) / df['value'].std()# 筛选离群值
outliers = df[np.abs(df['z_score']) > 3]
print(outliers)

---

2. 使用 IQR（四分位距）检测离群值

原理：

IQR = Q3 - Q1，判断是否超出正常范围：

• 下界：Q1 - 1.5 * IQR
• 上界：Q3 + 1.5 * IQR

代码示例：

import numpy as np
import pandas as pd# 示例数据
data = [10, 12, 11, 13, 300, 14, 15]
df = pd.DataFrame(data, columns=['value'])# 计算 IQR
Q1 = df['value'].quantile(0.25)
Q3 = df['value'].quantile(0.75)
IQR = Q3 - Q1# 确定边界
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR# 筛选离群值
outliers = df[(df['value'] < lower_bound) | (df['value'] > upper_bound)]
print(outliers)

---

3. 使用散点图或箱线图可视化离群值

代码示例：

import matplotlib.pyplot as plt# 绘制箱线图
plt.boxplot(data)
plt.title('Boxplot for Outlier Detection')
plt.show()

---

4. 使用 sklearn 的 Isolation Forest 算法

原理：

基于树结构划分数据，通过异常样本在树中被孤立的速度判断是否为异常值。

代码示例：

from sklearn.ensemble import IsolationForest# 数据
data = [[10], [12], [11], [13], [300], [14], [15]]# 建立模型
clf = IsolationForest(contamination=0.1, random_state=42)
clf.fit(data)# 预测 (-1 为异常值)
predictions = clf.predict(data)# 输出异常点
outliers = [data[i][0] for i in range(len(data)) if predictions[i] == -1]
print(outliers)

---

5. 使用 sklearn 的 Local Outlier Factor (LOF)

代码示例：

from sklearn.neighbors import LocalOutlierFactor# 数据
data = [[10], [12], [11], [13], [300], [14], [15]]# 建立模型
lof = LocalOutlierFactor(n_neighbors=2)
predictions = lof.fit_predict(data)# 输出异常点
outliers = [data[i][0] for i in range(len(data)) if predictions[i] == -1]
print(outliers)

---

Python检测离群值总结

• 统计方法： Z-Score 和 IQR 适合小规模数据分析。
• 机器学习方法： Isolation Forest 和 LOF 适合处理复杂、高维数据集。
• 可视化分析： 箱线图和散点图便于初步探索数据分布和潜在异常值。

根据数据特性和具体需求选择合适的方法进行分析。

相关阅读

• 什么是离群值？如何检测？
• 深度学习中的离群值
• 文本分类中的离群值特征
• 关于置信学习的文献综述(简易版)