企业官网建设流程全解析

1. 项目概述：为什么异常值处理是时间序列预测的“地基工程”？

做时间序列预测，无论是用传统的ARIMA、Prophet，还是现在火热的LSTM、Transformer，很多朋友都踩过同一个坑：模型在训练集上表现完美，一到真实预测就“翻车”。折腾半天，又是调参又是换模型，结果发现问题的根源可能不在模型本身，而在于数据里那些“不听话”的异常值。这些异常值就像混在面粉里的沙子，你用它和面，无论厨师手艺多好，蒸出来的馒头都硌牙。

我处理过不少工业传感器数据、业务指标和金融序列，一个深刻的体会是：异常值处理的质量，直接决定了预测模型性能的上限。这不是一个可选的“数据清洗”步骤，而是构建可靠预测系统的“地基工程”。地基不稳，上面无论盖多豪华的模型大厦，都可能随时坍塌。标题里提到的“从根源上提高预测精度”，其核心逻辑就在于此——通过系统性地识别和处理这些“沙子”，我们才能得到纯净的“面粉”（高质量序列），让后续的模型学习到数据背后真正的规律，而非被个别极端点带偏。

简单来说，时间序列中的异常值处理，目标不是简单地“删除”或“平滑”奇怪的点，而是理解其成因（是设备故障、业务突发还是录入错误？），并选择最合适的方法进行“矫正”，从而还原序列本来的面目。接下来，我将把这6大类10种方法掰开揉碎，结合具体场景和代码示例，让你不仅能“知其然”，更能“知其所以然”，在实际项目中灵活运用。

2. 异常值的本质与分类：先诊断，再下药

在动手处理之前，我们必须先搞清楚要对付的是什么。时间序列里的“异常值”不是一个笼统的概念，根据其产生原因和对序列的影响模式，主要分为三类，处理策略也截然不同。

2.1 加性异常值：最典型的“噪音”

这是最常见的一类，通常由偶然因素引起，比如传感器瞬时干扰、数据录入错误或短期的外部冲击。它的特点是独立于序列本身的趋势和季节性，像一个突然加上去的“尖峰”或“低谷”，只影响异常点自身及其附近极少数点，不会改变序列的长期记忆结构。

生活化类比：你正在匀速录音，旁边突然有人咳嗽了一声。这个咳嗽声就是加性异常值，它覆盖了原本的声音，但不会改变你之后录音的节奏和内容。

识别线索：在时序图上表现为孤立的“毛刺”；在残差序列（如用简单移动平均滤波后）中会明显突出。

2.2 创新性异常值：影响深远的“结构突变”

这类异常值更为棘手，它通常意味着数据生成过程发生了根本性变化。例如，某个营销策略永久性地改变了产品的日活基线，或者设备经过维修后性能参数发生了偏移。创新性异常值不仅影响当前时刻，还会通过时间序列模型（如ARIMA）的记忆机制，持续影响未来所有时刻的预测值。

生活化类比：你正在匀速跑步（序列趋势），突然决定改为加速跑（结构突变）。从改变的那一刻起，你之后所有的速度（未来值）都基于新的“加速”模式，而不仅仅是那一步发生了变化。

识别线索：异常点之后，序列的均值、方差或趋势水平发生了肉眼可见的持续性改变。单纯剔除该点会导致模型无法捕捉到这种结构变化。

2.3 水平漂移异常值：趋势的“台阶”

这可以看作是创新性异常值的一种特殊形式，表现为序列的整体水平在某个时间点后突然升高或降低，并维持在新的水平上，像一个“台阶”。常见于政策生效、竞争对手策略变化等场景。

处理心法：对于加性异常值，我们的目标是“修复”或“剔除”这个噪音点。而对于创新性和水平漂移异常值，处理的核心在于“识别并建模”这种结构变化，有时甚至需要将序列在突变点进行分段，分别建模。

注意：切勿不假思索地将所有“看起来奇怪”的点都视为加性异常值进行处理。错误地将一个创新性异常值当加性值平滑掉，会导致模型完全无法适应真实的结构变化，预测结果将系统性偏离。第一步永远是可视化分析和业务理解，做好“诊断”。

3. 六大类处理方法深度解析与实战选型

了解了敌人，我们来看看武器库。我将10种方法归纳为6大类，从简单到复杂，从通用到专用。

3.1 第一类：基于统计分布的方法

这类方法假设正常数据服从某个理论分布（如正态分布），将偏离该分布一定范围的点视为异常。

3.1.1 3-Sigma（拉依达）准则

这是最直观的方法。计算序列的均值（μ）和标准差（σ），认为落在 [μ-3σ, μ+3σ] 区间内的数据是正常的，之外的则为异常。对于近似正态分布的数据，这个区间涵盖了99.73%的数据。

实操要点与陷阱：

• 适用场景：数据分布相对平稳，接近正态分布，且异常值比例极小。
• 致命缺陷：均值μ和标准差σ本身极易受异常值影响！一个巨大的异常值会拉高μ和σ，导致真正的异常点可能被“包容”进3σ区间，造成漏检。这被称为“掩蔽效应”。
• 改进方案：使用对异常值不敏感的统计量代替均值和标准差，例如中位数（Median）和中位数绝对偏差（MAD）。MAD = median(|Xi - median(X)|)。通常用修正的Z分数：M_i = 0.6745 * (X_i - median(X)) / MAD，当 |M_i| > 3.5 时，可怀疑为异常值。这种方法稳健得多。

import numpy as np import pandas as pd def detect_anomalies_mad(series, threshold=3.5): """ 使用基于中位数和MAD的稳健方法检测异常值。 """ median = np.median(series) mad = np.median(np.abs(series - median)) if mad == 0: # MAD为0，说明数据集中在中位数上，无法用此法，可退回使用标准差 std = np.std(series) z_scores = (series - median) / (std + 1e-8) # 防止除零 else: modified_z_scores = 0.6745 * (series - median) / mad # 标记异常值 anomalies = np.abs(modified_z_scores) > threshold return anomalies, modified_z_scores

3.1.2 箱型图法

箱型图通过四分位数来定义异常值。上四分位数（Q3）和下四分位数（Q1）之差称为四分位距（IQR）。通常将小于Q1 - 1.5 * IQR或大于Q3 + 1.5 * IQR的点视为温和异常值，使用3 * IQR作为界限来识别极端异常值。

为什么是1.5IQR？这是一个经验值，源于正态分布下，大约有0.7%的数据会落在此范围之外，比例适中。它不依赖于均值和标准差，因此对异常值不敏感，非常稳健。

实操心得：箱型图法简单有效，是探索性数据分析（EDA）的首选。但它没有考虑时间顺序，在时序场景中，需要结合滑动窗口使用（例如，计算每个时间点前后一个时间窗口内的IQR），才能捕捉到局部异常。

3.2 第二类：基于滑动窗口/阈值的方法

这类方法引入了“时间”维度，通过考察一个点与其前后一段时间（窗口）内邻居的关系来判断是否异常。

3.2.1 移动平均/中位数滤波

计算每个点在一个滑动窗口内的移动平均或移动中位数，将原始值与这个“局部基线”进行比较。如果原始值偏离基线超过某个阈值（如基线值的20%或3倍标准差），则视为异常。

• 移动平均：计算简单，但对异常值敏感，一个异常值会影响窗口内均值，可能削弱检测能力。
• 移动中位数：更稳健的选择。用窗口中位数作为基线，能有效抵抗窗口内其他异常值的干扰。

def detect_anomalies_rolling_median(series, window_size=24, threshold=3): """ 使用滚动中位数和MAD进行异常检测。 window_size: 滑动窗口大小，根据数据频率设定（如小时数据可设为24）。 """ rolling_median = series.rolling(window=window_size, center=True).median() # 计算滚动MAD rolling_mad = series.rolling(window=window_size, center=True).apply(lambda x: np.median(np.abs(x - np.median(x)))) # 计算修正Z分数 modified_z_scores = 0.6745 * (series - rolling_median) / (rolling_mad + 1e-8) anomalies = np.abs(modified_z_scores) > threshold return anomalies, rolling_median

关键参数选择：window_size是关键。它应该与数据的潜在周期相关。例如，对于日周期数据，窗口设为24（小时）或7（天）可能合适。太小会引入噪音，太大会平滑掉真实的局部变化。

3.3 第三类：基于预测模型残差的方法

这是非常强大且逻辑自洽的一类方法。核心思想是：用一个基准模型（如简单指数平滑、ARIMA）对时间序列进行预测，然后分析预测值与实际值的残差。如果残差过大，则认为该点是模型无法解释的，即异常。

3.3.1 模型残差法

1. 训练模型：使用“干净”的数据（或全量数据）训练一个预测模型。这个模型不需要很复杂，目标是捕捉序列的主要趋势和季节性。
2. 得到预测值：进行样本内预测（或滚动预测）。
3. 计算残差：残差 = 真实值 - 预测值。
4. 检测残差异常：对残差序列使用前述的统计方法（如3-Sigma、MAD）进行异常检测。残差异常对应的原始点即为异常值。

优势：该方法同时考虑了序列的时间依赖性（因为模型本身是时序模型），能更好地区分“正常的波动”和“真正的异常”。例如，季节性峰值不会被误判为异常。

实操陷阱：

• 模型选择：如果基准模型选择不当（如用线性模型拟合非线性趋势），会导致残差普遍偏大，产生大量误报。通常可以从简单模型（Holt-Winters）开始。
• 数据泄露：严禁使用包含待检测点的未来信息来预测该点。必须使用滚动预测或严格划分训练/测试集。

from statsmodels.tsa.holtwinters import ExponentialSmoothing def detect_anomalies_holt_winters(series, seasonal_periods=24, threshold=3): """ 使用Holt-Winters模型残差检测异常值。 """ # 拟合Holt-Winters模型 model = ExponentialSmoothing(series, seasonal_periods=seasonal_periods, trend='add', seasonal='add') fit_model = model.fit() # 得到样本内预测值 predictions = fit_model.fittedvalues # 计算残差 residuals = series - predictions # 对残差使用稳健统计量检测异常 median_resid = np.median(residuals) mad_resid = np.median(np.abs(residuals - median_resid)) modified_z_scores_resid = 0.6745 * (residuals - median_resid) / (mad_resid + 1e-8) anomalies = np.abs(modified_z_scores_resid) > threshold return anomalies, predictions, residuals

3.4 第四类：基于时间序列分解的方法

时间序列通常可以分解为趋势（Trend）、季节性（Seasonality）和残差（Residual）三个部分：Y(t) = Trend(t) + Seasonality(t) + Residual(t)。异常往往隐藏在残差项中。

3.4.1 STL分解法

STL（Seasonal and Trend decomposition using Loess）是一种鲁棒性极强的分解方法，它对异常值不敏感，能较好地分离出趋势和季节性成分。分解后，我们主要关注残差项。

步骤：

1. 对原始序列进行STL分解。
2. 得到残差序列Residual(t)。
3. 对残差序列应用异常检测方法（如MAD法）。
4. 被标记为异常的残差点，其对应的原始数据点即为异常值。

为什么有效？因为STL在分解过程中使用了局部加权回归（Loess），能抵抗异常值的干扰，从而得到更“干净”的趋势和季节性估计。这样，残差中留下的就更多是真正的“意外”波动。

from statsmodels.tsa.seasonal import STL def detect_anomalies_stl(series, seasonal_period=24, threshold=3.5): """ 使用STL分解的残差进行异常检测。 """ # STL分解 stl = STL(series, period=seasonal_period, robust=True) # robust=True是关键 result = stl.fit() # 获取残差 residuals = result.resid # 检测残差异常 median_resid = np.median(residuals) mad_resid = np.median(np.abs(residuals - median_resid)) modified_z_scores_resid = 0.6745 * (residuals - median_resid) / (mad_resid + 1e-8) anomalies = np.abs(modified_z_scores_resid) > threshold return anomalies, result.trend, result.seasonal, residuals

重要参数：period（季节性周期）必须正确设置。robust=True参数让分解过程对异常值更不敏感，是处理异常数据时的首选。

3.5 第五类：基于机器学习/深度学习的方法

对于高维、复杂模式的时间序列，传统方法可能力不从心，机器学习方法可以自动学习正常数据的边界或模式。

3.5.1 孤立森林

孤立森林基于一个简单的思想：异常点稀少且不同，因此更容易被“孤立”。它通过随机选择特征和分割值来构建多棵二叉树（森林）。异常点通常会在更浅的深度（更少的分割次数）就被隔离出来。

在时序中的应用：不能直接将原始时间点扔进去。需要构造特征，例如：

• 当前点的值。
• 与滑动窗口均值/中位数的差值。
• 滑动窗口内的标准差。
• 前一时刻的值（滞后特征）。
• 小时、星期几等时间特征。

将每个时间点转化为这样一个特征向量，再送入孤立森林进行训练和预测。

优点：无监督，无需标签；对高维数据有效；计算效率相对较高。缺点：需要仔细的特征工程；可解释性较差；参数（如树的数量、子采样大小）需要调优。

3.5.2 自编码器

自编码器是一种神经网络，它试图学习输入数据的压缩表示（编码），然后再重构出原始数据（解码）。训练时使用正常数据，让网络学会重构正常模式。当输入一个异常点时，由于其模式未被学习过，重构误差会很大。

步骤：

1. 使用正常时间段的数据训练自编码器。
2. 计算所有数据（包括训练集和待检测集）的重构误差。
3. 设定一个阈值，重构误差超过阈值的点即为异常。

适用于：具有复杂非线性模式的时间序列，且有一定量的“干净”数据用于训练。

实操心得：LSTM自编码器在处理时间序列上尤其有效，因为它能捕捉时间依赖关系。但深度学习方法需要大量的数据、调参经验和计算资源，不适合作为第一选择或处理简单序列。

3.6 第六类：基于专门异常检测库的方法

为了简化流程，可以直接使用成熟的异常检测库，它们封装了先进的算法。

3.6.1 Prophet中的异常检测

Facebook Prophet 在建模时内置了对异常值的处理能力。它通过将异常点识别为“离群点”并在拟合时降低其权重，或者允许用户手动指定“突变点”来建模水平漂移。

使用方法：

• 自动识别：Prophet模型对历史数据中的大幅变化有一定鲁棒性。
• 手动干预：你可以将怀疑是异常点的日期添加到changepoints参数中，或者通过add_seasonality的模式来建模已知的事件。
• 后验分析：拟合模型后，观察预测区间。如果某些实际值远远落在预测区间之外，这些点可能就是模型无法捕捉的异常。

优点：与预测流程无缝集成，特别适合具有强季节性的业务时间序列。缺点：对于高频、噪声大的工业数据，可能不够灵敏。

3.6.2 PyOD库

PyOD是一个全面的Python异常检测工具库，集成了从传统统计到深度学习的数十种算法。

典型工作流：

from pyod.models.knn import KNN # 示例使用K近邻算法 from sklearn.preprocessing import StandardScaler # 1. 特征工程（同上，将时间点转化为特征向量） # 假设我们已经有了特征矩阵 X scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 2. 训练检测器 clf = KNN(contamination=0.05) # contamination 预估的异常点比例 clf.fit(X_scaled) # 3. 预测 anomaly_labels = clf.labels_ # 训练数据的标签 anomaly_scores = clf.decision_scores_ # 异常分数

优势：算法丰富，接口统一，方便进行算法对比和集成。选择建议：对于初学者，可以从KNN、LOF（局部离群因子）或COPOD（基于Copula）等算法开始尝试。

4. 处理策略：检测之后，我们该如何对待异常值？

检测出异常值只是第一步，如何处理它们同样关键。主要有四种策略：

策略一：删除

• 何时用：确认为加性异常值，且比例极小（如<1%），删除后不影响序列连续性和业务解释。
• 风险：直接删除会留下缺失值，需要用插值法（如线性插值、移动平均插值）填补，可能引入新的偏差。

策略二：修正/替换

• 常用方法：
  • 用前后点的均值/中位数替换：适用于孤立的加性异常值。
  • 用模型预测值替换：用上文提到的Holt-Winters、ARIMA等模型的预测值替代异常点。这是逻辑上最自洽的方法之一。
  • 用分解后的趋势+季节性成分替换：使用STL分解后，用Trend(t) + Seasonality(t)来替换原始值Y(t)，完全剔除残差。
• 优点：保持了序列的连续性，信息损失小。

策略三：盖帽法

• 做法：设定一个合理范围（如1%和99%分位数），将超出范围的值压缩到边界上。例如，将大于99分位数的值都设为99分位数的值。
• 适用：当你知道异常值只是“过大”或“过小”，但仍想保留其“方向”信息时。在金融、经济数据中常用。

策略四：不处理，但建模时特殊对待

• 做法：在构建预测模型时，将异常点标记出来，作为额外的输入特征（例如，一个布尔变量“is_anomaly”），或者使用对异常值稳健的损失函数（如Huber Loss）。
• 适用：对于创新性异常值或水平漂移，这可能是最好的方法，因为我们需要模型去“学习”或“适应”这种变化，而不是抹去它。

核心原则：处理方式没有绝对的对错，必须结合业务知识。例如，在“双十一”那天的销售额激增是异常值吗？对模型训练来说是，但对业务分析来说，这是必须保留的关键事件。此时，更好的策略可能是“策略四”，或者将节假日的日期作为额外特征加入模型。

5. 完整实战流程与核心环节实现

让我们用一个模拟的日订单量数据集，串联起从检测到处理的完整流程。假设数据具有周季节性。

import pandas as pd import numpy as np import matplotlib.pyplot as plt from statsmodels.tsa.seasonal import STL from sklearn.preprocessing import StandardScaler from pyod.models.knn import KNN # 1. 生成模拟数据（含已知异常） np.random.seed(42) dates = pd.date_range(start='2023-01-01', periods=365, freq='D') # 基础序列：趋势 + 周季节性 trend = np.linspace(100, 200, 365) seasonal = 20 * np.sin(2 * np.pi * np.arange(365) / 7) noise = np.random.normal(0, 5, 365) series = trend + seasonal + noise # 人工注入异常：几个加性异常点 anomaly_indices = [50, 150, 300] series[anomaly_indices] = [350, 30, 280] # 两个正异常，一个负异常 ts = pd.Series(series, index=dates) # 2. 多方法检测（以STL和滚动中位数为例） # 方法A: STL分解法 stl = STL(ts, period=7, robust=True) res = stl.fit() residuals_stl = res.resid # 使用MAD法检测残差异常 median = np.median(residuals_stl) mad = np.median(np.abs(residuals_stl - median)) threshold_stl = 3.5 anomaly_score_stl = 0.6745 * (residuals_stl - median) / (mad + 1e-8) anomalies_stl = np.abs(anomaly_score_stl) > threshold_stl # 方法B: 滚动中位数法 window = 7 # 周窗口 rolling_median = ts.rolling(window=window, center=True).median() rolling_mad = ts.rolling(window=window, center=True).apply(lambda x: np.median(np.abs(x - np.median(x)))) anomaly_score_roll = 0.6745 * (ts - rolling_median) / (rolling_mad + 1e-8) anomalies_roll = np.abs(anomaly_score_roll) > threshold_stl # 3. 特征工程 + 机器学习方法（以PyOD的KNN为例） # 构建特征：当前值、滞后值、滚动统计量 df_features = pd.DataFrame({'value': ts}) df_features['lag1'] = df_features['value'].shift(1) df_features['rolling_mean_7'] = df_features['value'].rolling(7).mean() df_features['rolling_std_7'] = df_features['value'].rolling(7).std() df_features = df_features.dropna() # 标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(df_features) # 训练KNN检测器 clf = KNN(contamination=0.03) # 假设异常比例约3% clf.fit(X_scaled) anomaly_scores_pyod = clf.decision_scores_ # 将分数映射回原索引（注意已丢弃NaN行） anomaly_labels_pyod = pd.Series(clf.labels_, index=df_features.index) # 4. 结果可视化与比对 fig, axes = plt.subplots(4, 1, figsize=(15, 12)) axes[0].plot(ts, label='Original Series') axes[0].scatter(ts[anomalies_stl].index, ts[anomalies_stl], color='red', s=50, zorder=5, label='STL Anomalies') axes[0].set_title('STL Detection Result') axes[0].legend() axes[1].plot(ts, label='Original Series') axes[1].scatter(ts[anomalies_roll].index, ts[anomalies_roll], color='orange', s=50, zorder=5, label='Rolling Median Anomalies') axes[1].set_title('Rolling Median Detection Result') axes[1].legend() axes[2].plot(ts, label='Original Series') pyod_anomaly_index = anomaly_labels_pyod[anomaly_labels_pyod==1].index axes[2].scatter(pyod_anomaly_index, ts.loc[pyod_anomaly_index], color='green', s=50, zorder=5, label='PyOD KNN Anomalies') axes[2].set_title('PyOD KNN Detection Result') axes[2].legend() # 5. 处理异常值（以STL检测结果为例，用趋势+季节性成分替换） ts_corrected = ts.copy() # 获取STL分解的趋势和季节性成分 trend_component = res.trend seasonal_component = res.seasonal # 用趋势+季节性替换被标记为异常的点 ts_corrected[anomalies_stl] = trend_component[anomalies_stl] + seasonal_component[anomalies_stl] axes[3].plot(ts, alpha=0.5, label='Original Series') axes[3].plot(ts_corrected, label='Corrected Series (STL Trend+Seasonal)', linewidth=2) axes[3].set_title('Series After Anomaly Correction') axes[3].legend() plt.tight_layout() plt.show() # 输出检测到的异常点位置 print("人工注入的异常点索引:", anomaly_indices) print("STL方法检测到的异常点索引:", ts[anomalies_stl].index.tolist()) print("滚动中位数法检测到的异常点索引:", ts[anomalies_roll].index.tolist()) print("PyOD KNN方法检测到的异常点索引:", pyod_anomaly_index.tolist())

流程解读：

1. 数据准备：我们创建了一个包含趋势、季节性和噪声的模拟序列，并手动植入了三个明显的异常点。
2. 多方法并行检测：
   • STL法：直接对原始序列分解，从残差中找异常。它最有可能准确捕捉到我们注入的异常。
   • 滚动中位数法：在局部窗口内比较，对局部突变敏感。
   • PyOD KNN法：基于多个构造的特征（滞后、滚动统计量）进行多维度判断。
3. 可视化比对：将三种方法的结果画在一起，可以直观看到不同方法的侧重点和一致性。通常，被多种方法同时标记的点是异常的高置信度候选。
4. 执行修正：我们选择STL的检测结果，并用其分解出的趋势和季节性成分之和来替换异常点。这样处理后的序列既去除了异常的“毛刺”，又保留了序列整体的演变规律。

6. 常见问题与排查技巧实录

在实际操作中，你会遇到各种预料之外的情况。下面是我踩过坑后总结的一些经验。

6.1 方法选型困惑：这么多方法，我该先用哪个？

不要一上来就追求最复杂的模型。遵循一个从简到繁的漏斗型排查流程：

1. 第一步：可视化与业务沟通。画出时序图，圈出你觉得奇怪的点。立刻去问业务方或领域专家：“这几天发生了什么？” 很多“异常”在业务层面是完全可以解释的正常事件（如促销、系统上线、假期）。这部分工作能解决至少30%的问题。
2. 第二步：尝试稳健的统计方法。使用箱型图法（滑动窗口）或基于MAD的Z分数法。它们简单、快速、对大多数孤立尖峰型异常有效。这是你的第一道自动化防线。
3. 第三步：如果序列有明显趋势/季节性，上分解法。STL分解是你的首选。它能优雅地分离出残差，而且robust=True参数让它对异常值不敏感，避免误判。
4. 第四步：如果异常模式复杂（如集体偏移、片段异常），考虑机器学习方法。此时需要进行特征工程，将时间点转化为特征向量，然后使用如孤立森林或PyOD中的COPOD等无监督算法。
5. 第五步：将异常检测融入预测流程。如果你最终目的是预测，那么基于预测模型残差的方法（如Holt-Winters残差）逻辑最顺。也可以使用Prophet，它内置了一定的异常处理机制。

选型速查表：

6.2 参数调优噩梦：阈值、窗口大小怎么设？

这是没有银弹的问题，但有一些经验法则：

• 统计阈值（如3.5）：可以从3或3.5开始。如果报出的异常点太多，调高阈值（如4）；如果太少，调低阈值（如2.5）。结合业务理解判断：报出的点是否合理？也可以观察异常分数的分布，在陡增处设置阈值。
• 滑动窗口大小：从数据的自然周期开始。小时数据可以试24（天）、168（周）。日数据可以试7（周）、30（月）。观察窗口内序列是否相对平稳。可以用网格搜索，以“检测出的已知异常点”为评估目标来优化。
• 机器学习中的contamination参数：这是预估的异常点比例。如果完全没先验知识，可以先设一个较小的值（如0.01），看结果再调整。也可以不设，用算法输出的异常分数，再手动划定阈值。

一个实用技巧：模拟验证。像我们上面的实战代码一样，在干净数据上人工注入已知的异常点，然后测试不同参数下方法的召回率（能检测出多少注入的异常）和精确率（检测出的点里有多少是真正的异常）。这是调参最客观的方式。

6.3 处理后的序列用于预测，效果反而更差了？

这是最令人沮丧的情况。可能的原因和排查方向：

1. 误杀了“功臣”：你处理掉的所谓“异常值”，可能是重要的创新性异常值（水平漂移、结构突变）。模型失去了学习这种模式变化的机会。排查：检查被处理点之后，序列的均值是否发生了永久性改变？如果是，应该采用“不处理，但加入突变点特征”的策略。
2. 过度平滑：处理方法（如用滚动均值替换）过于激进，导致序列失去了应有的短期波动和噪声，变得过于“平滑”。模型学到的规律过于简单，无法泛化到真实的、有噪声的未来数据。排查：对比处理前后序列的方差和自相关性。如果差异巨大，说明可能过度平滑了。
3. 引入了偏差：你的插值或替换方法有偏。例如，总是用前值填充，会在上升趋势中系统性低估，下降趋势中系统性高估。排查：使用更中性的插值方法，如线性插值、或基于模型的预测值替换。
4. 数据泄露：在检测异常时，不慎使用了未来信息。例如，在计算某个点的滚动统计量时，包含了该点之后的数据。这会导致在训练模型时“偷看”了答案，让模型在历史数据上表现虚高，但预测未来时失效。排查：确保所有滑动窗口计算、模型训练都严格遵守时间先后顺序，只使用过去和现在的信息。

6.4 面对海量时间序列（如千万级传感器），如何自动化？

单一方法可能不保险，一个稳健的自动化流水线可以这样设计：

1. 第一层：规则过滤器。基于业务知识设置绝对阈值（如物理极限：温度不可能低于-273°C）或变化率阈值（如一秒内压力骤降90%）。快速过滤掉最明显的错误数据。
2. 第二层：轻量级统计检测。对每条序列并行运行滑动窗口MAD检测。由于计算轻量，可以快速覆盖全量数据，捕捉常见的孤立异常。
3. 第三层：模型检测（抽样或对关键序列）。对于特别重要的指标或第二层报警频繁的序列，启动更复杂的检测，如STL分解或孤立森林。可以考虑对相似模式的传感器进行聚类，对每类训练一个共享的检测模型以节省资源。
4. 决策与反馈：检测结果不应直接自动处理，而应进入告警平台，由运维或业务人员确认。他们的反馈（是真异常还是误报）可以收集起来，持续优化检测算法的参数和模型。

最后，记住一点：异常值处理既是科学，也是艺术。没有一种方法能解决所有问题。最好的工具是你的业务直觉、对数据的反复观察以及“大胆假设，小心求证”的迭代过程。当你对序列中每一个“凸起”和“凹陷”的故事都了然于胸时，你构建的预测模型，自然就拥有了坚实的根基。