企业官网建设流程全解析

如有侵权或其他问题，欢迎留言联系更正或删除。

出处：AAAI 2025

代码：https://github.com/stitsyuk/xPatch

PS：非常好的时序预测工作，时序或时空领域的研究者们都可以 follow，可以考虑和 Mamba、Kan、大语言模型、蒸馏模型等先进技术结合，主要考虑应用其分解后单独处理两分支的技术！

一 提出动机

基于 Transformer 的模型在时序预测内广受关注，核心在于：注意力机制擅长捕捉数据复杂关联，效果优于传统模型。

局限在于：注意力机制难以充分捕捉 时序的 "强时序依赖” 与 “周期性关联”，这一点是新方案的核心研发动机。

Transformer 的关键缺陷：注意力机制的排列不变性（即：不依赖输入数据的顺序）— 但时间序列的 “时间顺序” 是预测的核心，该 “不变性” 会导致模型忽略时间关联性，阻碍最优预测。

解决思路：不依赖 Transformer，转而在非 Transformer 架构（CNN+MLP）内，借鉴现有有效技术（补丁块、通道独立性），设计新模型（xPatch）。

tips：

① 由于现实系统具备非平稳性（non-stationary nature），时序数据通常包含复杂的时序模式。为应对该复杂性及非平稳性，许多 LTSF 模型采用 “输入分解” 范式 — 通过 “季节、趋势分解” 分别捕捉线性趋势特征与非线性季节波动，且通过此分解模式，再分别单独处理的范式已被证实有效。

② 采用简单平均池化（average pooling）进行信号分解，需在序列两端 “填充（padding）” — 本质上是重复序列的最后一个值及第一个值。因此推断，该方法将导致模型对 “首尾值产生偏差”，进而可能改变趋势值的特性。

二 模型结构

三 Method

3.1 Seasonal-Trend Decomposition

Simple Moving Average (SMA) ：简单移动平均 的做法：

SMA 分解示例：

SMA 的缺陷：

① 平均池化操作将导致重要的趋势特征丢失。此外，为实现序列对齐，需在序列两端进行填充（padding），会造成序列首尾部分的信息失真。

② SMA 生成的趋势信号过于简化（特征多样性有限），且季节模式复杂混乱（混杂噪声）。

→ → → → 改进版：EMA：

指数移动平均（Exponential Moving Average, EMA）（Gardner Jr，1985）是一种指数平滑方法，其核心是为近期数据点分配更高权重，同时平滑远期数据。这种指数加权机制使 EMA 能更快速地响应时间序列潜在趋势的变化，且无需对重复值进行填充。

EMA 分解示例：

总结：

① 指数方法对趋势与季节性成分的变化特征控制能力更强，且因数据模式多样（含不同周期、变化特征的平稳与非平稳性），指数分解法凭借适应性在特征提取上具优势；

② 相较于简单移动平均（SMA），指数移动平均（EMA）分解方法更灵活，其依据数据点的指数衰减调整权重，能更有效捕捉变化趋势，尤其适合动态演变模式的时间序列。

3.2 Model Architecture

Channel-Independence、Exponential Decomposition、Patching 模块省略

主要部分：

双流网络（Dual Flow Net）

作为核心骨干模型，我们采用两条不同的流（stream）来分析趋势成分与季节性成分，即：线性流（linear stream）和 非线性流（non-linear stream）。其中，趋势成分通过基于线性多层感知机（MLP）的流进行处理，而季节性成分则由基于非线性卷积神经网络（CNN）的模块负责处理。

季节性成分代表围绕某一恒定水平的周期性波动，这意味着此类波动的统计特性（均值、方差）会随时间保持稳定，即：季节性成分具有平稳性。与之相反，趋势成分反映的是具有上升或下降特征的长期变化，且其均值会随时间发生改变，因此趋势成分具有非平稳性。

综上，在大多数情况下，季节性成分呈非线性且平稳的特征，而趋势成分呈线性且非平稳的特征。但部分数据集可能表现出特殊特征（如：平稳的趋势成分）。因此，双流架构的设计旨在提升模型对平稳性与非平稳性数据的适应性。

3.3 Loss Function

均方误差（Mean Squared Error, MSE）损失是长序列时间预测（Long-Term Sequence Forecasting, LTSF）模型常用的训练损失方案：

近期基于 Transformer 的模型 CARD（Wang 等人，2024b）提出了一种新颖的基于信号衰减的损失函数，该函数通过降低远期平均绝对误差（Mean Absolute Error, MAE）的权重来解决高方差问题。选择 MAE 的原因在于，它相比 MSE 对异常值（outliers）的鲁棒性更强，CARD 模型已证实，这种训练方案效率较高，且能提升现有模型的性能：

因为目前信号衰减速率过快，不适宜当前任务，主要是对上述式子信号衰减的控制函数作出了具体改进：

3.4 Learning Rate Adjustment Scheme

常用的长时时序预测 学习率控制策略：

PatchTST 的 学习率控制策略：

CARD 的 学习率控制策略：

xPatch 的 学习率控制策略：

四 实验结果

主要实验结果（预测任务评测）：

时间消耗：