企业官网建设流程全解析

简介：这是一份聚焦零售业库存管理智能化升级的DeepSeek实战指南，面向有一定数据基础、希望用强化学习优化补货策略的算法工程师、数据科学家及零售行业分析师。文档共28页，完整覆盖零售业库存管理现状与挑战、强化学习与动态补货模型基础、DeepSeek模型整体架构解析、调优前的数据与环境准备、超参数与网络结构调整、策略优化、性能评估与监控，并附有企业实际案例，帮助读者从理论走向落地。资源包内为单一PDF文件，压缩包大小约1.76MB，页面排版规范、目录可跳转，适合对照研读。目前已有54人学习，通过学习可掌握动态补货模型的完整调优路线、关键评估指标设定方法以及常见异常处理思路，直接服务于库存周转率提升与缺货风险降低。

1. 强化学习做零售补货：为什么传统库存模型越来越不够用

库存管理这件事，做过零售供应链的人都清楚，它本质上是在跟不确定性博弈。需求波动、供应商交期、促销节奏、渠道调配，任何一个环节出现偏差，库存不是积压就是缺货。传统的定量订货模型和定期订货模型，依赖的是固定阈值和静态预测，一旦市场环境变化稍微快一点，策略就失灵了。DeepSeek 动态补货模型的做法，是把补货决策建模成强化学习问题，让智能体通过与环境不断交互，自己学会在什么状态下该补多少货。这份 28 页的调优指南，核心不是讲理论，而是把状态空间、动作空间、奖励函数、网络结构、超参数、自动化搜索这些环节逐一拆开，告诉你每一步在真实业务场景里该怎么设、怎么调、坑在哪。适合正在做供应链算法、库存优化或者想用强化学习落地业务的工程师，读完能直接对照自己的项目去改。

2. 把库存问题翻译成强化学习：状态空间、动作空间与奖励函数

2.1 状态空间与动作空间：给智能体一个"看得懂"的世界

用强化学习做补货，第一步不是搭网络，而是定义状态空间。智能体做决策的依据来自状态，如果状态里缺了关键变量，无论后面的网络结构多好、算力多强，都学不出靠谱的策略。

指南第四章对状态空间的定义给了一个很清晰的向量形式：s = [i, d, p, m]，分别对应当前库存数量、过去一段时间的平均销售速度、补货提前期、市场需求预测值。这四个维度覆盖了库存管理中最重要的四个要素：现在有多少货、卖得有多快、补货要等多久、未来大概要多少。

实际落地时，我的经验是还要在这个基础上加两个维度：在途库存和季节性因子。在途库存特别是在跨境或者有较长供应链周期的品类中非常关键——系统里显示库存为零，但货其实在海上漂着，不加这个维度，智能体就会做出重复补货的误判。季节性因子则可以对冲服装、生鲜这类强季节品类的需求波动。

动作空间的定义相对直白，指南给出的是离散动作集合 A = {0, 10, 20, 30, ...}，也就是在一组固定的补货数量中做选择。这个设计在工程上比连续动作空间要省事得多：离散动作可以用 DQN 直接处理，评估和部署也更可控。但如果你的场景补货批量跨度很大，比如小件商品一天补几百件、大件商品一次只补几件，我一般会做两段式设计——先用一个分类器选择补货档位，再在档位内用回归输出精确数量。

# 状态特征拼装示例 import numpy as np def build_state(inventory, avg_sales, lead_time, demand_forecast, in_transit=0, season_factor=1.0): """ 组装强化学习状态向量 """ state = np.array([ inventory, avg_sales, lead_time, demand_forecast, in_transit, season_factor ], dtype=np.float32) return state # 示例：某SKU当前库存120件，过去7天日均销售15件， # 供应商交期3天，预测未来7天需求110件，在途库存40件，夏季季节性因子1.2 state = build_state( inventory=120, avg_sales=15, lead_time=3, demand_forecast=110, in_transit=40, season_factor=1.2 ) print(state)

这段代码做的事情是把分散的原始数据拼成一个固定长度的特征向量，作为策略网络的输入。需要注意每个维度的数据在拼接前最好都做归一化，否则库存几百上千、交期只有几天，量纲不同会给网络训练带来不必要的负担。

2.2 奖励函数设计：缺货成本、持有成本与权重系数

奖励函数是整个强化学习模型里最"玄学"也最关键的部分。它直接决定了智能体在权衡缺货和积压时的偏好方向。指南里给出的奖励函数形式是：

r = α × sales_revenue - β × inventory_cost - γ × stockout_cost

三个权重系数 α、β、γ 分别控制销售收益、库存成本和缺货成本的重要程度。听起来简单，实际设的时候稍不注意就会翻车。

我见过很多团队第一次调这个模型，把 α 设得很大、β 和 γ 随便给了个值，结果智能体学出来的策略偏向于拼命补货——因为多补货能多产生销售收益，而库存积压的惩罚不够痛。跑出来的库存周转率惨不忍睹，仓储成本也直线上升。反过来说，如果 γ 设得过大，智能体会倾向于把库存堆得很高来避免缺货，对资金占用不敏感的企业还能接受，但对现金流吃紧的零售企业就是灾难。

更务实的做法是按业务毛利来倒推权重。假设一件商品售价 100 元，毛利率 30%，缺货一次损失的毛利是 30 元；持有这件商品的单位时间仓储成本是 0.5 元。那么缺货成本的权重就应该是持有成本的 60 倍。把权重量化到业务的真实成本结构上，训练出来的策略才不会跑偏。

# 奖励函数实现 def compute_reward(sales_revenue, holding_cost, stockout_cost, alpha=1.0, beta=1.2, gamma=2.5): """ 计算强化学习奖励信号 alpha: 销售收益权重 beta: 库存持有成本权重 gamma: 缺货成本权重 """ reward = alpha * sales_revenue - beta * holding_cost - gamma * stockout_cost return reward # 示例：某日销售额2000元，库存持有成本18元， # 因缺货损失的潜在销售额300元 reward = compute_reward( sales_revenue=2000, holding_cost=18, stockout_cost=300, alpha=1.0, beta=1.2, gamma=2.5 ) print(f"单日奖励: {reward:.2f}")

这段代码是奖励函数的直接实现。三个权重的取值没有通用答案，需要结合业务实际情况去调。我的习惯是先在离线历史数据上做一轮模拟，让几个候选权重组合跑同样的历史场景，对比库存周转率和缺货率，再选择平衡效果最好的那组参数。

2.3 需求预测与库存状态感知：数据输入侧的建模思路

强化学习模型的效果上限，很大程度上取决于输入数据的质量。DeepSeek 补货模型的数据输入涉及四类：销售数据、库存数据、市场数据和供应商数据。其中销售数据的处理决定了需求预测的精度，库存数据的准度则直接影响状态感知的可信度。

指南里提到的做法是用 ARIMA 做时间序列分析，用 LSTM 捕捉长期依赖关系。在真实项目中，我是拿来做实体消解和预测兜底用的框架：ARIMA 适合短期、稳定的品类；LSTM 适合有明显周期性和长期依赖的品类，比如服饰的季节交替。但无论用哪种，都必须做数据清洗和异常值处理。

import pandas as pd # 销售数据处理示例 sales_data = pd.read_csv('sales_data.csv') sales_data['date'] = pd.to_datetime(sales_data['date']) sales_data = sales_data.sort_values('date') # 1. 缺失值处理：销售数据用前值填充，避免连续缺失 sales_data['sales_quantity'] = sales_data['sales_quantity'].fillna(method='ffill') # 2. 异常值处理：剔除大于均值+3倍标准差的数据点 mean_qty = sales_data['sales_quantity'].mean() std_qty = sales_data['sales_quantity'].std() upper_bound = mean_qty + 3 * std_qty sales_data['sales_quantity'] = sales_data['sales_quantity'].apply( lambda x: x if x <= upper_bound else upper_bound ) # 3. 特征工程：构造滞后特征和滑动窗口统计量 sales_data['lag_1'] = sales_data['sales_quantity'].shift(1) sales_data['rolling_mean_7'] = sales_data['sales_quantity'].rolling(window=7).mean() print(sales_data.tail())

这段代码做了三件事：前值填充处理数据缺失、3σ 准则截断异常值、构造滞后一期特征和 7 日滑动均值作为补充输入。在真实项目里，异常值不一定全要截断——如果是双十一这种大促带来的销售激增，截断反而会丢失有效信息。我一般会用节假日标记字段区分真实爆发和统计噪声，只对无标记的异常点做截断。

3. DeepSeek 补货模型调优实操：超参数、网络结构与特征工程

3.1 超参数调整：学习率、折扣因子与批量大小的参数边界

拿到一个初始模型，先不要急着改网络结构，第一步永远是调超参数。指南里列了三个核心超参数：学习率、折扣因子、批量大小。这三个参数各有各的脾气，调整时的策略也完全不同。

学习率决定的是策略网络参数每次更新的步幅。调大了模型震荡不收敛，调小了训练过程慢到怀疑人生。强化学习的场景我一般用 1e-4 到 3e-3 这个区间做搜索，优先用 Adam 优化器，它自带自适应学习率机制，对学习率的敏感度比 SGD 低不少。

折扣因子 γ 是强化学习特有的参数，控制的是智能体对长远收益的重视程度。γ=0.9 意味着智能体主要关注未来几步的收益，适合生鲜这类保质期短、周转要求高的品类；γ=0.99 适合耐用消费品，补货决策需要考虑较长时间跨度的需求变化。做调优时我会对同一个模型分别用 0.9、0.95、0.99 做对比实验，看收敛后的库存指标差异。

批量大小影响训练稳定性和样本利用效率。离线强化学习场景下，批量太小会引入过多的噪声，批量太大则可能让网络对近期样本过拟合。补货模型的批量大小我一般从 64 起步，调优范围放在 32 到 256 之间。

# DQN 核心超参数配置示例 config = { "learning_rate": 1e-3, # 学习率：1e-4 ~ 3e-3 之间搜索 "gamma": 0.95, # 折扣因子：0.9 ~ 0.99 之间搜索 "batch_size": 64, # 批量大小：32 ~ 256 之间搜索 "memory_size": 100000, # 经验回放池大小 "target_update_freq": 500, # 目标网络更新频率 "epsilon_start": 1.0, # 探索率初始值 "epsilon_end": 0.01, # 探索率最小值 "epsilon_decay": 0.995 # 探索率衰减速度 }

这套配置是跑补货任务比较稳的起点。需要特别注意的是 ε-greedy 探索机制里的 epsilon_decay。如果衰减太快，智能体还没充分探索环境就进入利用阶段，学到的策略大概率是次优的；衰减太慢，则收敛周期会被拉得特别长。我会在训练日志里同时记录每轮的 epsilon 值和平均奖励，如果发现平均奖励还没稳定上升而 epsilon 已经降到 0.05 以下，就要调低 decay 值重新来过。

3.2 网络结构优化：隐藏层、神经元与激活函数

网络结构优化的目标是让模型有足够的能力去拟合状态和动作价值的映射关系，又不能复杂到过拟合。指南里提到的方法是增减隐藏层、调整神经元数量、选择激活函数。

补货模型的状态维度通常不高，即使加上我前面提到的两个额外维度，也就 6 到 8 个特征。这个维度下，一个包含两层隐藏层的 MLP 就足够用了，每层 32 到 128 个神经元。盲目加深网络反而会引入优化困难，在数据量不够的情况下性能还会明显下降。

激活函数的选择上，隐藏层用 ReLU 是标配，但输出层要根据网络类型区分：策略网络如果用 softmax 输出离散动作的概率分布，价值网络就直接用线性激活输出一个标量 Q 值。

import torch import torch.nn as nn class ValueNetwork(nn.Module): """ 补货决策价值网络：输入状态，输出各动作的 Q 值估计 """ def __init__(self, state_dim, action_dim, hidden_dim=128): super(ValueNetwork, self).__init__() self.fc1 = nn.Linear(state_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, hidden_dim) self.fc3 = nn.Linear(hidden_dim, action_dim) def forward(self, state): x = torch.relu(self.fc1(state)) x = torch.relu(self.fc2(x)) q_values = self.fc3(x) # 线性激活输出 Q 值 return q_values # 状态维度6，动作空间10个补货数量档位 network = ValueNetwork(state_dim=6, action_dim=10) print(network)

判断网络容量是否合适的经验法则：如果训练集上的损失降不下去，是模型容量不足，需要加层或加神经元；如果训练集表现好、验证集表现差，是过拟合，需要加 Dropout 或减小网络规模，而不是继续加大容量。补货模型的数据往往存在明显的分布漂移，过拟合问题比普通监督学习更隐蔽，网络结构能简单就不要搞复杂。

3.3 特征工程与数据增强：让销售序列更有预测力

补货模型对特征工程的要求比一般推荐系统低一些，原因在于状态空间中真正起决定作用的变量数量有限。但几个关键特征的处理方式还是能显著影响模型效果。

时间序列特征是最值得花功夫的。销量滞后项、滑动平均值、历史同期对比，这几个特征能极大提升需求预测的准确度。还有一个容易被忽略的特征：促销标记。零售场景中促销日和非促销日的销量可能相差数倍，如果不把这个特征放进状态空间，智能体会把促销期的高销量当成常态，训练出的补货策略在非促销期就会过度补货。

import pandas as pd def build_sales_features(sales_data, promotion_data): """ 构造带促销标记的销售特征 """ # 合并促销信息 df = sales_data.merge(promotion_data, on=['sku_id', 'date'], how='left') df['is_promotion'] = df['is_promotion'].fillna(0) # 构造滑动统计量 df['sales_lag_1'] = df['sales_quantity'].shift(1) df['sales_lag_7'] = df['sales_quantity'].shift(7) # 上周同期 df['rolling_mean_7'] = df['sales_quantity'].rolling(7).mean() df['rolling_std_7'] = df['sales_quantity'].rolling(7).std() # 促销日特征交叉 df['promo_sales_ratio'] = df['sales_quantity'] / (df['rolling_mean_7'] + 1e-6) return df.dropna()

这段代码里我加了两个冷启动阶段很有用的特征组合：is_promotion 标记避免促销噪声干扰常规需求的建模，promo_sales_ratio 刻画促销日的销量放大倍数。有了这个比值，智能体在面对新促销活动时可以从历史促销的放大效果中做迁移参考。

数据增强方面，最有效的做法并不是加噪声，而是用历史数据做滑窗重采样——把过去三年的销售数据按照不同的起始点切成多段训练样本，每一段都保留完整的促销、季节和趋势信息。这样可以显著增加样本数量，而且不引入虚假模式。

4. 自动化调优与策略优化：网格搜索、贝叶斯优化与探索-利用平衡

4.1 网格搜索与随机搜索：从粗调到细调

手动调参跑到一定程度，边际收益就会下降，这时应该切换到自动化调优。指南里提到的网格搜索是最直观的方式：把所有候选参数组合全部走一遍训练和验证流程，选效果最好的那组。

网格搜索的短板也很明显：参数组合数量随维度指数增长。如果要对学习率、折扣因子、批量大小、隐藏层神经元数四个维度各取 5 个候选值，就有 625 种组合，每次训练在真实数据上可能花掉几个小时，跑完一轮等于过去一个多月。所以我现在只在两个参数上做网格搜索，比如先固定其他参数，搜索学习率和批量大小的组合，找到较优区间后再换下一对参数。

# 参数组合搜索策略 param_grid = { "learning_rate": [3e-4, 1e-3, 3e-3], "batch_size": [32, 64, 128] } best_score = float('-inf') best_params = None for lr in param_grid["learning_rate"]: for bs in param_grid["batch_size"]: config["learning_rate"] = lr config["batch_size"] = bs # 训练模型并计算验证集上的综合得分 score = train_and_evaluate(config) print(f"lr={lr}, batch_size={bs}, score={score:.4f}") if score > best_score: best_score = score best_params = {"learning_rate": lr, "batch_size": bs} print(f"最优参数: {best_params}, 最优得分: {best_score:.4f}")

网格搜索跑完后，可以在最优参数附近用随机搜索做细调。随机搜索的实现就是在参数空间内随机采样，但由于它会覆盖到更多参数取值，在搜索后期比网格搜索更容易找到精确的最优点。我的习惯是：第一轮网格搜索定位大致区间，第二轮随机搜索在区间内撒点，第三轮交给贝叶斯优化收尾。

4.2 贝叶斯优化：用更少的训练轮次逼近最优参数

贝叶斯优化是目前做强化学习超参搜索最实用的方法，核心思路是用一个代理模型（通常是高斯过程）来拟合"参数 → 模型效果"的映射关系，然后通过采集函数决定下一次尝试哪组参数。和网格搜索的区别在于，贝叶斯优化会根据已有的实验记录来判断哪个区域最可能有更好的结果，把计算资源优先用在最有希望的方向上。

import optuna def objective(trial): # 定义候选参数范围 lr = trial.suggest_float("learning_rate", 1e-4, 3e-3, log=True) gamma = trial.suggest_float("gamma", 0.9, 0.99) batch_size = trial.suggest_int("batch_size", 32, 256, step=32) hidden_dim = trial.suggest_int("hidden_dim", 32, 256, step=32) config["learning_rate"] = lr config["gamma"] = gamma config["batch_size"] = batch_size config["hidden_dim"] = hidden_dim # 返回验证集综合得分（越大越好） score = train_and_evaluate(config) return score study = optuna.create_study(direction="maximize") study.optimize(objective, n_trials=50) print(f"最优参数: {study.best_params}") print(f"最优得分: {study.best_value:.4f}")

这段代码用 Optuna 实现了贝叶斯优化。50 次尝试通常能覆盖到一组不错的参数。需要注意的是，每次训练都要固定随机种子，否则模型初始化和训练过程中的随机性会干扰参数比较。如果连随机种子控制和数据划分一致性都做不到，贝叶斯优化找出的"最优"参数可能只是运气好。

4.3 探索与利用平衡：ε-greedy 与经验回放的细节

强化学习特有的一个调优方向是探索与利用之间的平衡。指南里提到了目标策略与行为策略，这对应的是 off-policy 算法中的经典设计。

DQN 这类 off-policy 算法，行为策略负责收集经验数据，目标策略负责利用这些数据学习最优决策。训练时行为策略用 ε-greedy 加入随机性来探索环境，目标策略则是学到的确定性策略。ε 值从 1.0 开始，逐渐衰减到 0.01 是一个常见做法。但这里有一个隐藏的问题：ε 衰减速度必须和训练轮数匹配。如果总共只训练 20000 步而 ε 衰减到 0.01 只需要 10000 步，那后面一万步基本都是在做利用，前面一万步探索出的经验可能还没被充分学习。

# ε-greedy 探索率调度 def update_epsilon(step, epsilon_start=1.0, epsilon_end=0.01, decay_steps=50000): """ 按训练步数线性衰减探索率 """ if step >= decay_steps: return epsilon_end epsilon = epsilon_start - (epsilon_start - epsilon_end) * (step / decay_steps) return epsilon # 在训练循环中使用 for step in range(total_steps): epsilon = update_epsilon(step, epsilon_start=1.0, epsilon_end=0.01, decay_steps=30000) # 探索：随机选择补货动作 if random.random() < epsilon: action = random.choice(action_space) # 利用：选择当前策略认为最优的动作 else: action = policy_network(state)

在实际项目中，我一般把 decay_steps 设置在总训练步数的 60% 到 70% 左右，给后 30% 的步数留出充足的利用和收敛空间。

经验回放也是容易被忽视的一个细节。回放池的大小会直接影响到样本的多样性和相关性。池子太小，采样的样本高度相关，训练不稳定；池子太大，一些旧的、过时的经验会占据大量采样比例，拖慢新经验的吸收。补货场景中，回放池容量我一般设在 50000 到 200000 之间，用新样本替换旧样本时优先替换那些奖励信号偏离当前策略分布的样本。

5. DeepSeek 补货模型调优避坑：六个实测踩坑记录

5.1 奖励函数权重失衡导致补货策略"摆烂"

现象：训练过程中奖励值快速上升，但看实际补货行为发现智能体选择了最极端的策略——要么库存一直堆到上限，要么干脆不补货。库存指标全面恶化。

原因：奖励函数中缺货成本权重 γ 和持有成本权重 β 的比例不合理。缺货成本设得过高时，智能体会到的最安全策略就是大量囤货；相反，持有成本过高而缺货惩罚不足时，智能体发现不补货反而能获得更高累积奖励。

解决：重新按业务成本结构计算权重。用毛利损失除以单品仓储成本，得到一个基础比例，再在此比例上下各偏差 50% 做几组对比实验，选出库存持有成本和缺货率最平衡的一组权重。

5.2 状态空间包含冗余特征导致训练收敛缓慢

现象：在状态向量里加了十多个特征，模型训练损失下降极慢，而且验证集效果始终不如特征少的时候好。

原因：补货场景中不少特征是高度相关的，比如销量 7 日滑动均值和 14 日滑动均值，两者提供的信息几乎重叠，冗余特征会让网络把参数浪费在拟合噪声上，同时增加过拟合风险。

解决：先用相关性矩阵做一次快速筛选，相关系数超过 0.85 的特征只保留一个。然后再用 PCA 对剩余特征做二次压缩，把状态维度控制在 8 个以内。降维后重新训练，收敛速度快了将近一倍。

5.3 离线数据与在线环境的分布漂移

现象：用历史数据做离线训练时模型指标表现很好，但部署到线上后补货策略明显失常，库存周转率和缺货率同时恶化。

原因：离线训练用的是历史销售数据，线上环境是实时数据，两者的分布可能完全不同。典型情况是离线数据里没有覆盖某种促销模式或天气异常事件，智能体在处理这些新场景时只能靠猜。

解决：上线前先做一个模拟环境的回测，把近 3 到 6 个月的真实数据按时间序列切成测试段，用模型在测试段上逐日做补货决策并计算库存指标的模拟结果。如果回测表现和训练时差距过大，说明分布漂移严重，需要引入域随机化或做增量训练来缓解。

5.4 验证集划分不当导致评估虚高

现象：模型在验证集上指标优异，同期在线 A/B 测试效果却差很多。反复检查代码没找到逻辑问题。

原因：验证集划分时直接用了随机抽样，同一个 SKU 的相邻日期数据被同时分到了训练集和验证集。补货数据天然存在时间相关性，随机划分会让验证集"偷看"到训练集的近期趋势，评估结果天然偏乐观。

解决：改成按时间划分验证集——用前 80% 的时间段做训练，后 20% 做验证。如果数据覆盖多个门店或者多渠道，划分时还要确保同一门店的同一时间段不会同时出现在训练集和验证集中。

5.5 过早停止训练导致策略仍在探索期就上线

现象：训练过程中奖励值一直波动不上升，团队以为是收敛了，提前停止训练并部署。上线后智能体频繁做一些看起来毫无逻辑的补货动作，比如在库存充足时继续加量。

原因：强化学习训练早期的奖励波动是正常的，智能体还在探索环境阶段。如果没有设置一个明确的收敛判据，只看表面指标就认为模型"差不多了"，很容易在探索期就停下来。

解决：强制设置收敛判断规则：连续 N 轮训练的平均奖励变化率低于某个阈值，并且策略网络对同一状态的动作输出在连续若干次评估中保持一致，两个条件同时满足才认为训练结束。从那以后我每次训练都会同时打印这两个指标，不再只靠奖励曲线做判断。

5.6 补货提前期估计偏差导致系统性缺货

现象：模型在仿真中表现正常，上线后某些 SKU 的实际缺货率明显高于预期，而库存数据显示库存量并没有异常低。

原因：补货提前期用的是供应商给出的标准值，但实际到货时间受物流、清关等因素影响可能波动很大。模型在训练时基于标准提前期做决策，当实际到货延迟时，安全库存被过早消耗，缺货随之而来。

解决：将补货提前期从固定值改为分布特征，同时纳入状态空间和奖励计算。具体做法是把历史到货时间统计出 P50、P90 分位值，状态里加入提前期的 P90 值作为保守估计，奖励函数里对超过 P90 导致的缺货做额外惩罚。这样模型自己会学会对交期波动大的 SKU 保留更多安全库存。

6. 调优后的验证与上线：从 TensorBoard 监控到 A/B 测试设计

模型调优到一定程度后，最怕的是自我感觉良好但上线就翻车。我每次在部署前都强制自己做一遍完整的验证流程，形成了一套固定的验证清单。

第一步是训练曲线的回看。TensorBoard 是目前在 RL 训练监控里最好用的工具之一，我通常把 reward、loss、epsilon 三条曲线同时叠加展示，观察它们的关系是否合理。如果 reward 在上升但 loss 也在上升，说明策略在向更好的方向探索但网络对现有数据的拟合能力不足，需要加网络容量；如果 reward 平稳但 loss 在下降，说明策略基本定型，只是网络在微调参数，可以考虑提前结束训练。

# 使用 TensorBoard 记录训练指标 from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter(log_dir="runs/replenishment_v3") # 在每个训练循环中记录指标 for step in range(total_steps): reward = train_step(...) loss = compute_loss(...) epsilon = update_epsilon(step) writer.add_scalar("train/reward", reward, step) writer.add_scalar("train/loss", loss, step) writer.add_scalar("train/epsilon", epsilon, step) writer.close()

第二步是做模拟回测。用验证集时间段的真实数据，让训练好的模型逐日生成补货决策，模拟库存变化。这里我会重点关注三个指标：库存周转率、缺货率、报废率。这三个指标能比较全面地反映补货策略在真实业务中的表现。

第三步是设计 A/B 测试。拿 10% 左右的 SKU 做实验组，用新模型生成的补货建议替代原有的补货逻辑，对照组保持不变。测试周期通常需要覆盖至少一个完整的补货周期，一般是 4 到 8 周，这样可以捕捉到策略对周转率和缺货率影响的全貌。上线期间要有回滚预案——如果实验组的缺货率超过对照组 5 个百分点以上，或者库存持有成本上升超过 10%，我会直接切回原策略，再回头查模型的问题。

用这套流程跑下来，模型从调优到上线基本不会再出现"训练时好、上线就崩"的情况。从我自己的经验来看，调优最浪费时间的不是训练本身，而是一次次在验证环节才发现前面某个环节的设计有缺陷。从那以后，我每次调完一轮必做全量回测和参数敏感性分析，不再跳过中间验证步骤直接往上冲，这个习惯帮我省下了很多返工成本。希望这篇指南能帮你在强化学习补货模型的调优路上少走一些弯路。

本文还有配套的精品资源，点击获取