企业官网建设流程全解析

做深度强化学习的人，大多数时间都花在策略网络、奖励函数、探索策略这些显眼的位置。可一旦遇到训练不收敛、方差爆炸，或者离线数据里策略退化，你会发现瓶颈往往不在这些模块，而在一个更底层的问题：分布推断。伯克利2026春季深度强化学习课程在第11讲专门讲变分推断，这个安排很有深意。变分推断不是一门孤立的概率图模型课，它正是深度强化学习算法里策略评估、世界模型、分布约束这几条主线的公共地基。

举个具体例子。基于模型的深度强化学习里，智能体要根据观测推断世界当前的隐状态，再基于隐状态做规划。这个后验分布几乎不可能精确计算。没有变分推断时，你只能靠蒙特卡洛采样或者网格近似，计算量高、扩展性差。有了变分推断，问题被改写成“最小化一个可微损失”，于是梯度下降、GPU、自动微分这些成熟的工具全部能用上。这才是它在现代深度强化学习里真正重要的原因：它把“算不出来的推断”转换成了“可以训练的神经网络目标”。

这篇文章把第11讲的核心内容重新梳理一遍。你会看到变分推断要解决什么问题、它的数学内核ELBO是怎么来的、它和深度强化学习算法常见的三个结合点是什么，以及三个能在本地跑通的PyTorch示例。读完你至少能看懂算法源码里那一堆KL散度项、重参数化噪声和隐变量结构到底在做什么，也能在训练出NaN或后验坍缩时知道往哪里查。

1. 为什么要单独用一讲讲变分推断

1.1 深度强化学习里的三类典型推断问题

很多初学者以为变分推断只是贝叶斯统计的补充工具，和强化学习关系不大。实际上，深度强化学习里到处是分布推断问题，只是平时被策略网络和价值网络的外观掩盖了。

第一类是策略分布的推断。连续控制任务里，策略通常被建模为高斯分布，我们希望调节分布的均值和方差，让智能体的动作更符合任务收益。更复杂的场景里，策略可能是混合高斯分布，甚至是隐变量条件分布。这时候“给定状态，输出动作分布”本质上就是一个条件推断问题。

第二类是价值函数与状态分布的推断。在做策略评估时，我们需要估计一个策略在未来产生的状态分布、回报分布。很多基于值函数的算法没有显式建模状态分布，而是用经验回放近似，结果就是方差大、样本效率低。一旦你显式推断状态分布和回报分布，就能设计更稳定的baseline和控制变量。

第三类是世界模型的隐变量推断。基于模型的深度强化学习希望智能体学一个“环境模拟器”，输入观测，输出未来的预测。观测和真实状态之间往往存在压缩关系，比如高维像素背后是机器人关节角度、小车位置、障碍物距离。智能体必须从观测中推断隐状态，再做预测。这是变分推断在深度强化学习里最重要的应用场景之一。

如果你只看表面，很容易误以为这三类问题各自独立。但它们的数学结构完全相同：都存在一个无法直接计算的分布，需要用一个更简单的分布去近似。这正是变分推断的核心问题。

1.2 没有变分推断时，这些推断问题怎么做

在变分推断成为主流之前，处理后验分布主要有三种办法。

第一种是网格近似。把参数空间均匀切分成网格，在每个格点上计算概率值。这个方法在二维三维问题时很直观，但参数维数一旦上升，网格数目指数增长。神经网络参数动辄百万级，网格近似完全不可行。

第二种是马尔可夫链蒙特卡洛（MCMC）。MCMC 能保证渐进收敛到真实后验，但需要大量采样，而且很难判断链是否已经混合。在深度强化学习的训练循环里，每一步都要做推断，MCMC 的计算开销完全无法接受。

第三种是拉普拉斯近似。它在后验众数附近用一个高斯分布去近似，计算快，但表达力很弱。真实后验往往多峰、偏斜，单个高斯近似很容易低估不确定性。

这些方案有一个共同问题：它们都无法嵌入到端到端的神经网络训练流程里。你很难在反向传播过程中维持一套 MCMC 采样，也很难对网格近似求梯度。变分推断则不同，它把推断问题转化为优化问题，让梯度下降、批量训练、GPU 并行这些基础设施全部可以复用。这就是它被现代深度强化学习采用的根本原因。

1.3 变分推断降低的是哪一类成本

理解变分推断的价值，还要分清它降低了哪一类成本。

它没有降低单次推断的精度成本。实际上，变分推断得到的是近似后验，和精确后验之间有系统性偏差。如果你追求的是高精度推断，它不一定比 MCMC 好。它真正降低的是深度强化学习算法的“工程集成成本”和“训练扩展成本”。

你可以把变分推断理解为给推断问题装了一个标准接口：输入是数据和生成模型，输出是一个可以求梯度的优化目标。想象中的复杂后验积分被替换成“神经网络前向一次、反向一次”，这让研究者和工程师能把精力集中在策略设计、奖励设计、环境交互这些更上层的问题上。

这一节的结论很清楚：变分推断不是深度强化学习里花哨的插件，而是让深度强化学习算法在复杂分布上仍然可训练的关键技术。理解它的价值，比记住公式更重要。

2. 变分推断在深度强化学习中的角色与概念边界

2.1 变分推断不是一个强化学习算法

先澄清一个容易混淆的点。变分推断本身不是深度强化学习算法，它和策略梯度、Q学习不在同一层。策略梯度是“如何通过梯度更新提升策略”的方法，变分推断是“如何用一个简单分布逼近复杂分布”的方法。但在深度强化学习算法内部，两者经常交织在一起。

以软演员-评论家算法（SAC）为例。它使用高斯策略输出动作的均值和方差，训练时会从策略分布采样动作。为了让采样过程可微，SAC 使用了重参数化技巧——这就是变分推断和随机计算图结合的标准手法。你不需要为了跑 SAC 手写一个变分推断模块，但算法源码里那一行z = mu + sigma * eps的底层逻辑，正是变分推断的常用技术。

再以世界模型类算法（如 Dreamer、RSSM）为例。它们训练一个循环状态空间模型，观测经过编码器变成隐状态，隐状态经过转移模型预测未来，解码器负责重建观测。整个训练目标的数学形式就是变分下界 ELBO。世界模型不是强化学习算法本身，但它是深度强化学习里“模型学习”这一环节的实现方式，而变分推断是它的训练引擎。

所以你可以这样理解：变分推断在深度强化学习里是一个“基础设施”，它不决定智能体怎么探索、怎么选动作，它决定的是“神经网络里那些分布相关的模块，怎么得到合理的梯度”。

2.2 三个典型的结合点

第一个结合点：策略分布建模。连续控制的策略是一个条件分布 π(a|s)。为了采样动作并计算对数概率，最常用的做法是假设高斯分布，然后用重参数化采样。当策略需要表达多峰分布时，可以用混合高斯或隐变量模型，这时就需要变分推断来训练策略网络的参数。

第二个结合点：世界模型中的隐变量学习。智能体只有一个高维观测，比如图像，但它需要知道背后真正决定动力学的状态变量。把观测编码到低维隐空间，同时学习状态转移和奖励预测，这个过程与变分自编码器完全同构：编码器给出近似后验 q(z| obs)，解码器和转移模型构成生成模型 p(obs', r | z)，训练目标是最大化 ELBO。

第三个结合点：离线强化学习中的分布约束。在离线强化学习里，我们不能持续与环境交互，只能利用已有的固定数据集。如果策略选择了一个数据集里很少出现的动作，Q 函数会给出过度乐观的估计。常见解决办法是约束学到的策略分布不要偏离数据中的行为分布。这里的偏离程度通常用 KL 散度度量，而 KL 散度正是变分推断最核心的组成部分。你在 IQL、CQL 这些算法里看到的 KL 项，本质上就是在做分布约束推断。

2.3 变分推断与相关方法的概念边界

从表里可以看到，变分推断不是在所有指标上都最好，但它是在“精度、速度、可扩展性”三者之间最平衡的方案。这也是它被深度强化学习课程和算法库广泛采用的原因。

3. 核心数学基础：从后验难解到ELBO

3.1 后验分布为什么难算

变分推断要解决的根本问题，是计算后验分布。假设我们有隐变量 z、观测数据 x，以及生成模型 p(x, z) = p(z)p(x|z)。根据贝叶斯公式：

p(z|x) = p(z)p(x|z) / ∫p(z)p(x|z)dz

看起来很简单，但分母里的积分通常没有解析解。当 z 是神经网络参数或高维隐状态时，这个积分涉及数百万维空间，无法直接计算。没有后验分布，我们就无法对隐变量做可靠的推断，也无法评估模型对数据的拟合程度。

变分推断换了一个角度：不直接计算 p(z|x)，而是找一个简单分布 q(z)，让 q(z) 尽量接近真实后验。这里的“接近”用 KL 散度来度量。

3.2 ELBO 是怎么推导出来的

对任意分布 q(z)，我们可以把对数边际似然分解为 ELBO 和 KL 散度之和：

log p(x) = log ∫p(x,z)dz

引入一个变分分布 q(z)，利用期望的对数 Jensen 不等式，或者直接做恒等变形，可以得到：

log p(x) = E_{q(z)}[log p(x,z) - log q(z)] + KL[q(z) || p(z|x)]

其中第一项就是 ELBO（Evidence Lower Bound），第二项是变分分布与真实后验之间的 KL 散度。由于 KL 散度恒大于等于零，所以：

log p(x) ≥ E_{q(z)}[log p(x,z) - log q(z)] = ELBO

把 ELBO 展开，它是两项之差：

ELBO = E_{q(z)}[log p(x|z)] - KL[q(z) || p(z)]

第一项是“重建或似然项”，衡量隐变量 z 对观测 x 的解释能力；第二项是“正则项”，约束 q(z) 不要离先验 p(z) 太远。最大化 ELBO，就是同时让生成模型更好地解释数据，又让近似后验贴近先验。

这里真正值得注意的点是：最大化 ELBO 等价于最小化 KL[q(z) || p(z|x)]。换句话说，我们不需要知道后验的具体形式，只要不断调 q(z) 的参数，让 ELBO 上升，q(z) 就会越来越接近真实后验。这个性质把“推断”变成了“优化”。

3.3 最大化 ELBO 在深度强化学习里的意义

在深度强化学习代码里，你经常看到类似下面的损失函数：

loss = reconstruction_loss + beta * kl_loss

这个公式不是拍脑袋写出来的。它就是 ELBO 的相反数。reconstruction_loss 对应 -log p(x|z)，kl_loss 对应 KL[q(z) || p(z)]。理解了 ELBO，你就能看懂这些损失项为什么长这个样子，也就能明白为什么调整 beta 会影响模型在“重建准确性”和“隐空间正则化”之间的权衡。

很多人在调试世界模型时遇到隐变量没有意义、重建效果差、训练不稳定等问题，根源往往就是对 ELBO 两项的平衡理解不到位。后面第 7 节会专门展开这些排查思路。

4. 深度强化学习里最常用的变分推断方法

4.1 变分EM：世界模型训练的引擎

变分推断最经典的算法形式是变分 EM，它交替执行两个步骤。E 步固定生成模型参数，更新变分分布 q(z)，让 ELBO 尽量大；M 步固定 q(z)，更新生成模型参数 p(x|z)，让 ELBO 尽量大。两个步骤交替进行，ELBO 单调不降。

在世界模型类算法里，这个交替过程非常明显。编码器每读一批观测，输出隐变量的近似后验，相当于 E 步；解码器、转移模型、奖励预测器用这批隐变量学习环境动力学，相当于 M 步。你不需要在代码里显式写 E 和 M 两个步骤，优化器自动完成参数的交替更新，但理解这个过程能帮你在设计模块时抓住重点：生成模型和推断模型必须配套设计，不能只优化其中一方。

4.2 平均场变分族：简单假设为什么够用

变分推断需要指定一个分布族 q(z)。最常用的假设是平均场近似：把隐变量拆成互相独立的组，每一组用一个独立分布逼近。在深度强化学习里，最常见的做法是假设 q(z) 是对角高斯分布，即均值为 μ，方差矩阵为对角阵。

平均场近似看起来很粗糙，因为真实后验往往存在相关性。但在实践中，它通过两个方式弥补了表达力不足。一是神经网络本身有很强的函数拟合能力，编码器输出的 μ 和 log σ 已经能捕获复杂数据中的非线性关系。二是重参数化技巧让梯度更新可以灵活调整每个维度的均值和方差，即使在独立假设下也能拟合多峰分布的某些模态。

如果你需要更强的表达力，可以选择混合高斯变分族或流向（normalizing flows），它们可以逼近更复杂的后验。但要注意，分布族越复杂，优化难度越高，训练越不稳定。对大多数深度强化学习任务来说，对角高斯分布是最稳妥的起点。

4.3 重参数化技巧：把随机采样变成可微路径

重参数化技巧是连接变分推断和深度强化学习的关键技术。

原始需要的期望梯度是：

E_{q(z)}[f(z)] 对 q 的参数的梯度

如果直接采样 z ~ q(z)，那么 z 的随机性与 q 的参数耦合，梯度无法回传到 q 的参数。重参数化技巧把 z 的采样过程改写为：

z = μ + σ * ε， ε ~ N(0, I)

这里的随机性来自 ε，它独立于参数，而 μ、σ 是确定性函数。于是对参数的梯度可以正常计算。

一个通俗的类比是：把“掷骰子决定结果”改成“先生成一个标准骰子点数，再按规则映射到目标结果”。随机源在输入端，路径上的参数可以求导。

在深度强化学习里，这个技巧无处不在。SAC 的策略网络用它采样动作，同时保留策略对动作分布的梯度；世界模型的编码器用它采样隐变量，让每一帧观测产生可微的重建损失；VAE 用它训练整个生成模型。理解了重参数化技巧，你就能明白为什么那些算法的采样代码里都有一行eps = torch.randn_like(std)。

4.4 进阶工具：SVGD

平均场变分推断用一个参数化分布做近似，性能受分布族限制。Stein 变分梯度下降（SVGD）则用一组粒子代表后验分布，粒子通过核函数相互作用，逐步逼近真实后验。SVGD 的优势是不需要指定分布族，且能保留多模态。

在深度强化学习里，SVGD 常用于参数空间的分布推断，比如评估策略参数的后验不确定性、做粒子式策略搜索。但它的计算成本比平均场高，工程实现也更复杂。初学阶段不必立刻掌握，知道它在“更复杂的变分推断任务”里有存在即可。

5. 环境准备与代码实现

5.1 运行环境

本文示例使用 Python 和 PyTorch，版本请以实际环境为准，重点演示通用思路。

创建虚拟环境并安装依赖：

python -m venv vi_env source vi_env/bin/activate # Windows 下使用 vi_env\Scripts\activate pip install torch numpy

5.2 示例1：随机变分推断（SVI）最小实现

我们先实现一个最简变分推断：假设观测数据来自某个高斯分布，我们要用变分推断推断该分布的均值和方差。

# 文件路径: svi_gaussian_demo.py import torch import torch.optim as optim import math torch.manual_seed(42) # 用一组观测模拟“环境”，真实均值为1.2，真实标准差为0.5 true_mu, true_sigma = 1.2, 0.5 data = torch.randn(5000) * true_sigma + true_mu # 变分参数：q(z) = N(mu, sigma^2) mu = torch.zeros(1, requires_grad=True) log_var = torch.zeros(1, requires_grad=True) def sigma(): return torch.exp(0.5 * log_var) optimizer = optim.Adam([mu, log_var], lr=0.05) batch_size = 128 n_samples = 16 # 多采样减小蒙特卡洛方差 for step in range(1500): optimizer.zero_grad() # 从观测中采样一个batch batch = data[torch.randint(0, len(data), (batch_size,))] # 从 q(z) 采样多个样本，使用重参数化 z = mu + sigma() * torch.randn(n_samples, 1) # (n_samples, 1) # 先验 p(z) = N(0, 1) log_prior = -0.5 * math.log(2 * math.pi) - 0.5 * z.pow(2) # 变分分布 q(z) 的对数密度 log_q = ( -0.5 * math.log(2 * math.pi) - 0.5 * log_var - 0.5 * ((z - mu) / sigma()).pow(2) ) # 似然项 log p(x|z)，假设观测服从 N(z, 1) log_lik = -0.5 * math.log(2 * math.pi) - 0.5 * (batch.unsqueeze(0) - z).pow(2) log_lik = log_lik.mean(dim=-1, keepdim=True) # (n_samples, 1) # ELBO = 对数联合 - 对数变分分布 elbo_per_sample = log_lik + log_prior - log_q elbo = elbo_per_sample.mean() loss = -elbo # 最大化ELBO等价于最小化负ELBO loss.backward() optimizer.step() if step % 300 == 0: print( f"step={step:4d} mu={mu.item():.3f} " f"sigma={sigma().item():.3f} ELBO={elbo.item():.3f}" )

这个示例展示了变分推断最核心的流程：定义变分参数、从分布采样、计算 ELBO、反向传播。运行后，mu 会逐渐逼近真实均值 1.2，sigma 会逐渐收窄到接近 0.5，ELBO 会持续上升。因为采样和小批量存在随机性，每次运行的具体数值会略有不同，这是正常现象。

5.3 示例2：重参数化策略网络

在深度强化学习里，策略网络通常输出高斯动作分布的均值和标准差，然后用重参数化采样动作，同时保留梯度路径。下面是一个最小实现。

# 文件路径: reparameterized_actor.py import math import torch import torch.nn as nn class GaussianActor(nn.Module): """输出动作高斯分布的均值和对数标准差，支持重参数化采样。""" def __init__(self, state_dim, action_dim, hidden_dim=256): super().__init__() self.net = nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), ) self.mean_head = nn.Linear(hidden_dim, action_dim) self.log_std_head = nn.Linear(hidden_dim, action_dim) def forward(self, state): h = self.net(state) mean = self.mean_head(h) log_std = torch.clamp(self.log_std_head(h), min=-20, max=2) return mean, log_std def sample_action(self, state): mean, log_std = self.forward(state) std = torch.exp(log_std) # 重参数化：随机源来自标准正态，梯度可以回传到 mean 和 log_std eps = torch.randn_like(std) action = mean + std * eps # 高斯对数概率 log_prob = ( -0.5 * ((action - mean) / std).pow(2) - log_std - 0.5 * math.log(2 * math.pi) ) return action, log_prob # 使用示例 torch.manual_seed(42) actor = GaussianActor(state_dim=4, action_dim=2) state = torch.randn(1, 4) action, log_prob = actor.sample_action(state) print("action shape:", action.shape) print("action:", action) print("log_prob:", log_prob)

这段代码中的action = mean + std * eps与 4.3 节的重参数化公式完全一致。在深度强化学习训练中，这个action可以直接送入环境交互，也可以用于计算策略梯度中的对数概率。关键优势是：action对mean和log_std的梯度存在，策略优化器可以正常更新。

5.4 示例3：世界模型中的变分推断

最后一个示例模拟世界模型的训练。我们用一个最简单的“单步世界模型”，接收当前观测 obs，通过编码器得到隐变量 z，再用解码器预测下一个观测。这里演示的是和 Dreamer 等世界模型共享的 ELBO 训练思路，真正的生产版本会在隐空间里加入循环结构，比如 RSSM。

# 文件路径: world_model_vae.py import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim class OneStepWorldModel(nn.Module): """最小世界模型：obs -> z -> next_obs，用变分推断训练""" def __init__(self, obs_dim=4, latent_dim=8, hidden_dim=64): super().__init__() self.encoder = nn.Sequential( nn.Linear(obs_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), ) self.mu_head = nn.Linear(hidden_dim, latent_dim) self.log_var_head = nn.Linear(hidden_dim, latent_dim) self.decoder = nn.Sequential( nn.Linear(latent_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, obs_dim), ) def encode(self, obs): h = self.encoder(obs) mu = self.mu_head(h) log_var = torch.clamp(self.log_var_head(h), min=-10, max=2) return mu, log_var def reparameterize(self, mu, log_var): std = torch.exp(0.5 * log_var) eps = torch.randn_like(std) return mu + std * eps def forward(self, obs): mu, log_var = self.encode(obs) z = self.reparameterize(mu, log_var) pred_next = self.decoder(z) return pred_next, mu, log_var def elbo_loss(model, obs, next_obs, beta=1.0): """直接写ELBO的负值作为损失。""" pred_next, mu, log_var = model(obs) # 重建项：预测 next_obs 与真实 next_obs 的误差 recon_loss = F.mse_loss(pred_next, next_obs, reduction='none').sum(-1).mean() # KL项：q(z|obs) 与标准正态先验的KL散度 kl_loss = -0.5 * (1 + log_var - mu.pow(2) - log_var.exp()).sum(-1).mean() return recon_loss + beta * kl_loss # 模拟训练数据：实际项目中替换为强化学习环境采样的 (obs, next_obs) torch.manual_seed(42) obs = torch.randn(128, 4) next_obs = obs + 0.1 * torch.randn_like(obs) model = OneStepWorldModel() optimizer = optim.Adam(model.parameters(), lr=1e-3) for step in range(300): optimizer.zero_grad() loss = elbo_loss(model, obs, next_obs) loss.backward() optimizer.step() if step % 50 == 0: print(f"step={step}, loss={loss.item():.4f}")

这个代码里最核心的地方在elbo_loss。它没有写成两套独立的损失，而是把“重建误差”和“KL 散度”组合成同一个目标，这正是 ELBO 的工程化形态。实际世界模型项目里，next_obs可能来自回放缓冲区，decoder可能还需要预测奖励和终止信号，但底层的变分推断逻辑完全一致。

如果你运行这三段代码，第一段能直观看到变分参数逼近真实分布，第二段能验证重参数化路径的梯度存在，第三段能观察一个完整的 ELBO 损失在优化过程中逐渐下降。三者的技术主线是同一套东西。

6. 运行结果与效果验证

6.1 运行方式

把上面三个文件依次保存并运行：

python svi_gaussian_demo.py python reparameterized_actor.py python world_model_vae.py

只要安装好 PyTorch，CPU 就能跑通全部示例，不需要 GPU。

6.2 示例1的预期结果

SVI示例运行后，你会看到类似下面的输出，注意具体数值会因随机种子不同而变化：

step=0 mu=0.023 sigma=1.000 ELBO=-1.437 step=300 mu=1.167 sigma=0.486 ELBO=-1.192 step=600 mu=1.198 sigma=0.461 ELBO=-1.174 step=900 mu=1.201 sigma=0.450 ELBO=-1.169 step=1200 mu=1.201 sigma=0.446 ELBO=-1.168

判断成功的标准有三条：

• mu 逐渐逼近真实均值 1.2。
• sigma 逐渐收窄，接近真实标准差 0.5。
• ELBO 整体呈上升趋势，且后期在小范围内波动。

如果 ELBO 不升反降，优先检查学习率是否过大，或者 n_samples 是否过小导致方差过大。

6.3 示例2和示例3的验证要点

示例2的重点不是训练，而是确认action.shape与action_dim一致，log_prob能被打印出来，并且前向传播不会报错。如果要在真实强化学习循环里使用，应该在外层加一个优化器，用策略梯度或 Q 函数的梯度更新 Actor 参数。

示例3的重点是loss随训练步数下降。你可以尝试打印recon_loss和kl_loss两部分，观察它们的变化趋势。如果kl_loss过早降到接近 0，说明模型可能发生了后验坍缩，这时需要调整 beta 或降低解码器容量。

7. 常见问题与排查思路

这里真正容易踩坑的地方是后验坍缩。它不是程序报错，而是模型“偷懒”地让 KL 项归零，隐变量不再携带信息。调试方法很简单：把recon_loss和kl_loss分别打印出来，如果 KL 项与重建项差距悬殊，优先调 beta。

8. 最佳实践与工程建议

8.1 分布选择：先用对角高斯，再考虑复杂分布

大多数深度强化学习问题，对角高斯变分分布已经够用。它参数少、优化稳定、重参数化实现简单。只有当任务明确需要多模态分布表达时，才考虑混合高斯或流向变换。先从简单分布起步，能让你把精力集中在策略设计、奖励设计等更上层的问题上。

8.2 ELBO 曲线是变分推断的“仪表盘”

训练变分推断模型时，要同时监控三样东西：ELBO 总量、KL 项、重建项。ELBO 总量代表整体拟合程度；KL 项反映变分分布与先验的偏离；重建项反映隐变量对观测的解释能力。不看这三条曲线，就等于闭着眼睛调参。

建议每隔固定步数打印一次，或者用 TensorBoard 记录：

# 伪代码，示意日志记录 writer.add_scalar("train/elbo", elbo.item(), step) writer.add_scalar("train/kl", kl_loss.item(), step) writer.add_scalar("train/recon", recon_loss.item(), step)

8.3 数值稳定性注意三点

第一，log_var必须做范围限制，防止exp(log_var)溢出。实践中常用clamp(min=-10, max=2)，范围可以根据数据分布微调。第二，计算标准差时可以在std上加一个小 epsilon，避免除以零。第三，涉及log运算时，保证输入严格大于 0，必要时使用log_sum_exp技巧。

8.4 注意 KL 方向的选择

变分推断里存在两种 KL 方向。反向 KL 倾向于“贴着真实后验的一个峰”，被称为 mode-seeking；前向 KL 倾向于“覆盖真实后验的所有区域”，被称为 mean-seeking。绝大多数深度强化学习代码用的是反向 KL，因为它的期望可以方便地用重参数化和自动微分实现。如果下游任务需要谨慎的不确定性估计，要清楚反向 KL 可能低估方差。

8.5 与策略网络结合时的梯度检查

把变分推断接入策略网络后，第一步应该做一个梯度检查。给定一个固定状态，前向得到动作和 log_prob，反向计算策略参数的梯度，确认梯度不是全零。如果梯度为零，先检查重参数化是否真的存在。这个检查能省下大量调试时间。

8.6 生产环境与回滚

变分推断模块一旦进入生产环境，就要遵守几个底线原则。训练脚本必须记录随机种子、模型版本、数据版本。模型参数要定期备份。每次修改 ELBO 相关损失或 beta 权重，都先在验证集上对比，再决定是否全量上线。如果线上训练指标恶化，能快速回滚到上一版本。对任何涉及安全、权限或生产环境变更的操作，都要先在小范围测试环境中验证，避免直接在全量环境上冒险。

9. 总结与后续学习方向

第11讲的变分推断内容，等于是给深度强化学习补上了“分布推断”这块拼图。读完这一讲，你已经理解了三个层面的东西：变分推断要解决的是后验难以计算的问题，ELBO 是它的核心优化目标，重参数化技巧让它能在神经网络里落地。更重要的是，你知道了它和策略网络、世界模型、离线强化学习之间不是平行关系，而是深层依赖关系。

下一步的实践路径很明确。先运行本文的三个示例，把 SVI、重参数化策略网络、世界模型 ELBO 这三件事跑通。然后回到你正在使用的深度强化学习框架，搜索代码里的kl_loss、reparameterize、eps = torch.randn_like这类关键词，尝试把 ELBO 曲线打印出来，对照本文的排查表检查训练稳定性。

想继续深入的话，可以学习以下方向：RSSM 循环状态空间模型的完整实现，Dreamer 系列算法如何用变分推断训练世界模型，SVGD 粒子推断原理，以及基于能量模型的变分分布表达。也可以阅读 Variational Inference 相关的经典综述，把数学推导补充完整。

这篇文章建议收藏备用。下次你再看到深度强化学习代码里出现 KL 散度和重参数化噪声时，就能直接判断它们属于哪一层逻辑，也知道当训练出问题时应该看什么地方。变分推断不是一门可以绕过去的选修课，它是深度强化学习真正意义上的基础设施。