企业官网建设流程全解析

Microduck RL：鸭子如何学会走路？Velocity任务奖励函数设计完全深潜指南

【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rl

Microduck RL（microduck_rl）是一个基于 mjlab（MuJoCo Warp）+ PPO 的双足机器人强化学习训练环境，让一只约 800g、25cm 高的微型鸭子机器人在仿真中学会走路、站立、滑行。本文深潜其最核心的Velocity 任务（Mjlab-Velocity-Flat-MicroDuck）的奖励函数设计，拆解每一笔奖励权重背后的"试错故事"，帮你理解如何为小尺寸双足机器人设计一套既能走路、又能抗干扰、还能听话摆头的运动策略。

一、Velocity 任务：一条腿 + 一条头部的完整运动指令

Velocity 是整个仓库的"主任务"，鸭子要同时完成两件事：

• 追踪速度指令（twist：前后/左右/转向 3 维指令）
• 追踪头部姿态指令（head_pose：颈部俯仰、头部俯仰/偏航/横滚 4 维指令）

所有任务共享一个61 维观测契约（48 维本体感知 + 13 维指令），这使得走路策略和站立、空翻等策略可以在真机上随时热切换。任务配置全部集中在 microduck_velocity_env_cfg.py，自定义奖励函数在 mdp.py 中实现。

💡 训练入口：uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096，4096 个并行环境训 1–2 小时即可得到一个可用的步态。

二、Velocity 奖励函数权重全景图

打开 microduck_velocity_env_cfg.py 的# === REWARDS ===段落，可以看到完整配方。下表汇总了每项奖励及其设计意图：

📌一个关键细节：pose奖励只作用于腿关节，显式排除了颈部/头部（正则^(?!passive_|.*neck.*|.*head.*).*）。原因写在注释里：如果把头也纳入"回到 HOME 位姿"奖励，它会和head_pose_tracking互相拉扯，策略最终学会"无视指令"——因为姿态奖励梯度更强。这就是奖励设计第一课：同一个自由度只能有一个主奖励。

三、步态塑形：教鸭子"抬脚、别拖、允许打滑"

1. air_time：用"腾空窗口"教出节律

air_time奖励要求双脚的腾空时长落在[0.125s, 0.300s]窗口内（microduck_velocity_env_cfg.py#L333-L336）。这招比"惩罚步频"高明：窗口外零奖励、窗口内全额奖励，鸭子自然收敛到接近人类步频的节律，而静止不动（零指令时脚不腾空）则不会被误奖励。

至于"学会站着不动"，靠的是另一套课程：standing_envs让环境中的零指令占比从 2% 逐步升到 25%（见下文课程部分）——不写显式的"别迈步"惩罚，而是用数据分布教。

2. foot_slip 故意调弱到 −0.1

多数双足机器人奖励表里foot_slip是 −1.0 级别的重罚。但 Microduck 的转向主要靠单脚原地旋转（pivot turn），强行禁止打滑会让转身几乎学不会，所以这里刻意削弱到−0.1（L312-L315）：

"foot_slip deliberately weak (-0.1, not -1.0): -1.0 was too restrictive for this robot's pivot-heavy turning."

3. upright 加倍：治"前倾走"的顽疾

2026-07 的速度-俯仰评估发现：策略以 +2~4° 的稳态前倾走路，且速度下 2/3 的推倒都是向前摔。原来在权重 1.0 时，4° 前倾每步只花 ~0.05 奖励——几乎白嫖。把权重提到 2.0、std² 压到 0.05 后，4° 前倾每步代价 ~0.19，足以把躯干拉平，又不至于让被推时的瞬时倾斜付不起账（L293-L301）。

四、头部追踪：一次"拧紧 std 就站死"的失败实验

这是整个项目最有教育价值的奖励设计案例（microduck_velocity_env_cfg.py#L729-L745）。

问题：鸭子走路时头部平均下俯约 15°（重力把 280g 的头——占整机 38% 质量——往下拽）。

失败的修复：把head_pose_tracking的高斯 std 从 0.5 拧到 0.1，想"罚狠了就会抬"。结果灾难性：

• air_time从 1.01 崩到 0.02（脚不抬了）
• 脚峰值高度 15mm → 2mm
• 策略熵 10.9 → 1.9，第 300 次迭代后鸭子彻底不走了

原因：头部摆动是走路物理上不可避免的——一个 38% 质量的头迈步时必须振荡。瞬时紧容差相当于对"走路"本身征收 0.77/步的税（占了 air_time 奖励的 76%），而站着不动一分不罚。RL 忠实执行了字面意思：站立收益更高，那就站死。

正确的修复：区分"可避免"和"不可避免"的误差，只罚前者。新增head_pose_bias惩罚（mdp.py#L5229-L5317）：

• 对跟踪误差做1 秒指数移动平均（EMA）——振荡分量正负抵消，只剩直流偏移；
• 对 EMA 取L1 范数（大偏差下梯度恒定，紧高斯在大误差处梯度趋零会"失明"）；
• 权重通过课程从 0（前 600 次迭代别打扰步态学习）爬到 3.0。

鸭子学会把颈部指令整体抬高一点抵消重力下垂，而走路振荡完全免费。

🎯 通用法则（出自 AGENTS.md）：高斯 std 应取"你仍在意的误差量级"；拧 std 之前先问自己——这个误差策略能逃掉吗？逃不掉的税只会逼出"什么都不做"的最优解。

五、指令采样设计：固定范围 + 原地转桶 + 站立课程

奖励之外，指令分布本身就是训练策略的一部分：

1. 固定的、保守的指令范围：线速度 x 轴 ±0.4 m/s、y 轴 ±0.3、转向 ±1.0 rad/s（L644-L650）。团队曾试过范围随课程扩张，结果扩张速度超过了机器人能力成长速度，1000 次迭代后奖励/时长双下降。
2. 15% 原地转桶：独立均匀采样几乎抽不到lin=0 且 |ang| 较大的组合（实测仅 ~2%），原地旋转永远学不会。于是显式划出TURN_IN_PLACE_FRACTION = 0.15的环境专门发这种指令（L24-L25）。
3. 站立课程：零指令环境占比0.02 → 0.25，分 5 档爬升到第 2000 次迭代——先教会走，再教站。
4. 头部姿态范围课程：颈部俯仰 ±0.05 → ±1.10 rad 分 5 档扩到机械极限（留 10% 安全余量），每档 500 次迭代。

六、两条课程：平滑度延迟上税，防"不动最优"

action_rate_l2（动作变化率惩罚）是典型的"技能发现后再引入"的调节项（L776-L791）：

迭代 0 → 1500： −0.1 → −0.2 → −0.4 → −0.6 → −0.8 → −1.0

如果开局就重罚动作变化，探索期任何尝试都亏钱，"原地不动"直接成为 argmax。这也是 AGENTS.md 奖励设计清单里反复强调的一条：平滑类惩罚可以在技能发现后放心加权，运动阻塞类惩罚（body_ang_vel、角动量）在动态任务里必须保持轻量。

七、域随机化与 NaN 防护：奖励之外的生存工程

Velocity 环境开启了一整套 sim2real 域随机化（L31-L42 的ENABLE_*开关）：

• 躯干/头部质心偏移（±3mm 起步，课程爬升到 ±15mm / ±10mm——再大就超出脚掌支撑多边形，逼出怪步态）
• 质量+惯量 ±5%、关节摩擦 ±10%、转子惯量 ±10%
• IMU 安装误差：观测层面做 ≤6° 的随机轴旋转（仅 actor 看到，critic 保留真值）
• 编码器偏差：每关节 ±0.86° 常量偏移
• 速度推搡：每 3–6 秒给 ±0.3 m/s 的速度冲击（从 ±0.5 降下来——超过最大步行速度的推力只会训出"永远紧张的逃跑步态"）

此外还有一层"防崩"机制：物理状态出现 NaN 时立即终止该环境（nan_state终止项，mdp.py 中的robot_state_is_nan），并对奖励管理器打了 NaN 安全补丁——因为 mjlab 在 reset之前算奖励，一个 NaN 奖励足以污染整个 PPO buffer。

八、可复用的奖励设计清单（血泪经验版）

以下规则全部来自 AGENTS.md 的"Reward design"章节，每一条都对应一次真实翻车：

1. 符号约定：成本函数返回正值 → 配负权重；自取负的惩罚函数 → 配正权重。双重否定会变成"违规奖励"，策略会靠撞墙刷分。铁律检查：wandb 里每个Episode_Reward/<penalty>必须 ≤ 0。
2. RL 优化的是字面意思：每个没写死的自由度都会被利用。想约束动作形态，用硬性状态门（接触、轴向检查、闩锁），别用小惩罚"劝"。
3. 不设奖金：任何"到达即每步发钱"的目标奖励都是奖池，会买到任意暴力动作。用斜坡化的内部目标让"慢就是 argmax"。
4. 绝不在坏状态下发正奖励：策略会停在最便宜的达标姿势刷分。改用基于势的塑形（只付 Δprogress，比如 Δcos(tilt)：升有酬、保持为零、刷不了）。
5. 复制调节项时比较"奖励质量"而非权重：PPO 看的是相对优势，正奖励堆叠大 4 倍，同样的 action_rate 权重实际弱 4 倍。

九、总结

Microduck RL 的 Velocity 任务给出了一套小尺寸双足机器人运动策略的完整奖励配方：

• 主干：速度追踪（±2.0）+ 姿态保持（腿部专用）+ 直立奖励（2.0）+ 头部追踪（2.0）
• 步态：air_time 腾空窗口、抬脚 2cm 目标、弱化的打滑惩罚
• 两条铁律：可避免的误差才罚（1s EMA + L1 治头下垂），运动阻塞类惩罚保持轻量
• 数据工程：固定指令范围 + 原地转桶 + 站立课程 + 平滑度延迟上税
• 生存工程：全套域随机化 + NaN 早退 + 奖励/优势 NaN 净化

想动手改一改，建议从 microduck_velocity_env_cfg.py 顶部的ENABLE_*开关和奖励权重入手，改完用uv run --with pytest pytest tests/跑一遍配置回归测试（锁定关节索引映射、奖励符号约定与 NaN 防护），再用 64 个环境 × 5 次迭代做冒烟验证。更多任务（滑轮椅 Roller、空翻 Roulade、起身 StandUp）的设计文档都在 docs/superpowers/specs/ 下，可对照阅读。

【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rl