DHCPv6详解：IPv6地址分配、SLAAC与中继代理实战指南
2026/10/15 4:43:51
26年10月来自港大、星尘智能（Astribot）和南方科技大学的论文“MobiAgent: Dual-Loop Recursive Policy Self- Improvement for Long-Horizon Mobile Manipulation”。
MobiAgent 最有价值的地方，是把“长任务中的纠错”与“执行经验再训练”连成闭环。它说明了：在移动操作中，除了提高单个动作策略的能力，还需要判断动作是否真正完成、失败后是否应改变步骤，以及如何把部署数据转化为下一轮训练数据。
如图 1 所示MobiAgent概述：
但论文的证据更适合支持“固定技能库上的闭环执行与迭代改进”，还不足以证明开放式技能发现或长期自主进化。
一、方法要点：用两个时间尺度解决两个问题
论文针对长时程移动操作的三个瓶颈：
- 错误累积：导航偏一点、抓取姿态差一点，后续放置就可能失败。
- 不同动作之间的学习干扰：底盘移动和精细操作的控制规律不同，共用动作头可能互相影响。
- 部署经验无法沉淀：系统执行失败后，即使重新规划成功，底层策略也未必因此变好。
MobiAgent 的对应方案是：
| 层次 | 核心机制 | 解决的问题 |
|---|---|---|
| 内循环：部署时 | 规划 → 技能执行 → 结果检查 → 继续或重规划 | 如何完成当前任务 |
| 外循环：离线训练时 | 轨迹分段 → 验证与归类 → 技能策略微调 | 如何改善以后的执行 |
例如，机器人把罐子扔到垃圾桶外：内循环先发现放置失败，再安排“重新靠近—重新抓取—重新放置”；外循环则处理部署轨迹，将可用片段加入训练。
这里的“递归自改进”，具体是部署—数据整理—离线微调—再次部署，不是执行过程中实时更新模型参数。
二、模型框架：高层语义推理，低层技能专门化
如图 2 所示MobiAgent框架：
整体结构可以概括为：
1. Planner：滚动规划，而非一次性执行完整计划。
它根据全局目标、当前多视角观测、历史执行结果和技能目录，输出下一条子任务及技能标识：
例如，子任务是“抓取红色罐子”，技能标识是
pick。即使生成完整计划草稿，也只执行当前第一步；技能完成或失败后，再根据最新状态规划。
因此，它的灵活性来自已有技能的动态组合。自然语言目标可以变化，但可执行行为仍受技能目录约束。
2. Executor：共享主干，每类技能使用独立动作专家。
执行器基于 π₀.₅：
附录给出的结构是共享 PaliGemma/Gemma 2B 主干，各技能配备约 300M 的动作专家，通过 flow matching 生成连续动作片段。
这里共享的是执行器内部各技能的视觉语言主干，不是 Planner、Critic 与执行器共用一个模型。论文中 Planner、Critic 等使用 GPT-5.4，视频分段使用 Gemini-3.1-Pro。
这种设计兼顾了视觉语义知识复用和动作专门化，但只能说缓解干扰：共享主干仍可能存在跨技能干扰，专家数量增加也会增加参数与维护成本。
3. Critic：检查当前技能是否真正完成。
Critic 周期性读取近期观测窗口；附录提示词还使用夹爪开度、底盘和末端运动等本体信息。它输出：
complete：结束当前技能，交回 Planner；incomplete：继续尝试，或请求重规划；error：重规划。
一个确定性的控制器负责执行这些决定，并限制重试次数。因此，所谓“连续反思”实际是周期性检查，并非每个控制时刻都进行高层推理。
4. 外循环：自动整理数据，再做行为克隆。
启动阶段，系统从已有示范中分段、描述和聚类，建立技能目录与动作专家；后续阶段，新轨迹被归入已有技能，用于微调现有策略。
因此，“无需人工标注”主要指轨迹整理流程自动化。真实机器人仍使用每项任务 100 条人工遥操作示范启动，也不是不依赖示范的强化学习。
三、贡献：哪些实验真正支持了它？
| 实验 | 论文报告的结果 | 可以支持的结论 |
|---|---|---|
| BEHAVIOR-1K，选取4项任务 | π₀.₅-TA：42.5%；MobiAgent：65.0% | 技能共享与闭环编排在这些任务上有效 |
| RoboCasa，16项任务 | 基础 π₀.₅：7.50%；R1：18.75%；R3：27.50%；R6：26.25% | 部署数据回收有收益，但较快进入平台期 |
| Astribot S1，4项任务 | π₀.₅：10.0%；MobiAgent 启动轮：32.5%；两轮更新后：57.5% | 框架改造和后续数据更新都带来提升 |
有以下三点。
第一，恢复动作可以通过已有技能重新组合出来。
物体掉落后，仅重复“放置”无效，必须先重新靠近和抓取。移除全局重规划后，成功率从 65.0% 降至 40.0%，说明它确实超越了局部重试。
第二，动作专家专门化具有实证价值。
保持 Planner、Critic 和训练数据不变，改用单一动作头后成功率降至 42.5%。这支持按技能分离动作建模，但还不能完全排除参数容量差异的影响。
第三，展示了实际可运行的部署数据回收流程。
真实机器人从 32.5% 提高到 57.5%，比仅展示一个概念性的“终身学习框架”更扎实。
总体上，其贡献主要在系统架构、模块接口和学习流程的整合；论文没有提出新的基础视觉语言模型或新的 flow-matching 原理。
四、主要问题：能力边界与证据缺口
1. “开放式自我进化”的表述强于实际验证。
第3.2节明确说明：后续 rollout 绕过重新聚类和命名，直接匹配已有技能，训练时不扩展模型目录。
因此，它证明的是既有技能的迭代改进，没有证明：
- 系统能自主发现此前没有的动作能力；
- 能学会新技能而不遗忘旧技能；
- 能在长期开放环境中持续提升。
此外，RoboCasa 后期在 25%—27.5% 波动，说明当前外循环没有突破持续增长的瓶颈。
2. 自动验证的正文描述与附录实现存在重要差距。
正文将 Data Curator 的验证描述为检查片段、边界和行为实现情况；但附录 A.4 明确规定，验证器只看文本分段，不观看录像。
这意味着它可以检查“描述是否合理、顺序是否连贯”，却不能独立确认“视频中的动作是否真的发生、时间边界是否准确”。视频分段器的错误可能以合理文本的形式通过验证，再进入训练。
这不是说整个外循环不使用视觉，而是它缺少一个独立的、直接基于视频的验收环节。
3. 原子技能完成，不等于下一技能能够接续。
这是最值得深入研究的问题。
论文附录给出例子：机器人成功抓住罐子，但手臂停在抬高、偏转的位置，下一步放置策略无法处理。Critic 只判断“抓到了”，没有判断“当前状态是否适合放入桶中”。
换言之：
当前技能成功 /=》 下一技能可执行
自然语言层面的技能可组合，不代表控制状态层面的技能可组合。
4. Critic 是核心增益来源，也成为新的失效点。
去掉 Critic，成功率降至 10.0%，显示它非常重要；但附录也记录了遮挡、距离误判和过早宣布完成等问题。
需要注意，这个消融同时影响技能终止判断，因此不能将全部增益都归因于高层“反思推理”。更严谨的比较应加入学习式终止分类器、几何判据等替代方案。
5. 评估规模和消融设计不足以支撑很强的泛化结论。
- BEHAVIOR-1K 主实验只有4项任务，每项10次；不能理解为覆盖了整个1K任务集。
- Astribot S1 主实验同样每项10次；一次成败就改变该任务10个百分点。
- “去掉 Planner”同时取消了动态规划和跨任务技能共享，无法单独测出规划贡献。
- 外循环缺少等量新增数据、等训练步数的对照，难以分离“更多数据”和“自动整理机制”的收益。
- 多种机器人上的分别训练与验证，不等于跨机器人直接迁移。
6. 成功率提升伴随明显的运行开销。
附录表 S8 中，成功轨迹的运行时间约为 π₀.₅-TA 的2.8—3.0倍。例如取啤酒任务由 538 秒增至 1556 秒，其中 API 时间为792秒。
所以当前结果更接近“花更多时间换取更高成功率”。后续应同时报告单位时间完成任务数、每次成功的总成本，并纳入失败轨迹的开销。
五、下一步工作：优先做什么，以及怎样验证
下面是研究建议：
| 优先方向 | 具体方法 | 最关键的验证 |
|---|---|---|
| 技能衔接感知 | 给技能增加可启动状态与结束状态约束；策略额外条件化下一技能；必要时插入重定位或姿态调整 | 在不同上游结束姿态下，测量技能对接续成功率 |
| 可信的结果验证 | 融合视频、深度、接触和本体信息；输出不确定性；模糊时主动换视角 | 测量误报完成率、漏报率及遮挡条件下的恢复能力 |
| 真正利用失败数据 | 从失败任务中保留成功片段；识别失败原因；定向采集恢复轨迹 | 固定交互预算，与仅使用成功轨迹的训练比较 |
| 持续扩展技能库 | 检测已有技能无法解释的新行为，再新增专家或适配器；配合旧数据回放 | 同时报告新技能学习速度和旧技能遗忘程度 |
| 降低高层推理成本 | 蒸馏本地 Critic，采用事件触发检查，减少冗余调用 | 绘制成功率—延迟—费用曲线，而非只报成功率 |
| 更严格的泛化评估 | 保留未见任务组合、物体、布局和扰动；匹配数据与计算预算 | 区分任务内提升、组合泛化与跨环境迁移 |
如果只选择一个方向，我优先推荐“面向下一技能的终止判断与衔接学习”。
可以把当前的单技能判断扩展为两个独立问题：
当前目标是否完成_{任务完成} 当前状态能否启动下一技能_{接续可行}
例如，抓取已经成功，但放置尚不可行时，系统保留“已抓取”的进展，只执行姿态调整。训练时同时覆盖不同起始姿态，并让抓取策略考虑下一步放置需求。
这个方向直接对应论文记录的失败模式，实验范围可控，也能把“可组合技能”从语言接口推进到物理执行层面的可组合性。