@TOC
写在最前面
版权声明:本文为原创,遵循 CC 4.0 BY-SA 协议。转载请注明出处。
让机器人把桌上的杯子收进柜子,看起来只是一句指令。真正执行时,它却要不断回答新问题:从哪一侧接近杯子,抬多高才不会碰到柜门,杯子滑了一下要不要重新抓,松开夹爪以后怎样确认已经放稳。语言理解给出了任务的起点,物理世界会在后续每一步提出新的约束。
对照今年的论文和企业进展,我的判断是:具身智能的竞争正在扩展到整个任务过程。模型既要产生可执行的动作,也要利用执行中的变化,判断什么时候继续、什么时候纠正,以及什么证据足以说明任务完成。三维动作表示、动作块调度、验证器和恢复策略,分别在补上这条链路中的不同环节。[1–5]
这也改变了观察产业的角度。除了关注模型本身,还需要看企业是否提供可重复的测试条件,开发者是否能把一次失败转化为下一轮改进。下文沿着一个物理任务的执行过程,把研究成果、企业布局和启元开发者生态放在一起分析。
1 三维动作表示正在连接理解与执行
先看“抬起杯子”这一步。在图像上画出一条向上的轨迹,并没有完全说清机械臂应该怎样移动:屏幕上的“向上”受相机视角影响,同一个像素也可能对应不同深度。尤其当航点位于杯子上方的空中,直接读取该像素的深度,读到的可能是背景表面,而非机械臂真正需要经过的位置。
今年 10 月正式上线的 ECCV 2026 论文 3DWay,给出了一种明确的中间表示。它让经过微调的视觉语言模型预测多个视角下相互对应的二维航点,再利用相机参数做三角化,恢复三维航点。得到的空间路径可配合预设抓取与运动规划执行简单任务,也可在视觉语言动作模型(VLA)微调时作为局部几何引导。[1]
3DWay 展示的一个变化,是把模糊的能力问题变成可以检查的接口问题。开发者能够分别检查目标是否识别正确、视图中的点是否对应、三维路径是否合理,再定位执行偏差。这里的价值来自语义和几何之间更明确的连接。
三维表示本身仍有工程条件。3DWay 依赖多视角和相机参数;位置航点也没有包办夹持力、接触状态和全部姿态控制。对于企业,这意味着模型能力的复用,还要配合相机标定、坐标约定和本体适配。所谓通用能力,最终要经过这些具体接口才能落到不同机器人上。[1]
图 1 多视图对应如何帮助确定空间航点。橙色点表示同一航点在不同视图中的投影;结合相机参数才能恢复其三维位置。根据 3DWay 方法原创绘制,杯子与轨迹为概念示意。[1]
2 动作需要合适的执行时间尺度
空间位置确定以后,时间又成为问题。机器人常会一次预测一段连续动作,即“动作块”。搬运途中,连续执行较长一段可能更平顺;接近柜门边缘时,新的接触或遮挡就值得尽快重新观察。一次预测多长、实际执行多长,直接影响系统何时有机会纠偏。
Mixture of Horizons(MoH)在 2025 年 11 月公开预印本,并发表于 ICML 2026,研究的就是这一取舍。它在预先设定的多个预测时域上生成动作,通过学习到的门控权重融合信息;推理时,再根据跨时域预测的分歧,动态确定实际执行的动作前缀长度。这让“预测看多远”和“当前先执行多少步”可以分别设计和调整。[2]
从工程角度看,反馈的价值取决于能否及时进入下一次决策。即使相机一直在采集图像,如果执行端迟迟不接收新的状态,控制仍会依据旧判断继续。值得观察的进展因此包括:推理延迟、重新观察的时机,以及高层子任务变化后,低层动作怎样平滑地跟上。这些问题会直接影响长流程任务能否连续进行。
3 验证能力开始沿着执行过程分工
“验证”在机器人系统里有几种不同含义。准备动作时,需要检查候选方案是否符合指令;动作进行中,需要识别偏差并恢复有效状态;动作结束后,则要用新观测确认目标条件是否满足。把这些问题分开,才能看懂今年不同论文究竟补上了什么。
3.1 执行前挑选更符合指令的动作
CoVer-VLA(ECCV 2026)关注指令与动作之间的偏差。它为指令生成多种重述,再产生候选动作块,使用经过训练的对比验证器进行筛选。研究表明,在其基准和真机设置中,把额外计算分配给候选比较,可以改善指令跟随。[3]
它带来的产业启发是,推理预算可以用来比较执行方案。代价也很明确:候选越多,采样与筛选的开销越大,系统需要结合动作速度安排这部分计算。候选获得高分,只说明验证器认为它更符合指令,物理执行的结果还需要后续观察。
3.2 执行中把恢复动作接回主任务
FLARE(CVPR 2026)把常见偏差区分为可重试的动作偏移,以及需要先恢复物体状态的错误。前一种由训练后的主策略处理;后一种调用物体级恢复技能,例如先把倒下的物体扶正,再继续原任务。在线多模态模型负责监测,并在主任务与恢复技能之间切换。[4]
这让恢复成为系统中有明确入口和退出条件的一部分。它仍依赖已训练的恢复技能,真机评估也有具体任务范围。对开发者更有用的启发,是在设计任务时就准备好可能的中间失败状态,并明确恢复到什么状态之后才能继续。
3.3 执行后用实际状态确认完成
回到收杯子的例子,一次控制调用结束,并不能单独证明杯子已正确归位。任务验收需要重新观察:目标是否仍是那只杯子,是否位于指定柜格,放开以后是否保持稳定,夹爪是否已退出。根据设备和场景,可以结合视觉、夹爪状态或接触反馈,让每条证据承担明确的判断责任。
因此,闭环验证要形成有用的决策:观察到偏差后,系统应当继续、调整、恢复,还是请求接管;获得新的完成证据后,才进入下一项任务。连接这些判断的状态和接口,正成为模型之外的重要研发内容。
图 2 执行前筛选、执行中恢复与执行后验收分别回答不同问题。CoVer-VLA 和 FLARE 作为前两类研究的例子;右侧收杯子的验收条件是本文分析示例。流程为原创概念图。[3–4]
4 自动反馈的价值要用恢复后的结果检验
一个容易被忽略的问题是,增加一个判断模型,是否一定能帮助机器人完成任务。ICML 2026 的这项工作提出 VLA-FixBench 故障数据集及 FaultEval 评测框架,用于检查视觉语言模型的静态诊断、动态干预和真机恢复能力。[5]
在论文两项真机任务中,自动辅助采用执行一秒后暂停检查的协议。结果显示,GR00T-N1.5-3B 独立执行的成功率为 30%,最佳自动 VLM 辅助配置 Gemini-2.5-Flash 为 25%,人工专家干预上界为 65%。这里 30% 到 65% 的 35 个百分点差距,来自人工干预;自动配置并没有取得这项提升。[5]
这组结果把一个很具体的研发目标摆了出来:判断模型要找对出错时刻、选对回退位置,还要给出空间上可执行的修正。误判会打断原本可能成功的轨迹,纠正方向不准也会产生新的失败。评价反馈系统时,最终应当检查干预之后的任务结果,并统计误干预带来的损失。
对行业而言,这说明诊断能力和恢复能力值得分别投入。能解释一段失败视频,可以帮助离线排查;要把这种能力接入机器人运行过程,还需要在时序定位、三维动作和干预代价之间建立可靠联系。
图 3 VLA-FixBench 的真机任务成功率。数据来自论文 Table 3 及作者说明,统一基础策略为 GR00T-N1.5-3B,任务为泡茶与充电插头插入。自动辅助采用执行一秒后暂停检查的协议。本文据公开数据绘制;结果仅对应该评测设置,人工一栏表示干预上界。[5]
5 企业正在把验证做成模型能力与开发设施
论文把问题拆开以后,企业的布局也更容易理解。今年几项有代表性的进展,分别落在评估基础设施、运行中的进度判断、工厂流程集成和开发者迭代服务上。它们没有使用完全相同的技术路线,却都在增加模型接受实际任务检验的机会。
NVIDIA Isaac Lab-Arena 将成功判据、终止逻辑和指标纳入任务定义,再让策略在可控变化的环境中接受重复评估。[6] 这类设施的价值,是帮助研发团队知道一次模型更新改善了什么、又在哪些场景引入了退步。仿真评测承担开发阶段的筛查,接触、材质和真实传感误差仍需要通过真机检查。
Google 把进度理解细分为进度分类与关键时刻定位,并让 ER 2 编排低层 VLA 或机器人 API。[7] 同期发布的系列仍区分具身推理模型、动作模型和端侧动作模型,访问范围也不同。[8] 对产业最有价值的信号,是“什么时候算做完”已经成为明确的模型能力和评测对象。它能否在特定场景中判断准确,仍要接受任务级检验。
表 1 2026 年与任务验证相关的企业进展
| 时间与主体 | 公开进展 | 材料中的阶段 |
|---|---|---|
| 1 月 5 日 NVIDIA | Isaac Lab-Arena 组合对象、场景、本体与任务,提供策略评估流程。[6] | 发布时为开源 pre-alpha |
| 6 月 25 日 BMW × Figure | Figure 03 在 Spartanburg 推进零件排序与物流接力新用例。[9] | 工厂新项目与演示 |
| 7 月 30 日 Google DeepMind | Gemini Robotics ER 2 利用连续视频跟踪进度、检测失败并编排动作工具。[7–8] | ER 2 开放 API;企业平台为私有预览 |
| 10 月 13 日 Physical Intelligence | Pi API 提供数据上传、托管微调和推理;开发者用失败记录指导补采与迭代。[10] | API beta 测试版 |
BMW 的 Figure 03 项目则把评价放进生产工作流。零件从无序容器进入排序推车,之后还要与自动牵引车或智能运输机器人接力。[9] 在这样的场景里,抓取动作必须满足下游工位的顺序和交付要求。机器人是否有用,要连同合格产出、运行节拍和异常处理一起看。
Physical Intelligence 的 Pi API beta 提供数据上传、托管微调与推理服务。开发者结合示范采集和真机测试,再用失败结果决定下一轮补采内容。[10] 这反映了模型服务的一种发展方向:提供可适配的基础能力,让应用团队把精力放到自己的物体、工艺和场景差异上。开放模型服务与完成现场部署之间,仍然需要持续的工程工作。
6 启元的生态价值落在持续真机实践上
把视角移到上纬启元(PRIMEBOT)[12],它在这条链路中的位置更接近本体、开发工具与试验条件的连接处。 对开发者来说,最直接的入口包括 Q1/T1 的 SDK、仿真描述资源,以及可以看日志、看视频和调试动作的 PrimeConsole。[13]
这些公开资源提供了观察设备状态、执行控制和排查问题的基础。PrimeConsole 的 Skill 验证服务于开发与调试。[13] 开发者可以进一步围绕具体场景定义成功条件,例如结合观测判断柜子里的杯子是否放稳。
校企真机实践更能体现生态作用。哈尔滨工程大学 8 月 29 日公开的启元 H1 家政任务案例中,学生承担数采链路、VLA 训练、大脑决策与算法适配,企业提供本体、配套软硬件、算力和场地。[14] 10 月 13 日,双方又签署共建具身智能产教融合创新实践平台的备忘录。[15]
H1 是这项校企项目的具体平台,其任务表现不能直接移植为 Q1/T1 的产品结论。这个案例对行业的启发在于,一项算法能否走到真机上,取决于模型代码之外是否还有稳定的试验资源,以及能共同排查问题的研发团队。生态建设可以为这些条件提供组织方式。
我的判断是,启元这类平台接下来的生态价值,将更多体现在能否支持开发者留下可复现的任务成果:在什么条件下成功,在哪一步失败,恢复以后是否完成,换一组物体和环境能否重现。这样的经验积累,会让后来者更容易判断一个能力是否适合自己的场景,也让平台有依据选择下一轮需要完善的接口与工具。
图 4 按公开案例归纳的开发者生态角色。模型服务、评估工具与本体试验条件共同服务于具体任务的开发。所列为代表案例,并非完整名单。根据官方资料原创绘制。[6–8,10,13–15]
7 行业评价需要计入现场投入
当机器人进入真实工作流,数据量、模型速度和单次成功率都需要补上时间与人力口径。Physical Intelligence 3 月发布的 RLT 研究就是一个具体例子:它借助紧凑的 RL token,让较小的强化学习模块改进精密接触阶段。在已有 VLA 的基础上,RLT 对网线插入的精密阶段进行在线强化学习。作者报告这一过程使用约 15 分钟机器人交互数据,训练过程共耗时两小时,其中还包含复位等开销。[11]
这类细节会改变对部署效率的判断。采样更高效,确实可能减少所需数据;现场团队仍要安排试验、恢复环境、检查结果并处理失败。评估一套机器人方案时,我会把下面几项放在同一张记录表里。它们是本文建议的观察口径。
表 2 从任务结果出发观察部署价值
| 观察项 | 建议记录什么 | 帮助回答的问题 |
|---|---|---|
| 合格任务吞吐 | 同一测试时段内,真正完成并验收通过的任务数 | 持续运行是否有用 |
| 人工与复位负担 | 接管次数、每次耗时、重新摆放物体和恢复设备的时间 | 自动化节省了多少现场工作 |
| 恢复收益与误干预 | 干预后成功情况,以及错误介入打断正常执行的次数 | 反馈是否实际改善结果 |
| 场景适配投入 | 换物体、机位或本体需要的数据量、标定和工程时间 | 能力能否经济地复用 |
同时,要区分三个层次的闭环。控制闭环利用传感反馈调整身体运动;任务闭环根据进度和结果决定下一步;研发闭环把测试失败带回数据、训练和复测。它们通过不同的时间尺度连接起来。接口调用成功、模型判断成功和实际任务成功,也应当分别记录,才能判断改进发生在哪一层。
8 未来一年值得跟踪的变化
基于上述证据,我更看好具身智能在具体环节上的持续改进。首先,中间表示会继续影响系统的可复用性。三维航点、动作块和任务状态把问题拆成可检查的接口,有助于连接通用模型与不同本体。效果最好的表示形式仍会随任务和硬件而变化。[1–2]
其次,验证与恢复会成为可以单独迭代的能力。CoVer-VLA、FLARE 和 ER 2 已分别展示候选筛选、运行恢复和进度判断的不同路径。[3–4,7] 接下来更有说服力的成果,应当同时报告恢复收益、误干预和额外延迟,让使用者知道新增判断环节在什么条件下值得启用。
开发者生态也会更重视任务本身的可复现性。模型服务让适配更容易开始,评估工具让比较更容易进行,本体和校企平台让算法有机会接受真机检验。[6,10,13–15] 对启元而言,把这些条件转化为可重复的场景实践,会比单纯增加案例数量更有长期价值。这是本文依据公开进展提出的判断。
再回到那只杯子。机械臂松开夹爪以后,机器人能否发现杯子没有放稳,选择合适的调整,再用新的观察确认完成?沿着这样的具体问题跟踪研究与产品,我们更容易看清,具身智能正在怎样一步步形成可以依赖的物理任务能力。
参考文献与资料
下列链接对应文中的编号。论文以正式收录页及作者原文为依据,企业进展以官方发布材料为依据。
[1]Huang 等. 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints. ECCV 2026,正式在线 2026-10-03;arXiv 26.09(编号 2609.08224)。
正式论文 | 作者项目与实验 | 预印本
[2]Jing 等. Mixture of Horizons in Action Chunking. ICML 2026,PMLR 306;arXiv 25.11(编号 2511.19433)。
正式论文 | 方法与动态推理
[3]Kwok 等. Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment. ECCV 2026;arXiv 26.02(编号 2602.12281)。
正式论文 | 论文全文
[4]Zhao 等. FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation. CVPR 2026,22391–22401;arXiv 26.08(编号 2608.26645)。
CVF 正式收录 | 论文全文
[5]Yan 等. Can VLMs Diagnose and Recover from VLA Manipulation Faults? ICML 2026。真机结果见 Table 3,评测协议见 Section 5.4。
正式论文 | 作者结果说明
[6]NVIDIA. Simplify Generalist Robot Policy Evaluation in Simulation with NVIDIA Isaac Lab-Arena. 2026-01-05。
官方技术文章
[7]Google. Introducing Gemini Robotics ER 2. 2026-07-30。进度分类、关键时刻定位、视频失败检测与工具编排。
官方发布
[8]Google DeepMind. Gemini Robotics 2 brings whole body intelligence to robots. 2026-07-30。模型分工与发布时的访问状态。
官方说明
[9]BMW Group. BMW Group advances the use of Physical AI in production with Figure 03 project in Spartanburg. 2026-06-25。
客户方公告
[10]Physical Intelligence. Frontier Models for Every Robot: Announcing our API beta. 2026-10-13。
官方发布
[11]Physical Intelligence. Precise Manipulation with Efficient Online RL. 2026-03-19。网线任务的机器人数据时长与总训练耗时见原文。
RLT 研究说明
[12]启元机器人. 启元新创落户上海浦东,助力打造全球最大消费级机器人企业总部基地. 2026-07-27。
启元官网
[13]启元机器人开发者社区. PrimeConsole 与资料下载页。查阅日期 2026-10-18。
工具与 SDK 资料
[14]哈尔滨工程大学. 全国亚军!哈工程—上纬新材“启元机器人”亮相世界人形机器人运动会. 2026-08-29。
校方报道
[15]哈尔滨工程大学. 哈工程与启元机器人共建“具身智能产教融合创新实践平台”启动仪式举行. 2026-10-15;活动日期 2026-10-13。
校方报道
启元机器人开发者社区
欢迎访问启元机器人开发者社区,进一步了解启元机器人开放 SDK、Skill 开发及应用实践,结合社区资料把文中的技术思路延伸到具体机器人场景中。
hello,这里是 晓雨的笔记本。如果你喜欢我的文章,欢迎三连给我鼓励和支持:👍点赞 📁关注 💬评论,我会给大家带来更多有用有趣的文章。
欢迎大家点开下面名片,添加好友交流。