企业官网建设流程全解析

简介：斯坦福、普林斯顿、Google DeepMind、上海交大等机构联合重磅综述。本文完整精读该综述，从传统机器人痛点、基础模型底层原理、三大应用模块（决策控制/感知/具身AI），深入剖析8大落地瓶颈、两条技术路线、未来研究机会。

论文信息
论文名称：Foundation Models in Robotics: Applications, Challenges, and the Future
作者机构：斯坦福大学、普林斯顿大学、UT‑Austin、NVIDIA、Google DeepMind、柏林工业大学、上海交通大学
论文定位：机器人基础模型领域经典综述。和其他综述最大区别：不只罗列论文，重点强调安全、不确定性量化、现实部署问题，同时横向对比各个算法架构的优缺点。

1. 引言：传统机器人的困境，为什么需要基础模型？

1.1 传统机器人深度学习的痛点

传统机器人深度学习模式：任务驱动，一任务一模型。
针对抓取、导航、装配，单独采集小规模机器人硬件数据集训练模型。

• 模型只见过训练集内的物体、环境；
• 一旦环境物体发生变化，性能急剧下降；
• 每换一个任务，需要重新采集大量机器人演示数据，成本极高。

而基础模型是在互联网规模海量多模态数据上预训练得到大模型，具备两大核心能力：

1. 强大泛化能力；
2. 零样本/少样本能力：面对训练阶段从未见过的任务，不需要重新大规模微调，仅通过提示就可以完成任务。

研究者希望把基础模型能力引入机器人，改造机器人完整自主栈：感知 → 决策规划 → 控制执行。

1.2 基础模型给机器人带来什么能力增益

1. 大语言模型 LLM：常识推理、复杂任务拆解、生成代码、人类自然语言交互；
2. 视觉‑语言模型 VLM（CLIP等）：开放词汇视觉识别。不用重新训练就识别训练中没见过的物体；
3. 多模态对齐：把图像、文本、深度图、传感器信号，映射到统一嵌入空间，打通视觉、语言；
4. 知识迁移：把互联网上学到的常识知识迁移给物理机器人，减少机器人端训练开销。

⚠️但是，互联网训练出来的大模型不懂物理世界。
论文开篇直接抛出5个现实难题，也是整篇综述贯穿始终的主线：

1. 机器人相关数据稀缺：缺少互联网量级的机器人交互、3D带标注数据；
2. 机器人场景高度多变：不同机器人硬件、不同家庭/工厂环境、千变万化任务；
3. 不确定性与大模型幻觉：大模型经常输出物理不可行的方案，实体机器人执行会带来安全风险；区分实例级不确定性、分布级不确定性、闭环带来的分布偏移；
4. 安全评估难题：如何在部署前、运行全周期保证机器人安全；
5. 实时推理性能：大模型推理速度慢，机器人闭环控制要求高频实时推理。

💡本文文献筛选标准：
1）背景论文：理解基础模型理论；
2）机器人论文：即插即用接入大模型、微调大模型、专门构建机器人基础模型；
3）邻域论文：CV、具身AI，有明确向机器人迁移潜力。

2. 基础模型核心理论基础

很多人只会调用模型API，不理解底层机制。论文第二章讲解机器人领域用到的基础模型底层概念。

2.1 关键术语

1. Tokenization（分词）
   不只是文本分词！
   图像切成图像patch、点云分块、传感器时序流、机器人动作序列，都可以切分成token序列送入Transformer。

例如RT‑2把机器人6维位姿、夹爪状态编码为文本token，直接复用LLM的tokenizer，实现视觉‑语言‑动作统一建模。

2. Transformer架构
   核心是多头自注意力机制。

• 自回归模型（Decoder‑only，GPT系列）：单向生成，根据上文预测下一个token；擅长生成文本、动作序列；缺点是双向理解能力弱；
• 掩码自编码（Encoder，BERT）：双向上下文理解，随机mask部分token让模型预测，擅长理解完整输入。

3. 对比学习 Contrastive Learning
   CLIP核心训练范式。构造匹配图文对、不匹配图文对，训练模型让匹配样本嵌入距离更近，不匹配样本距离更远，实现图文联合嵌入空间。机器人领域大量复用CLIP预训练权重做感知、奖励函数。

4. 扩散模型 Diffusion Model
   前向过程逐步给图像增加高斯噪声；反向网络学习去噪。
   机器人用途：数据增强、场景修复、生成手‑物体交互姿态、生成目标场景图像。

2.2 几类关键模型介绍

1. LLM大语言模型：GPT‑3/4、LLaMA，擅长推理、任务分解、代码生成。缺点：没有物理世界的直接经验，容易幻觉。
2. Vision Transformer（ViT）视觉Transformer：DINOv2自监督视觉特征提取；SAM可提示图像分割。
3. VLM视觉‑语言模型：CLIP、BLIP，建立图像‑文本对齐，开放词汇识别。
4. 具身多模态大模型 PaLM‑E

里程碑工作。
把图像、RGB‑D观测、机器人状态、3D场景表征投影到大语言模型的embedding空间，把视觉信息融入语言大模型。模型输出文本，再接短horizon机器人策略完成控制。
关键发现：同时训练互联网图文数据 + 机器人具身数据，会产生正向迁移效果。

2.3 两种重要训练范式

1. 即插即用 Plug‑and‑Play：直接使用已经预训练好的模型，几乎不改动权重；
2. 端到端共微调 Co‑finetune：拿预训练VLM/LLM，使用机器人轨迹数据一起微调，代表RT‑2。

3. 基础模型在机器人中的完整应用体系

论文把机器人系统分为三大模块：决策控制、感知、具身AI。

⚠️论文特别指出该领域一个现实痛点：很多论文效果高度依赖定制硬件、定制底层控制模块；或者使用简化仿真忽略真实物理，论文结果很难复现，仿真效果不等于真机效果。

3.1 机器人决策、规划与控制

解决：接收人类自然语言指令，完成任务规划，输出机器人动作。

（1）语言条件模仿学习

目标：训练策略π θ ( a t ∣ s t , l ) \pi_\theta(a_t|s_t,l)πθ​(at​∣st​,l)，输入机器人状态s t s_tst​、人类语言指令l ll，输出动作a t a_tat​。
训练数据：带语言标签的机器人演示轨迹。

• CLIPort：双流架构。CLIP做语义理解，Transporter网络做空间定位；局限仅支持2D平面抓取；
• PerAct：升级3D体素表征，支持多视角RGB‑D输入，完成6自由度机械臂操作；
• Play‑LMP：利用无标注“玩耍play数据”。不需要昂贵专家标注，人随便遥控机器人玩耍采集数据；实验证明玩耍数据相比专家演示对扰动鲁棒性更强；
• CACTI：结合Stable Diffusion扩散模型做数据增强，扩充场景、物体多样性，提升多场景泛化。

核心痛点：闭环策略带来分布偏移。机器人执行动作之后进入训练集没有见过的状态，性能快速衰减。

（2）语言辅助强化学习 RL

强化学习依靠与环境交互得到奖励优化策略。基础模型可以解决RL两大难题：奖励设计难、探索难。

1. SayCan【经典】

• Say：LLM根据人类高层指令输出一系列可行子任务；
• Can：可及性函数评估当前物理环境中，这个动作到底能不能执行；

解决大语言模型“纸上谈兵”，输出在物理世界无法执行的计划。

2. AdA自适应智能体：基于R L 2 RL^2RL2，TransformerXL记忆机制；在海量开放任务仿真预训练；测试时少量交互就快速适应全新3D环境。

（3）语言‑图像目标条件价值学习

价值函数：评估当前状态距离目标有多“好”，可以作为奖励信号。

• R3M：从大规模人类视频预训练视觉表征，冻结作为机器人感知backbone；
• VIP：自监督，不需要图文配对视频，学习隐式视觉目标价值函数；
• LIV：CLIP + VIP结合；支持语言目标、图像目标两种条件输入；预训练完成后表征冻结，只训练浅层MLP作为策略网络；
• VoxPoser：大模型生成代码，结合VLM构建3D价值热力图，直接作为运动规划目标，不需要任何训练。

（4）任务规划两大范式

1. 自然语言转中间任务表示
   把人类自然语言翻译为时序逻辑、TAMP（任务与运动规划）中间表示，交给传统规划器做运动规划；代表 NL2TL，AutoTAMP。

2. Code‑as‑Policies 代码即策略

非常有影响力方向。
不输出自然语言计划，直接输出可执行机器人代码。LLM生成代码调用机器人API，实现反馈循环、空间几何运算。少量示例做少样本提示，不需要对模型专门做机器人数据微调。
代表工作：ProgPrompt、Code‑as‑Policies、ChatGPT‑Robotics。

（5）Robot‑Transformer（VLA视觉‑语言‑动作模型，端到端）

当前工业界火热方向。输入图像+语言指令，直接输出机器人动作，端到端打通感知到控制。

1. RT‑1：谷歌，13万真实机器人轨迹，700+任务；输入图像+语言，输出离散机械臂/底盘动作；
2. RT‑2：拿现成的VLM模型，把机器人动作编码为文本token，使用机器人轨迹数据共微调；将互联网图文知识迁移到机器人；支持思维链CoT推理；

重大局限：机器人能做的物理技能，只能局限训练数据见过的技能分布，很难生成全新的动作模式。

3. RT‑X Open X‑Embodiment
   21家机构联合，汇集22种不同机器人硬件数据集。证明：不同机器人本体之间可以实现正向知识迁移。

（6）开放词汇导航与操作

开放词汇 = 不需要预定义物体类别，机器人可以响应从未见过物体的语言指令。

• 导航：LM‑Nav、ViNT；LM‑Nav即插即用组合LLM+VLM+导航模型；ViNT是专门面向导航的基础模型；
• 操作：VIMA（多模态提示，文本/图像作为任务提示）、RoboCat自迭代改进智能体；DALL‑E‑Bot利用扩散模型做零样本场景重排。

3.2 机器人感知系统

机器人接收RGB、深度、点云等高维原始传感器数据。基础模型核心赋能方向是开放词汇感知，不用重新训练识别新物体。

1. 2D开放词汇检测
   OWL‑ViT、GLIP、Grounding‑DINO；Grounding‑DINO结合DINO自监督特征，开放集检测性能突出。

2. 语义分割

• LSeg：语言驱动语义分割，测试阶段可以自由增删类别；
• SAM分割一切：SA‑1B十亿级掩码数据集，支持点、框、文本提示分割；

机器人致命缺点：推理速度慢，很难用于机器人闭环实时控制。衍生FastSAM、MobileSAM轻量化版本。

4. 3D感知（巨大难点：3D‑语言配对数据稀缺）

• PointCLIP：将3D点云渲染多视角图像，复用CLIP 2D知识；
• ULIP：构建图像‑文本‑点云三者联合嵌入空间；
• LERF / CLIP‑NeRF：把CLIP语义嵌入NeRF神经辐射场，构建带语义的3D场景，支持语言查询三维空间；
• 3D‑LLM：把点云特征输入大语言模型，做3D问答、3D任务分解。为了解决3D数据少，用ChatGPT自动生成大量3D‑语言训练样本。

5. 可及性 Affordance

连接感知与动作的关键概念：物体可以被如何交互，哪里可以抓、推、按压。

• Affordance Diffusion：扩散模型生成手‑物体交互姿态；
• VRB：从互联网人类视频学习可及性，适配模仿学习、强化学习、目标条件学习多种范式。

6. 世界预测模型 World Model
   给定机器人动作，预测环境未来状态。用于规划。代表GAIA‑1（自动驾驶视频世界模型）。

3.3 具身智能 Embodied AI

注意：绝大多数具身AI工作是仿真虚拟智能体，不是实体物理机器人。
具身智能体：能够在环境中感知、行动、获取反馈的AI智能体。

1. 通用智能体

• Gato：DeepMind，一套权重同时玩游戏、对话、图像caption、真实机械臂、仿真导航；文本作为跨不同硬件本体统一媒介。
• Voyager（Minecraft）：GPT‑4驱动终身学习智能体；不需要微调，依靠in‑context learning；LLM生成代码控制游戏角色，同时自我校验任务是否完成。

2. 仿真平台
   Habitat、iGibson、VirtualHome、RoboTHOR。

核心痛点：Sim‑to‑Real仿真‑现实鸿沟，仿真中表现很好，放到真实机器人性能大幅下降。

3. 技术范式：LLM充当奖励函数，不需要人工手写奖励，直接使用语言描述期望行为生成奖励信号。代表Kwon等人Reward design with language models。

4. 🔥核心：八大挑战，机器人落地真实世界的拦路虎

这是整篇综述最精华部分，也是开题、写论文非常重要的参考。

挑战一：机器人相关训练数据极度稀缺

互联网拥有海量图文，但是机器人交互数据、带语言标注的3D数据非常稀缺。
论文给出多条可行研究路径：

1. 使用无标注人类play玩耍数据，不需要昂贵专家演示；现有工作表明只需要1%的语言标注数据就可以训练视觉‑语言可及性模型；
2. 生成式模型做数据增强：图像修复、扩散模型生成新物体、新场景；

⚠️风险：生成图像视觉上逼真，但是物理交互是假的。比如生成被机器人抓取的物体，抓取姿态物理不合理。

3. 高保真仿真生成大规模合成机器人数据；
4. VLM模型做自动标注，给无标签机器人轨迹自动生成语言指令；
5. 根本性局限：现有机器人基础模型学习到的物理技能，被训练数据技能分布限制，很难生成全新运动模式。可以尝试从人类视频挖掘运动信息作为补充。

挑战二：实时推理性能瓶颈

机器人闭环控制需要高频推理（几Hz到几十Hz），而很多基础模型推理延迟很高。

• 很多大模型只能够调用云端API，强依赖网络；
• 安全关键场景（自动驾驶、灾难搜救）网络不可靠，一旦断网系统失效。

✅未来方向：

1. 模型蒸馏、量化压缩，把大模型压缩小模型部署机器人板载硬件；牺牲部分性能换取速度；
2. 设置安全降级策略，云端不可用时切换传统机器人控制栈。

挑战三：多模态表征的固有局限

现在图像、文本模态对齐做得很好，但是机器人特有传感器模态：点云、力反馈、力矩、电机状态。

• 这类模态缺少大规模和文本对齐的数据集；
• 当前很多折中方案：把传感器信息全部翻译成文本，再喂给LLM；但翻译转换会丢失底层物理信息。

开放问题：是否存在一个统一多模态基础模型，可以原生处理机器人全部传感器模态？

挑战四：不确定性量化（机器人安全重中之重）

大模型会产生幻觉hallucination，输出物理不可行的规划。实体机器人执行会造成设备损坏、人身危险。
论文把不确定性分成3个层次：

1. 实例级不确定性：针对当前这一条输入输出，模型对本次结果有多大把握；
2. 分布级不确定性：模型部署在真实世界全部场景，整体出错概率；
3. 分布偏移，尤其闭环带来的分布偏移：机器人自己执行动作改变环境，后续看到的观测分布和训练集完全不一样。

同时强调标定（Calibration）的重要性：模型输出的置信度要和真实出错概率匹配。区分贝叶斯概率和频率派概率；机器人安全场景往往需要频率派统计保证。

案例工作 KNOWNO：基于共形预测Conformal Prediction。当机器人不确定性高，不执行动作，主动向人类求助，给出统计层面可证明的任务成功率下界。
未来方向：把这套不确定性方法扩展到VLM、VLA视觉‑语言‑动作模型。

挑战五：安全评估

安全评估分三个阶段：部署前、模型迭代更新、运行时。

1. 部署前安全测试

• 测试场景不能是模型训练见过的数据；
• 大模型输出开放式计划，自动化评估难度高；
• 方案参考大模型红队测试：人工+模型自动红队，大量仿真测试；仿真测试搭配小规模真机验证。

2. 运行时监控 + OOD分布外检测
   实时检测异常输入、异常行为；触发安全回退策略。

难题：在有限数据下，同时控制误报、漏报，拿到统计保证，仍是开放研究。

挑战六：即插即用，还是从头构建机器人原生基础模型

下一节独立详细展开。

挑战七：机器人环境与硬件高度多变

市面上机器人硬件形态五花八门；家庭、工厂环境物体千差万别。传统机器人方案大多针对特定硬件调优，泛化很差。
研究方向：训练跨硬件、任务无关的机器人基础模型，代表RT‑X、ViNT。利用多家机构汇集多机器人数据集，实现跨本体知识迁移。

挑战八：基准、可复现性

下一节独立详细展开。

5. 两条发展路线：即插即用 VS 原生机器人基础模型

这篇综述提炼的核心观点，领域两大技术路线，目前没有标准答案。

路线A：即插即用 Plug‑and‑Play

直接复用CV/NLP领域已经预训练完成的基础模型（CLIP、GPT、SAM），组装到机器人系统，少量微调甚至不微调。

✅优势

1. 直接复用互联网海量数据学到的知识；
2. 开发速度快，不需要消耗海量算力从头预训练；

❌劣势

1. 模型没有见过真实机器人物理交互，对物理世界理解不足；
2. 感知、推理和机器人动力学、控制之间存在gap。

路线B：构建机器人原生基础模型

专门收集机器人交互数据，从头或者大规模微调，训练面向物理机器人的基础模型。
✅优势

1. 深度适配机器人动力学、感知、控制；

❌劣势

1. 机器人高质量数据获取成本巨大；
2. 需要极高算力资源，普通实验室很难负担。

现状：两条路线并行发展。很多工作处于中间态：复用预训练大模型主干，再用机器人数据做共微调（例如RT‑2）。

6. 可复现性、基准测试难题

论文重点吐槽的现实问题。

1. 大量机器人论文依赖专有实体硬件；外部研究者没有同款机器人硬件，完全无法复现实验；
2. 很多仿真忽略物理接触、碰撞，只做高层任务逻辑，仿真效果和真实世界差距巨大；
3. 即使物理仿真，各个研究组仿真参数设置不一样，很难横向公平对比算法；
4. Sim‑to‑Real鸿沟一直存在。

✅建议未来方向：

1. 推动开放机器人硬件；
2. 使用物理保真仿真做统一基准；
3. 论文完整公开仿真配置、代码、数据集，提升整个领域的可复现性。

7. 综述总结与深度思考

机遇

基础模型为机器人带来了零样本开放词汇感知、常识推理、高层任务分解能力，有望打通机器人感知‑决策‑控制整套链路，推动通用机器人发展。

现存现实壁垒

机器人专用数据稀缺；推理实时性约束；大模型幻觉与不确定性；完整的安全评估体系缺失；机器人硬件与环境多样性；实验可复现性差。

个人深度思考

现在网上很多Demo，把LLM+机器人拼接，在仿真或者高度约束环境效果惊艳。
但是一旦放到真实物理机器人，会暴露出大量问题：

1. LLM输出计划物理不可行（幻觉）；
2. 大模型推理延迟导致闭环控制失效；
3. 现实环境分布偏移，模型直接失效。

未来不能只追求炫酷Demo。机器人是安全关键系统，我们需要更多研究不确定性量化、安全保障、统计可证明性能边界，而不仅仅追求任务成功率指标。

8. 代表论文工作汇总表