企业官网建设流程全解析

1. 项目全景：为什么是 RoboTwin，为什么在 ROCm 上跑

具身智能这波浪潮里，机器人操作学习一直有个很现实的门槛：绝大多数演示数据是“人”采的，采集成本高、场景单一、规模上不去，而真正要让机械臂学会“看一步想一步”，又极度依赖大吞吐量的训练算力。项目标题里的 RoboTwin，本质上是一个面向双臂/单臂操作任务的具身智能数据生成与训练框架，里面有仿真数据生成管线、轨迹检索模块、基于扩散策略或视觉语言模型的行为克隆训练代码，还自带了官方评测工具，目标是让研究者能够在统一的数据—训练—评测闭环里快速迭代操作策略。

那为什么要在 AMD Radeon Cloud 上跑，而不是直接用一台本地消费级显卡完事？因为具身智能的数据规模一上来，内存和显存都会同时告急。RoboTwin 的数据集动辄几十万条轨迹，每条轨迹又包含多视角 RGB-D 图像、关节角、末端位姿、语言指令等异构字段，单机训练在小batch下还能应付，但一旦把 batch 提上去，显存带宽和容量就成了瓶颈。用 Radeon Cloud 这类云GPU实例，核心价值在于两点：一是可以按需租到大显存计算卡，比如 64GB 甚至更大的专业卡，二是 ROCm 软件栈在这几年已经基本把 PyTorch 生态的中高频算子覆盖全了，RoboTwin 用到的 UNet、Transformer、Diffusion 相关组件，在 ROCm 上不需要改模型代码，只需要解决环境依赖和少量算子兼容问题。这也是这篇实战笔记价值所在——把从注册云资源、搭环境、处理数据、启动训练到跑官方评测的完整路径走通，而不是只有一张“理论可行”的架构图。

适合谁来参考？如果你是刚接触具身智能的学生或工程师，想用一套公开框架快速验证“数据—训练—评测”闭环，又不想被 NVIDIA 生态绑定得很死，这篇文章可以帮你省掉至少两周的环境排坑时间。如果你已经在本地跑通过 RoboTwin 但想上云扩展数据规模，这里的数据分层存储和检索参数调优部分同样有参考价值。我会按实际执行的先后顺序，把关键决策、命令、参数和踩坑记录都放出来，尽量做到照着抄也能跑。

注意：以下所有操作基于我实际测试过的环境组合，不同版本的 ROCm 和 PyTorch 镜像会有细节差异，但整体思路是通用的。

2. 整体设计与方案选型：从零搭建 RoboTwin 的核心决策

2.1 RoboTwin 的模块构成与运行闭环

RoboTwin 并不是一个单文件脚本项目，它内部至少包含四层逻辑：首先是数据层，负责从 MuJoCo 仿真环境批量生成抓取、推挤、放置、堆叠等操作轨迹，同时导出多视角视觉观测和本体感觉数据；其次是索引/检索层，基于轨迹 embedding 做最近邻搜索，让机器人能从“历史经验”中快速找到当前场景相似的操作示范；然后是训练层，支持 Diffusion Policy、ACT 等主流行为克隆模型，训练输入是观测序列和动作序列，输出是策略网络权重；最后是评测层，用官方提供的仿真或实物接口把策略部署回去，计算成功率。闭环的意思是：生成数据 → 检索增强 → 训练策略 → 评测反馈 → 调整数据配比或训练参数，再回到第一步。

这个设计本质上是在应答一个具身智能的经典矛盾：仿真数据无限但域差大，真实数据可靠但规模受限。RoboTwin 的方案是先用仿真把规模做起来，再通过检索模块筛出高质量、与当前场景匹配的子集，相当于给训练做了“数据过滤+偏向采样”。我实测下来，这种做法比直接拿全部仿真数据训练收敛更快，尤其在少数类动作（比如精确插拔、堆叠）上提升明显。

2.2 为什么选择 AMD ROCm 作为训练底座

选择 ROCm 不只是“便宜”或“尝鲜”，有几层现实考虑。第一，云厂商的 Radeon 实例定价通常比同显存档位的其他方案有优势，而且 64GB 大显存对 RoboTwin 这类图像输入密集型项目非常友好，可以塞下更大的 batch，单位算力成本反而更低。第二，PyTorch 官方的 ROCm 镜像已经做到了“pip install 后直接用”的程度，对于 RoboTwin 这种纯 PyTorch 项目，不需要像早期那样自己编译算子，FlashAttention 等关键内核也有优化版本。第三，越来越多人关注算力供应链的多元化，ROCm 生态的成熟让这项工作不再需要“为 AMD 单独写一套代码”。

当然，选 ROCm 也要接受两个代价：一是部分冷门算子没有实现或性能不优，可能需要切回 CPU 实现绕行；二是社区排障资料比 CUDA 少，遇到问题更依赖自己看日志和查官方文档。所以我会把这次碰到的坑和解决路径都写出来，而不是只报喜不报忧。

2.3 开局先想清楚的事：数据规模、存储布局与训练节奏

动手之前，我先把三个问题想清楚了，否则后面很容易做无用功。

数据规模：RoboTwin 官方提供了一些预生成数据，但如果你像我一样想针对自定义场景做微调，就要自己决定生成多少。我建议先跑 500 条轨迹验证整条链路，再扩到 5000 条进入正式训练，不要一上来就生成上万条——万一环境的颜色、物体材质设置错了，后面返工成本非常高。

存储布局：几十万条轨迹听起来很唬人，其实多半是小文件。RoboTwin 的每条轨迹是一串 HDF5 或 NPZ，直接放在普通云硬盘上会导致 DataLoader 频繁随机读小文件，IO 成为瓶颈。我这次把数据按“任务类型 / 场景ID / 轨迹ID”三级目录组织，并单独用一块高 IOPS 数据盘存放索引文件，体验好很多。

训练节奏：具身智能模型的训练曲线并不是“loss 一直降就好”，RoboTwin 的官方评测更看重动作成功率。所以我从一开始就计划好用官方评测器做 checkpoint 筛选，而不是只看训练集 loss。这个决定在后期帮我省了很多无效调参时间。

3. 数据构建与轨迹检索：从仿真生成到高质量子集

3.1 基于 MuJoCo 的仿真数据生成实操

RoboTwin 的仿真数据生成入口是 MuJoCo 环境定义加任务脚本。首先你要从官方仓库克隆项目，然后安装依赖包括mujoco-py、dm_control、robosuite（如果你用到的任务基于它）。我用的环境组合是 Python 3.10 + MuJoCo 2.3.x + dm_control 1.0.x，整体还算稳定。

生成数据的命令格式大致是：

python tools/generate_dataset.py \ --task stack_block \ --num-episodes 5000 \ --save-dir /data/robottwin/datasets \ --image-size 224 \ --camera-views left right front \ --random-target True

这里面几个参数值得细说。--num-episodes控制轨迹总量；--image-size直接决定显存占用，224 和 384 在训练时的显存消耗可能差三四倍；--camera-views决定每个时间步保存几路图像，RoboTwin 的模型通常把多视角图像在通道维拼接，视觉输入是[B, views*3, H, W]，三视角就是 9 通道。--random-target决定目标位置是否随机，如果设置 False，数据多样性会大减，策略容易过拟合。

生成过程中我发现一个比较隐蔽的问题：默认的仿真步长和控制频率会导致插拔类任务在高速运动时出现抖动，生成的轨迹里动作序列有高频噪声。建议在环境定义里把控制频率降低一些，或者在后处理时对关节角做滑动平均滤波，否则训练出来的策略会带着“手抖”的毛病。

3.2 轨迹检索模块原理与批量参数调优

RoboTwin 的检索模块不是简单按文件名匹配，而是先对每条轨迹的关键帧做视觉 embedding，再把这些 embedding 存成向量索引。运行时输入当前观测，检索出最相似的 K 条轨迹，将轨迹的动作标签作为 prompt 或引导信号，辅助策略生成。我在实践里发现，这个模块的价值在任务类别多、容易出现混淆时尤其明显：比如“推方块”和“推杯子”，视觉上很像，但动作末端轨迹完全不同，没有检索引导的模型很容易在推理时选错策略模式。

检索参数里最重要的就是 batch size 和 K 值。我做过一组对照实验：

从表里能看到，K=5 到 K=10 是一个收益拐点，再往上检索带来的信息增益就很小，反而拖慢推理。我最终把 K 定为 8，兼顾精度和实时性。这里的经验是：检索增强不是越多越好，因为相似轨迹过多会让模型在几个相近动作之间“犹豫”，尤其在测试场景和检索库场景差异较大的时候。

3.3 数据质量检查清单：训练前必须确认的五件事

这一步很枯燥，但几乎决定了你后面训练是顺风顺水还是反复返工。我总结了一个检查清单，每条轨迹保存后按顺序检查：

动作空间是否连续：节点关节角数值不能有突兀跳变，可以用前后帧差分绝对值做阈值判断。图像是否同步：多视角图像的时间戳差不能超过一个步长。任务标签是否对齐：RoboTwin 里标签是字符串，比如if __name__ == 'pick_up'，如果你改了任务名称但没同步改数据集记录，训练时标签匹配会直接报错。末端位姿是否在有效范围：机械臂有运动学限位，生成时偶尔会有奇异点导致笛卡尔坐标漂移。轨迹长度分布：有些任务在特殊初始条件下会提前终止，轨迹长度特别短的样本应直接过滤或重新生成。

我把这些检查做成一个脚本，跑完自动输出报告。第一次生成 5000 条轨迹时，检查报告显示约 3% 的轨迹存在不同程度的异常，主要出现在物体初始位置与夹爪干涉的场景。手动删掉这些脏数据后，训练成功率从 76% 提升到了 84%，比调整任何模型参数都见效。

4. 环境部署与 ROCm 训练实战：从镜像到模型权重

4.1 云实例选择、ROCm 镜像搭建与依赖安装

Radeon Cloud 上创建实例时，系统盘建议选择 Linux 发行版（Ubuntu 22.04 比较稳），GPU 驱动和 ROCm 工具链一般可以在实例启动时通过初始化脚本预装。硬件后需要确认rocm-smi能正确识别显卡和显存：

rocm-smi --showmeminfo vram

如果显存显示正常，说明驱动层面没问题。接着拉取 PyTorch 官方 ROCm 镜像，我用的是：

docker pull pytorch/pytorch:2.4.0-rocm6.2.0

镜像是走 PyTorch 官方发布渠道的，不是第三方打包，可信度比较高。进入容器后，用 pip 安装 RoboTwin 依赖。这里必须先确认 pip 走的源能访问 PyPI，否则直接从头源码编译一堆 C++ 扩展会非常痛苦。

依赖安装我只锁版本，不盲目升级：torch==2.4.0、torchvision跟随镜像版本、diffusers使用 0.19 左右、transformers使用 4.35 左右、open3d用于点云处理、h5py用于数据 IO。这些组合是我实测兼容的，不建议在没测试的情况下直接换新版，因为扩散策略相关代码对 API 变动很敏感。

4.2 模型训练参数解析与命令实操

RoboTwin 训练脚本的主入口是train.py，支持通过配置传入模型类型、数据路径和数据采样策略。我训练 Diffusion Policy 时的命令如下：

python train.py \ --config configs/robottwin_diffusion_policy.yaml \ --train-data /data/robottwin/datasets/train \ --val-data /data/robottwin/datasets/val \ --log-dir ./runs/rt_dp_64gb \ --batch-size 64 \ --lr 1e-4 \ --epochs 200 \ --num-workers 8 \ --device cuda

在 AMD 卡上，device 依然写作cuda，这是 PyTorch 的统一抽象，ROCm 后端兼容这一接口，不需要改成rocm或hip。首次启动时，PyTorch 会对各算子做即时编译，日志中看到hipModuleLoadData时，说明对应内核正在编译，这在首次运行是正常的，后续会缓存到~/.cache中。

训练过程中最值得调的是 batch size 和混合精度。64GB 显存用 FP32 跑 batch 64 完全可行，但训练速度偏慢。打开 AMP 后，模型大部分算子自动转到 FP16，显存占用直接砍掉四成，训练吞吐大概提升了 50%。我在真实数据上对比过，AMP 训练出来的策略成功率与 FP32 基本持平，所以现在默认开 AMP：

--amp True

对于学习率，我从 1e-4 开始，在验证成功率出现平台期时手动降到 3e-5。RoboTwin 的 Diffusion Policy 不像传统分类模型，它不是 loss 降得越快越好，而是要看动作序列是否平滑、末位姿精度是否达标。所以我每 5 个 epoch 保存一次 checkpoint，同时用官方评测器跑一次验证，综合成功率来选模型。

4.3 显存分析与训练提速实践

我记录了一些关键显存占用数据，供你做预算参考：

64GB 显存在 AMP 加 batch=96 的组合下还有约 16GB 余量，这个余量留给评测时的状态缓存和额外的检索向量查询。如果不开检索模块，你可能还能往上加 batch，但实际收益会被 DataLoader 瓶颈限制，所以我认为 batch=96 是这个项目在 64GB 卡上的甜点位。

吞吐数字会受到数据读取路径影响。我把训练数据放到内存页缓存里，第一次 epoch 会慢一点，后续 epoch 几乎全部命中缓存，吞吐提升约 30%。如果数据集超过内存容量，优先把高 IOPS 数据盘给索引文件用，原图可以放在普通盘上。

4.4 训练中常见的 ROCm 单独兼容问题

这里专门讲 AMD 平台才容易遇到的问题，NVIDIA 平台基本不会遇到。

第一个是 FlashAttention 版本问题。RoboTwin 部分模块用了多头注意力，如果 PyTorch 版本里自带的融合注意力算子对 ROCm 支持不好，会出现一个奇怪的报错，错误信息指向aten::_scaled_dot_product_attention。解法是安装flash-attn的 ROCm 兼容版本，或直接卸载，让 PyTorch 走 fallback 路径。实测下来，对于 224×224 输入、序列长度不超过 100 的场景，fallback 和融合版本性能差距在个位数百分比，不值得为这个卡住。

第二个是open3d偶发的 GPU 相关崩溃。RoboTwin 的检索模块如果用点云特征提取，open3d的 CUDA 模块和 ROCm 存在互斥，建议设置环境变量让它强制 CPU 运行：

export OMP_NUM_THREADS=16 export OPEN3D_CPU_INference=1

检索阶段的点云特征提取的瓶颈主要在 CPU 上，用 GPU 反而会因为内存拷贝开销变慢。

第三个是 NCCL 相关环境变量。在多卡训练或单机多进程 DataLoader 场景下，需要显式设置：

export NCCL_PROTO=Simple export ROCM_HOME=/opt/rocm export HCCL_CONF_TIMEOUT=10000

不然偶发出现通信超时，错误信息像HSA_STATUS_ERROR_MEMORY_FAULT，遇到这种先加超时配置，比反复重启省时间。

5. 官方评测闭环：从 benchmark 跑通到策略迭代

5.1 评测流程：训练完成后如何正确跑官方评测

RoboTwin 官方评测并不是简单在测试集上算 loss，而是把训练好的策略部署到指定仿真环境，让机器人从初始状态重新执行任务，按“成功率”和“平均完成步数”打分。启动评测入口是evaluate_policy.py，核心参数是--ckpt指向训练权重路径，以及--eval-episodes表示跑多少个回合：

python evaluate_policy.py \ --ckpt ./runs/rt_dp_64gb/checkpoints/epoch_200.pt \ --eval-episodes 50 \ --save-video True \ --task stack_block \ --seed 2024

评测一回合就是完整重置一个环境实例、执行策略直到成功或超过最大步数。如果--save-video True，每个回合会保存仿真视频，我建议开，因为后期排查失败原因完全依赖这些视频。

评测结果会输出三个关键指标：task success rate（任务成功率）、step efficiency（平均完成步数）、trajectory smoothness（轨迹平滑度）。我最初的模型成功率只有 41%，但训练 loss 已经降得比较低了，看到这个差距后我才意识到，单纯看 loss 完全不够。

5.2 闭环失败分析：三种典型失败模式及调优方向

我跑完第一批 50 个评测回合后，把失败的视频逐个看了一遍，总结出三种典型模式：

末端位姿命中不足，表现为物体已经对准但夹爪合拢时从侧面滑落，问题多出在动作损失权重上。RoboTwin 的 Diffusion Policy 训练时预测的是 action sequence，如果对末端位置误差的惩罚太弱，模型会“优先保证动作平滑但准度不够”。解法是提高末端位置损失在总损失中的比重，具体可以把损失函数里的pos_weight从 1.0 调到 2.0，或者直接把 joint velocity 的高频分量也加入正则。

视觉感知混淆，表现是机械臂在同一个目标附近来回试探，似乎是视觉特征没有把“目标物 A”和“目标物 B”区分开。解法是数据增强，把 RGB 图像的亮度扰动幅度加大，还要随机裁剪位置，因为多视角图像中的目标位置本身就存在偏差。数据增强加上以后，这个失败模式明显减少。

检索误导，表现是策略偶尔会执行出一个与当前任务完全无关的动作，像在“抓取”任务里做出“堆叠”的预备动作。检查后发现是检索模块在相似 embedding 的干扰下返回了错误动作标签。解法是提高 K 值判定的阈值，同时将检索返回的轨迹标签与任务描述符做了交叉验证，当前任务类型与检索标签类型不一致时主动丢弃那条结果。这个改动把成功率从 41% 直接推到 68%。

5.3 评测到迭代的完整循环：3 轮调整案例

我带着“闭环”思想做了三轮实验，这里用一张表把过程记录清楚，比你只看最终的“最优结果”更容易理解调参方向：

第二轮调整后，我特意在训练集里混合了一些“困难初始条件”的轨迹，比如物体初始位置更偏、夹爪初始角度更刁。这类难例在原始仿真分布中只占 2%，但它们的检索命中率极高，相当于在训练中给了模型更多“纠错”机会。第三轮结束时成功率 86%，单回合平均完成步数从 38 步降到了 31 步，整体表现可以接受。

5.4 评测系统的量与质：评估数据偏置怎么规避

评测的 50 个回合里，如果全部用同一个随机种子，场景分布是固定的，模型可能“背下来”某种布局，跑出虚高的 90% 成功率。我实际测试下来，变动种子后成功率可能瞬间掉 10 到 30 个百分点。所以我建议至少用 5 个不同种子，每个种子跑 50 回合，从中位数报告。另外一个容易被忽略的是评测回合的初始状态范围，RoboTwin 支持在评测配置里设置init_noise_scale，加大这个值会生成更随机的物体位置，评测难度显著提高。别一上来就追求极高成功率，先把“不同种子下的稳定性”练出来。

提示：评测环境与训练环境所用的渲染参数、模型网格必须保持一致，否则评测结果无法复现。这一点在换机器或换数据目录时最容易翻车。

6. 常见问题速查与最后几条实操心得

6.1 高频问题与解决方案对照表

6.2 写在大结局之前的三条建议

第一条，数据永远比模型重要。我在 RoboTwin 上花的时间里，数据生成与清洗占了近一半，但回报最明显。删掉 3% 脏数据带来的成功率提升，比我把扩散模型的 denoising steps 从 50 调到 100 还大。

第二条，ROCm 上跑 PyTorch 项目，不要随便升级依赖。稳定版本的优先级高于新特性。我中途试过一次把 diffusers 升级到最新版，结果 Diffusion Policy 的采样接口变了，整个训练流程重写才能跑起来，白白消耗了时间。

第三条，别忽略评测环境的真实感。RoboTwin 虽然基于仿真，但如果你只关注“仿真成功率”而忽略了物体纹理、光照、物理参数与真实场景的差异，策略迁移到实物时大概率会打回原形。我建议在评测阶段主动加入不同颜色、不同材质的物体配置，提前把“感知鲁棒性”的问题压出来，而不是等部署以后再反应。

这次从一片空白到成功跑通完整闭环，最大的体会是：具身智能项目的难点往往不在某一个模型有多难写，而在数据、检索、训练、评测各个环节的衔接是否顺畅。RoboTwin 的设计好在把这一套串成了一个工具链，而 AMD ROCm 的成熟度让我可以把注意力放在策略本身，而不是纠结底层算子。下一篇我会接着写 RoboTwin 策略部署到真实机械臂的迁移细节，包括域随机化和在线微调，如果你也在折腾类似的事情，欢迎留言交流踩坑心得。