企业官网建设流程全解析

036、RT-1真实世界机器人Transformer：动作Token化与模仿学习实战

调试间里那台UR5又撞了。不是撞桌子，是撞它自己——夹爪在接近目标点的时候突然抽搐了一下，然后整个轨迹像喝醉了酒一样甩出去。我看了一眼终端，loss还在往下掉，验证集准确率0.87，看起来一切正常。但机器人就是不听使唤。

后来我把那一段的action序列打印出来，发现了一个让人后背发凉的事实：模型输出的末端执行器位移在连续两个时间步之间跳变了将近8厘米。8厘米，在真实机器人上就是一次事故。而训练数据里，人类示教时相邻两步的位移从来没超过2厘米。

这就是RT-1论文里没有明说、但你在真实机器人上一定会撞见的问题：动作空间连续回归，在Transformer的离散token世界里，根本行不通。

动作Token化：把连续空间切成能数得清的格子

RT-1的核心改动，是把原本连续的7维动作向量（x, y, z, roll, pitch, yaw, gripper）做了一次离散化。每个维度单独切成256个bin，然后拼成一个token序列。听起来简单，但这里有个细节你八成会忽略：切分方式决定了机器人是"稳"还是"疯"。

我当时第一版实现用的是均等切分——从动作最小值到最大值均匀分256份。训练loss降得飞快，验证集准确率0.9以上，一上真机就露馅。原因在于：真实示教数据里，末端执行器在大部分时间里只有微小位移，偶尔才有大幅度移动。均等切分把大量bin浪费在那些极少出现的大位移上，而小位移区域的分辨率严重不足。模型学到的其实是"猜个大概"，反正loss已经够低了。

正确做法是按数据分位数切分。先统计训练集里每个动作维度的分布，然后按分位数把256个bin的边界定下来，让每个bin里落的数据量大致相等。这样小位移区域有足够多的token去区分，模型输出"微小调整"的能力就出来了。改完之后，真机上那种"抽搐式"跳变基本消失。

代码上，分位数切分用np.percentile就能搞定：

# 这里踩过坑：别用min-max均等切分，真机上会疯# 用训练集所有动作数据算分位数边界all_actions=np.concatenate([ep['actions']forepintrain_episodes],axis=0)# [N, 7]bin_edges=[]fordiminrange(7):# 256个bin需要257个边界，0到100分位edges=np.percentile(all_actions[:,dim],np.linspace(0,100,257))bin_edges.append(edges)

推理时，模型输出的是256个类别的logits，取argmax得到bin索引，再映射回连续值。映射的时候别直接取bin中心点，用bin内数据的均值会更稳。因为分位数切分后，每个bin内的数据分布不一定对称，取均值比取中心点更接近真实示教数据的期望值。

# 推理时把token映射回连续动作deftoken_to_action(token_idx,dim,bin_edges,bin_means):# token_idx: [seq_len, 7] 每个维度的bin索引# bin_means: [7, 256] 每个bin内训练数据的均值iftoken_idx==0:returnbin_edges[dim][0]# 边界情况iftoken_idx==256:returnbin_edges[dim][-1]returnbin_means[dim][token_idx]

架构细节：别把RT-1当成普通Transformer

RT-1的backbone是EfficientNet + FiLM条件化 + Transformer encoder。很多人照着论文搭，结果训练出来效果差一大截。我复盘下来，问题出在三个地方。

第一，FiLM层的位置。论文里FiLM是对EfficientNet每个block的输出做条件化，不是只在最后接一层。这意味着语言指令从浅层就开始影响视觉特征提取。如果你只在最后加FiLM，模型学到的其实是"先看全局，再根据指令找目标"，而不是"带着指令去看"。这两种策略在简单场景下差别不大，但一旦场景里有多个相似物体，前者就会频繁抓错。

第二，token序列的长度。RT-1把EfficientNet输出的特征图展平成token序列，这个序列长度是固定的。但实际操作中，不同任务需要的"视觉注意力"范围不一样。比如"抓红色杯子"和"把杯子放到抽屉里"，前者需要关注局部细节，后者需要理解空间关系。固定长度token序列会让模型被迫在两者之间妥协。我的做法是在特征图展平之前，加一个可学习的空间注意力mask，让模型自己决定每个位置的特征重要程度。这个mask的初始化用全1，训练过程中它会自动学会聚焦。

# 空间注意力mask，别小看这个，真机成功率能差10个点classSpatialAttention(nn.Module):def__init__(self,feat_h,feat_w):super().__init__()# 可学习的mask，初始化为全1self.mask=nn.Parameter(torch.ones(1,1,feat_h,feat_w))defforward(self,x):# x: [B, C, H, W]# 用sigmoid把mask限制在(0, 2)范围，避免过大的缩放mask=1+torch.sigmoid(self.mask)# 范围(1, 2)returnx*mask

第三，动作token的序列组织。论文里把7维动作离散化后拼成一个token序列，但顺序是固定的。我试过调整维度顺序，发现gripper状态放在最后一位效果最好。原因可能是：gripper只有开/关两种状态，放在最后可以让Transformer在预测时"先想清楚位置，再决定抓不抓"。如果你把gripper放前面，模型会过早决定抓取动作，导致位置预测被带偏。

模仿学习实战：数据增强是救命稻草

RT-1的训练数据来自真实示教，但真实数据的多样性永远不够。我跑过一个实验：只用原始数据训练，验证集准确率0.82，但真机成功率只有40%。加了数据增强之后，验证集准确率0.85，真机成功率直接跳到75%。

数据增强的关键不是"多"，而是"像"。颜色抖动要有，但幅度不能大——真实机器人看到的场景不会突然变色。随机裁剪要有，但裁剪范围要控制在10%以内——否则模型会学到"物体在画面中央"这个假规律。平移增强要有，但平移量要对应真实机器人工作空间的范围——你不可能让机器人去抓画面外的物体。

# 数据增强，这里踩过坑：增强太猛，模型学废了defaugment_image(image,action):# image: [H, W, 3] 相机原始图# action: [7] 对应的动作# 颜色抖动，幅度要小ifrandom.random()<0.5:image=adjust_brightness(image,delta=0.1)# 别超过0.1image=adjust_contrast(image,factor=1.1)# 别超过1.1# 随机裁剪，范围控制在10%ifrandom.random()<0.5:h,w=image.shape[:2]crop_h=int(h*random.uniform(0.9,1.0))crop_w=int(w*random.uniform(0.9,1.0))y=random.randint(0,h-crop_h)x=random.randint(0,w-crop_w)image=image[y:y+crop_h,x:x+crop_w]image=resize(image,(h,w))# 动作也要跟着平移！这里容易忘# 假设相机内参已知，把裁剪偏移换算成机器人坐标系的位移action[0]+=(x-w/2)*pixel_to_world_scale action[1]+=(y-h/2)*pixel_to_world_scalereturnimage,action

动作噪声注入也是关键。示教数据里的人类动作太"完美"了，每一步都是平滑的。但模型在推理时，由于token离散化，输出天然带有量化噪声。如果训练时不给模型看带噪声的动作，它遇到真实推理时的量化误差就会手足无措。我的做法是：训练时以20%的概率给动作加上高斯噪声，标准差设为该维度动作标准差的5%。这个幅度刚好模拟token量化误差，又不会让模型学歪。

训练策略：batch size和learning rate的博弈

RT-1的参数量不大（约35M），但训练起来很吃显存。因为输入是图像序列（一般取6帧），batch size稍微一大就OOM。我试过batch size 16和64，发现batch size 32是个甜点——再小训练不稳定，再大显存扛不住。

learning rate方面，RT-1论文用的是AdamW + cosine schedule，初始lr 1e-4。但我发现warmup阶段特别重要。因为动作token的类别分布极度不均匀——有些bin出现频率高，有些几乎不出现。如果一开始就用大lr，模型会迅速偏向高频bin，陷入局部最优。我的做法是：前2000步用线性warmup，lr从0升到1e-4，然后cosine decay到1e-5。这个改动让训练收敛速度慢了10%，但最终准确率高了3个点。

# 训练循环里的warmup，别省这一步optimizer=AdamW(model.parameters(),lr=1e-4,weight_decay=0.01)scheduler=CosineAnnealingLR(optimizer,T_max=total_steps)forstepinrange(total_steps):ifstep<2000:lr=1e-4*step/2000forparam_groupinoptimizer.param_groups:param_group['lr']=lrelse:scheduler.step()

真机部署：那些论文没告诉你的坑

模型训练完，验证集准确率0.9，你以为就完事了？真机部署才是真正的战场。

第一个坑：推理延迟。RT-1的Transformer encoder处理6帧图像，在A100上大概需要30ms。但你的机器人控制器可能跑在工控机上，只有一块RTX 3060。实测推理延迟可能到150ms，这已经超过了机器人控制周期的容忍范围。我的解决方案是把图像编码器（EfficientNet）和Transformer encoder分开部署——图像编码器跑在GPU上，Transformer encoder跑在CPU上，两者通过共享内存通信。这样延迟能压到80ms左右。

第二个坑：动作平滑。即使做了token化，模型输出的动作序列仍然可能有不自然的跳变。我加了一个指数移动平均滤波器，对连续两步的动作做平滑：

# 动作平滑，别用简单平均，会滞后# 用EMA，alpha=0.7，兼顾响应速度和平滑度smoothed_action=0.7*new_action+0.3*prev_smoothed_action

这个滤波器让机器人动作看起来更"人类"，但代价是响应速度变慢。如果你的任务需要快速抓取，alpha可以调到0.8；如果需要精细操作，调到0.6。

第三个坑：失败恢复。模型预测的token可能落在"不可能"的区域——比如夹爪已经闭合了，模型还预测"继续闭合"。我在部署时加了一个动作合法性检查：如果模型输出的动作与当前机器人状态冲突（比如夹爪已闭合但预测gripper=1），就强制用上一次的合法动作替代。这个检查在真机上避免了至少30%的"抽风"行为。

经验之谈：RT-1的边界在哪里

RT-1不是万能的。我跑了半年真机实验，总结出它的三个明显短板。

第一，长时序任务会崩。RT-1的Transformer encoder只处理6帧图像，上下文窗口很短。对于"先抓A，再放B，最后按C"这种多步任务，模型会迷失。我试过把窗口加到12帧，效果有提升但显存翻倍。更实用的方案是任务分解——把长任务拆成多个RT-1子任务，每个子任务单独训练，用状态机切换。

第二，对光照变化敏感。训练数据里如果光照条件单一，模型在真实环境里遇到阴影或反光就会"瞎"。我试过在训练时随机调整图像亮度、对比度，但效果有限。更靠谱的方案是在部署时做图像归一化——用固定的参考白平衡校正图像，让输入分布尽量接近训练集。

第三，动作token化牺牲了精度。256个bin听起来很多，但对于需要毫米级精度的操作（比如插拔连接器），这个分辨率远远不够。我的经验是：RT-1适合粗放型操作（抓取、放置、推拉），不适合精密装配。如果你要做精密操作，要么增加bin数量（但训练难度会上升），要么改用混合方案——RT-1输出粗粒度动作，再用一个小的回归模型做精调。

最后说一句：RT-1的价值不在于它本身有多强，而在于它证明了"离散化动作 + 模仿学习"这条路走得通。后来的RT-2、Octo、OpenVLA都在这个框架上演进。但无论模型多先进，真机调试的底层逻辑没变——先让动作稳，再让动作准。稳都做不到，准就是空中楼阁。