agent-skills 设计指南：智能体能力封装与调度实践
2026/10/13 6:45:12
RT系列算法
- 通用抓取RT系列算法
- Transformer原理
- 核心组件
- 1. 输入词嵌(input embedding)
- 2. 输出词嵌(output embedding)
- 3. 位置编码(positional encoding)
- 4. 编码器(encoder)
- 5. 多头注意力机制(multi-head attention)
- 自注意力的具体步骤：
- 6. 前馈神经网络(feed-forward neural network)
- 7. 解码器(decoder)
- 解码器整体流程：
- 8. 编码器-解码器注意力机制（Encoder-Decoder Attention）
- 具体步骤：
- 9. 掩码多头注意力机制(masked multi-head attention)
- 具体操作：
- 10. 输出层(output layer)
- RT1
- 输入处理
- **输入**：**语句** + **图像**
- FiLM(Feature-wise Linear Modulation)
- Token Learner模块
- 1. **Token Learner模块的背景**
- 2. **Token Learner的工作原理**
- 2.1 特征图输入
- 2.2 学习重要性分数
- 2.3 选择和组合Token
- 2.4 输出
- 3. **Token Learner模块的优势**
- 4. **Token Learner与传统ViT的对比**
- 5. **Token Learner的应用场景**
- 6. **总结**
- Transformer模块
- 动作输出
- 数据来源
- 实验分级
- Sim2Real与联合训练
- RT2
- 模型类别
- 动作表示
- 协同微调
- 训练分级
- RTX
通用抓取RT系列算法
Transformer原理
一种专门处理序列数据的神经网络架构。
核心组件
1. 输入词嵌(input embedding)
将输入序列中的每个词转换为一个固定维度的向量表示。Transformer不能直接处理离散的符号（如自然语言中的单词），所以需要将这些符号通过嵌入层转换为连续的向量。
例如，一句话中的每个词都会被映射到一个高维空间中的向量。这些向量可以捕捉词语之间的语义关系。
Transformer中单词的输入表示x由淡次Embedding和位置Embedding相加得到。
2. 输出词嵌(output embedding)
主要用于解码器部分，它的作用与 Input Embedding 类似，将输出序列的离散符号映射为连续向量表示。在解码器中，输出序列（即目标序列）通过 Output Embedding 进行处理，输入给解码器的各层，用于生成下一个输出符号。
Transformer架构会共享输入嵌入和输出嵌入矩阵。这意味着输入嵌入层和输出嵌入层使用相同的嵌入矩阵，这种技术被称为权重共享（Weight Tying）。
**Outputs (shifted right)**作用是在训练过程中对输出序列进行位移处理。这个操作主要用于序列生成任务，比如机器翻译或文本生成Transformer的解码器部分接收目标序列作为输入。然而，解码器的自注意力机制需要屏蔽掉未来的信息，确保模型在每一步只看到之前的词语，而不看到未来的词。这就是“shifted right”的目的——对目标输出序列进行右移，使得模型在预测第 t个词时只能看到前面的 t−1个词，而不能看到第 t个及其后的词。防止未来信息泄露。
3. 位置编码(positional encoding)
由于Transformer架构没有内置的顺序信息，它需要通过位置编码添加顺序信息。位置编码通过正弦和余弦函数生成，并与输入嵌入向量相加，使得模型能够区分词语的顺序。
偶数维度：P E ( p o s , 2 i ) = s i n ( p o s 10000 2 i / d ) PE(pos,2i)=sin(\frac{pos}{10000^{2i/d}})PE(pos,2i)=sin(100002i/dpos)
奇数维度：P E ( p o s , 2 i + 1 ) = c o s ( p o s 10000 2 i / d ) PE(pos,2i+1)=cos(\frac{pos}{10000^{2i/d}})PE(pos,2i+1)=cos(100002i/dpos)
4. 编码器(encoder)
负责对输入序列进行特征提取和上下文建模。编码器是整个模型的前半部分，主要用于处理输入数据（如句子、图像或其他序列数据），并将其转换为一组连续的、上下文感知的表示，供解码器或其他任务使用。
编码器是一个堆叠的层次结构，通常包含多个相同的编码器层（例如6层或12层）。每个编码器层通过一系列模块对输入进行处理，包括自注意力机制（Self-Attention）、前馈神经网络（Feedforward Neural Network）和残差连接与层归一化（Residual Connection & Layer Normalization）。
编码器的输入:通常是经过嵌入层（Input Embedding）处理后的连续向量。输入的形状为( T , d ) (T, d)(T,d)，其中 T是序列的长度，d是嵌入向量的维度。
编码器的输出:与输入序列等长的表示序列，每个位置的向量都包含了它与其他位置之间的全局上下文信息。这个上下文感知的表示序列将被传递给解码器，帮助其在生成输出时利用输入序列的完整信息。
残差连接与层归一化:
为了确保梯度在深层网络中能够更稳定地传播，Transformer的每个子层（如自注意力和前馈神经网络）都使用了残差连接（Residual Connection）和层归一化（Layer Normalization）。
残差连接：每一层的输出会与输入直接相加，再传递给下一层。这有助于缓解深层网络中的梯度消失问题：
Output of sublayer = LayerNorm ( x + sublayer ( x ) ) \text{Output of sublayer} = \text{LayerNorm}(x + \text{sublayer}(x))Output of sublayer=LayerNorm(x+sublayer(x))层归一化：在残差连接之后，使用层归一化来确保模型每一层的输出在经过不同操作后保持数值稳定，避免数值过大或过小影响模型性能，加速优化。
5. 多头注意力机制(multi-head attention)
多头自注意力机制是Transformer编码器的核心组件。
自注意力机制通过捕捉序列中每个位置与其他位置之间的依赖关系，能够理解输入序列中的全局上下文信息。这种机制使得模型可以在输入序列中任意两个位置之间建立关联，而不像RNN那样只能依赖邻近的词或有限的上下文窗口。
自注意力的具体步骤：
输入向量的转换：对于每个输入向量（例如某个词的嵌入表示），自注意力机制会将其投影到三个不同的空间，分别计算查询（Query, Q）、键（Key, K）和值（Value, V）。每个输入向量会通过不同的线性变换得到Q QQ、K KK和V VV。
这些变换由可学习的权重矩阵完成：
Q = X W Q , K = X W K , V = X W V Q = XW^Q, \quad K = XW^K, \quad V = XW^VQ=XW