企业官网建设流程全解析

1. 项目概述：这不是一次普通模型微调，而是一次“技能执行流”的范式迁移

最近刷到上海AI实验室新发布的 SkillGym 论文，标题里那串数字——“Qwen3.5-35B-A3B 在 Terminal-Bench 2.1 提升 19.10 个百分点”——第一眼我差点以为是排版错误。19.10？不是1.9，也不是9.1，是实打实的十九点一零。我立刻停下手头三个并行跑着的推理服务，把论文PDF拖进阅读器，从摘要开始逐行划重点。这不是又一个“在某数据集上微调后提升X%”的常规操作，它绕开了传统指令微调（SFT）和强化学习（RLHF）的老路，转而用“验证通过的技能运行轨迹”作为训练信号——注意，是运行轨迹（execution trace），不是对话样本，不是问答对，更不是人工标注的偏好数据。它记录的是模型在真实终端环境里一步步敲命令、读回显、判断状态、决定下一步的完整行为链。就像给模型装了一个“操作录像机+动作回放器”，让它反复观看自己成功完成任务的全过程，而不是靠人类打分来猜“什么算好答案”。

这个思路背后藏着一个被长期忽视的痛点：大模型在 Terminal-Bench 这类强交互、多步骤、容错率极低的场景中，失败往往不是因为“答错了”，而是因为“走错了”。比如执行git checkout feature-branch前没确认当前目录是否在正确仓库，或者docker build -t myapp .后没检查镜像是否真生成了，就直接docker run——这些中间状态判断和操作顺序依赖，纯靠语言建模很难捕捉。SkillGym 把问题拆解成“技能原子”（如解析ls -l输出识别可执行文件、根据ps aux | grep nginx判断服务状态），再用真实运行中被验证为“最终成功”的完整轨迹来训练模型对这些原子技能的调度能力。Qwen3.5-35B-A3B 作为基座模型，本身已具备强大语言理解力，缺的是“终端肌肉记忆”。SkillGym 补上的，正是这块关键拼图。它适合两类人：一类是正在做 DevOps 自动化、CLI 工具链智能体开发的工程师，另一类是研究大模型具身推理、工具调用稳定性的算法同学。如果你还在用传统 SFT 在 Terminal-Bench 上死磕，这篇论文值得你花40分钟重读三遍。

2. 核心设计逻辑：为什么放弃“答得好”，转向“做得对”

2.1 传统方法的天花板在哪？

先说清楚 SkillGym 想解决什么。Terminal-Bench 2.1 不是问答题，它是一套模拟真实运维场景的终端任务集：比如“部署一个 Python Flask 应用并使其可通过 localhost:5000 访问”，任务包含创建虚拟环境、安装依赖、编写代码、启动服务、验证端口监听、检查进程状态等8–12个严格依赖的步骤。每个步骤的输出都可能影响后续决策——pip install flask失败后，如果模型还继续python app.py，整个任务就崩了。传统方案有三条路：

• 监督微调（SFT）：用人工编写的“标准操作流程”当标签。问题在于：人工流程是理想路径，但真实终端里ls可能返回空目录，curl http://localhost:5000可能超时，模型需要学会处理这些异常分支。SFT 数据里几乎不包含这些“失败-恢复”轨迹，导致模型在真实环境里一碰异常就卡死。

• 强化学习（RLHF/RLAIF）：用奖励函数（reward function）评判最终结果。比如任务完成得1分，失败得0分。但 Terminal-Bench 的奖励极其稀疏——只有最后一步验证成功才给分，中间10步全无反馈。模型像蒙着眼睛走钢丝，根本不知道哪一步踩偏了。我们团队去年试过用 PPO 微调 Qwen2.5-7B，在 Terminal-Bench 1.5 上跑了两周，提升不到2个百分点，反而让模型在简单命令上变得犹豫。

• 思维链（CoT）提示工程：不微调，只改 prompt，让模型“先想再做”。这在单步命令上有效，但面对多步骤任务，CoT 容易产生“幻觉式规划”——比如规划出systemctl start nginx，却没检查 nginx 是否已安装。一旦规划错误，后续全盘皆输。

SkillGym 的破局点，就是把“稀疏奖励”变成“稠密轨迹”。它不关心模型“想得对不对”，只记录它“做得对不对”，而且只保留那些从第一步到最后一步全部执行成功的完整轨迹。这些轨迹天然包含了所有异常处理分支：比如cd /var/www/html失败后，模型自动执行mkdir -p /var/www/html；curl -I http://localhost:5000返回 404，模型立刻journalctl -u myapp.service查日志。这些动作不是人工设计的，而是模型在探索中自己试出来、且被环境验证有效的。

2.2 “验证通过的技能运行轨迹”到底是什么？

这里必须抠清楚定义，很多初读论文的人会误解。“验证通过”不是指“人工审核通过”，而是指终端环境返回的 exit code 和关键输出匹配预设的成功条件。举个具体例子：Terminal-Bench 中有个任务叫 “Setup Nginx with custom index.html”。

• 成功条件定义：
  1. nginx -t返回 exit code 0；
  2. curl -s http://localhost | grep "Welcome to Nginx"匹配成功；
  3. ps aux | grep nginx | grep -v grep至少返回两行（master + worker 进程）。

SkillGym 的数据收集流程是这样的：

1. 用未微调的 Qwen3.5-35B-A3B 作为初始策略，在 Terminal-Bench 环境中自主尝试任务；
2. 每次尝试，系统全程录制所有输入命令、每条命令的 stdout/stderr、exit code、以及当前工作目录和环境变量快照；
3. 仅当一次尝试满足全部成功条件时，整条轨迹才被标记为“验证通过”，存入 SkillGym 轨迹库；
4. 轨迹格式不是纯文本，而是结构化 JSON：

{ "task_id": "nginx_setup_001", "steps": [ { "step_id": 0, "command": "sudo apt update", "stdout": "...Fetched 1234 packages...", "exit_code": 0, "env_snapshot": {"PWD": "/home/user", "USER": "root"} }, { "step_id": 1, "command": "sudo apt install nginx -y", "stdout": "...Setting up nginx-core (1.18.0)...", "exit_code": 0, "env_snapshot": {"PWD": "/home/user", "USER": "root"} } ], "final_validation": {"nginx_test": true, "curl_test": true, "ps_test": true} }

关键点在于：轨迹中每一步的“正确性”不是由人类定义的，而是由终端环境自身的反馈定义的。模型不需要理解“为什么apt install nginx是对的”，它只需要记住：当看到sudo apt update成功后，紧接着执行sudo apt install nginx -y，大概率能推进到下一步。这种基于环境反馈的学习，更接近人类学开汽车——不是背诵《驾驶手册》，而是在教练副驾指导下，反复感受油门深度与车速的关系、方向盘角度与转弯半径的对应。

2.3 为什么选 Qwen3.5-35B-A3B？A3B 后缀意味着什么？

标题里这个模型名很关键。Qwen3.5-35B-A3B 不是官方发布的标准版本，而是上海AI实验室内部优化的一个变体。A3B 指的是"Advanced 3-bit Activation-aware Blockwise Quantization"——一种针对终端推理场景深度定制的量化方案。我们拆解一下：

• 35B 参数量：足够支撑复杂工具调用和长上下文（Terminal-Bench 任务平均需要1200+ tokens 的上下文窗口）；
• Qwen3.5 架构：相比 Qwen2，它在 MoE（Mixture of Experts）路由机制上做了改进，对 CLI 命令这类短文本 token 的激活更敏感；
• A3B 量化：不是简单的 INT4 量化。它采用 blockwise 分块，对每一层的激活值分布做实时统计，动态调整量化参数。实测在 NVIDIA A10 GPU 上，A3B 版本的推理速度比标准 FP16 版本快2.3倍，显存占用从48GB降至18GB，且关键 token 的 logits 分布畸变率低于0.7%（对比 INT4 的3.2%）。这意味着模型在判断ps aux | grep nginx输出中哪一行是 master 进程时，不会因量化噪声误判。

选择它，不是因为它“最大”，而是因为它“最稳”。我们在复现实验时对比过：用标准 Qwen3-32B 做同样训练，最终 Terminal-Bench 2.1 得分只提升12.4%，而 A3B 版本达到19.10%。差额的6.7个百分点，全来自 A3B 对终端命令 token 的保真度提升——它让模型更可靠地识别grep的匹配行、awk '{print $2}'的字段索引、sed -i 's/old/new/g' file的替换范围。

3. 实操细节拆解：如何从零构建 SkillGym 训练流水线

3.1 环境准备：别在本地 Docker 里折腾，用专用沙箱

SkillGym 的核心是“真实终端反馈”，所以训练环境必须高度还原 Terminal-Bench 的约束。我们试过三种方式，最终锁定方案：

• ❌ 本地 Docker 容器：启动太慢（每次任务平均耗时4.2秒），且systemctl等命令受限，无法模拟真实 systemd 环境；
• ❌ 云服务器 VM：成本高（单台 8vCPU/32GB RAM 的月费超￥1200），且网络延迟导致curl验证不稳定；
• ✅ 专用轻量级沙箱（推荐）：基于 Firecracker + MicroVM 的定制沙箱，启动时间 < 80ms，支持完整 systemd、network namespace 和 cgroups 资源限制。上海AI实验室开源了沙箱镜像（shanghai-ai-lab/skillgym-sandbox:v2.1），我们在此基础上做了两项关键修改：
  1. 增加审计日志模块：在沙箱内核层 hook 所有execve系统调用，精确捕获每条命令的完整参数（包括-f、-y等 flag），避免bash -c "ls -l"这类间接调用丢失上下文；
  2. 注入环境感知钩子：在沙箱启动时，自动注入一个 Python agent，它监听/tmp/skillgym_eventsFIFO 文件，实时接收模型发出的命令，并将 stdout/stderr/exit_code 打包发回主训练进程。这样避免了传统subprocess.Popen的阻塞等待，吞吐量提升3.8倍。

提示：沙箱必须配置--cpus 2 --memory 4096，资源过低会导致apt update超时，过高则浪费。我们用 Kubernetes Job 管理沙箱生命周期，每个 Terminal-Bench 任务独占一个沙箱实例，确保环境隔离。

3.2 轨迹采集：不是“越多越好”，而是“越准越好”

SkillGym 论文提到用了 12.7 万条验证通过轨迹，但实际复现时，我们发现前 2000 条的质量决定了后续效果上限。采集阶段的关键不是数量，而是轨迹的多样性与鲁棒性。我们制定了三条硬性过滤规则：

1. 步骤长度过滤：剔除步骤数 < 5 或 > 40 的轨迹。太短说明任务过于简单（如纯echo hello），太长则包含大量冗余操作（如反复ls目录），噪声大；
2. 命令熵值过滤：计算轨迹中所有命令的 Shannon 熵。熵值 < 2.1 的轨迹（如连续10次cd ..）视为无效探索，丢弃；
3. 状态跳跃过滤：检查相邻步骤间工作目录、环境变量、进程列表的变化幅度。若pwd从/home/user突变为/root且无sudo命令，则判定为沙箱状态污染，整条轨迹作废。

我们用未微调的 Qwen3.5-35B-A3B 在沙箱中跑了 72 小时，初始成功率仅 3.2%。但通过动态调整探索策略（在失败任务上，强制模型先执行history | tail -20查看历史命令，再决策），72 小时后采集到 2147 条高质量轨迹。这 2147 条覆盖了 Terminal-Bench 2.1 全部 47 个任务类型，且每个任务至少有 32 条不同路径的轨迹（例如部署 Nginx，有apt路径、docker run路径、compile from source路径）。

3.3 训练数据构造：把“轨迹”变成“可学习的序列”

原始轨迹是 JSON 结构，不能直接喂给模型。SkillGym 的数据构造有两层转换：

第一层：轨迹扁平化（Trajectory Flattening）
将每条轨迹转换为<command><stdout><exit_code>的三元组序列，并插入特殊 token：
<|START|> sudo apt update <|CMD|> sudo apt update <|STDOUT|> ...Fetched 1234 packages... <|EXIT|> 0 <|SEP|> sudo apt install nginx -y <|CMD|> sudo apt install nginx -y <|STDOUT|> ...Setting up nginx-core... <|EXIT|> 0 <|END|>

关键设计：

• <|SEP|>分隔符不是简单换行，而是触发模型的“步骤注意力重置”——让模型明白这是新一步的开始；
• <|EXIT|>后紧跟 exit code 数字（0 或 1），而非文字“success/fail”，因为模型对数字 token 的预测更稳定；
• <|START|>和<|END|>强制模型学习轨迹的边界，避免生成跨任务的混乱命令。

第二层：负样本增强（Negative Sampling）
SkillGym 论文没明说，但我们在复现时发现至关重要。单纯用正样本训练，模型会过度拟合“成功路径”，遇到新任务时不敢尝试。我们按 1:3 比例加入负样本：

• 硬负样本：从失败轨迹中截取前 k 步（k=3~5），确保它们看起来“合理”但最终失败（如cd /var/www && ls后直接nginx -t，却没安装 nginx）；
• 软负样本：对正样本做局部扰动，如将curl -s http://localhost改为curl -s http://localhost:8080，或将grep "Welcome"改为grep "Hello"。

训练时，模型不仅要预测下一步命令，还要预测<|EXIT|>后的数字。我们观察到：当 exit code 预测准确率 > 92% 时，终端任务成功率才开始显著提升。这印证了 SkillGym 的核心思想——先学会判断“这步对不对”，再学会“下一步做什么”。

3.4 模型微调：用 LoRA + 梯度裁剪，避开显存炸弹

Qwen3.5-35B-A3B 的全参数微调需要 8×A100（80GB），我们没有这个资源。SkillGym 论文用的是 LoRA（Low-Rank Adaptation），但我们做了三点关键调整：

• LoRA 秩（rank）选择：论文用 rank=64，我们在 A10 GPU（24GB）上实测，rank=32 时 loss 下降最快，且显存占用从 38GB 降至 21GB；
• 目标模块聚焦：不是所有 attention 层都加 LoRA。我们分析了 Qwen3.5 的梯度流，发现q_proj和o_proj层对 CLI 命令 token 的梯度贡献占比达 67%，因此只在这两层注入 LoRA adapter，其他层冻结；
• 梯度裁剪策略：Terminal-Bench 轨迹长度差异大（5~38步），导致 batch 内 loss 方差极大。我们采用 per-sample gradient clipping：对每个样本计算 loss 后，单独裁剪其梯度 norm 至 1.0，而非整个 batch 统一裁剪。这避免了长轨迹样本主导更新方向。

训练超参：

• Batch size = 4（每卡），gradient accumulation steps = 8 → effective batch size = 32；
• Learning rate = 2e-5，warmup steps = 200，cosine decay；
• 使用 FlashAttention-2 加速，训练速度提升 1.7 倍；
• 关键监控指标：exit_code_acc（exit code 预测准确率）和cmd_token_acc@1（命令 token top-1 准确率）。当exit_code_acc稳定在 94.2% 以上时，我们停止训练——此时 Terminal-Bench 2.1 得分已达 18.93%，再训只会过拟合。

4. 实操过程详解：从沙箱启动到终端任务通关的全流程

4.1 第一步：沙箱初始化与任务加载

我们写了一个sandbox_launcher.py脚本，它负责：

1. 从 Terminal-Bench 2.1 的 task list 中随机选取一个任务（如task_id=deploy_flask_v2）；
2. 启动 Firecracker MicroVM，挂载预置的 Ubuntu 22.04 rootfs 镜像；
3. 注入任务描述文件/task.json（含任务目标、成功条件、初始环境状态）；
4. 启动审计 agent，监听/tmp/skillgym_events；
5. 返回沙箱 IP 和 SSH 端口给主训练进程。

关键细节：沙箱的 rootfs 镜像是精简版，只包含apt,curl,ps,systemctl,docker等 Terminal-Bench 必需命令，大小仅 1.2GB。我们删掉了vim,nano,gcc等非必要工具，既减少攻击面，也加快启动速度。每次任务启动，沙箱从 clean state 开始，确保轨迹纯净。

4.2 第二步：模型推理与命令生成

主进程加载微调后的 Qwen3.5-35B-A3B，输入格式为：
<|SYSTEM|> You are a terminal expert. Execute commands to complete the task. Current directory: /home/user. User: user.<|TASK|> Deploy a Flask app listening on localhost:5000.<|HISTORY|> [empty]<|PREDICT|>

模型输出是下一个命令，如mkdir -p ~/flask_app。我们不做采样（temperature=0），用 greedy decode 确保确定性。输出后，主进程：

• 解析命令字符串，提取可执行文件名（mkdir）和参数（-p ~/flask_app）；
• 通过 SSH 将命令发送至沙箱；
• 等待审计 agent 发回 JSON 包：{"command": "mkdir -p ~/flask_app", "stdout": "", "stderr": "", "exit_code": 0, "pwd": "/home/user"}；
• 将此三元组追加到HISTORY，构造下一轮输入。

注意：我们禁用了shell=True，所有命令都通过execve直接调用，避免 shell 解析带来的歧义（如echo $PATH中的$PATH不会被展开，保持原始语义）。

4.3 第三步：轨迹验证与存储

当模型生成curl -s http://localhost:5000 | grep "Hello World"且沙箱返回 exit_code=0 时，系统触发最终验证：

• 执行预设的 success check script（如check_flask_deploy.sh）；
• 若所有 check 通过，将整条轨迹（含所有步骤的 command/stdout/exit_code/pwd）序列化为 JSON，存入trajectories/valid/目录；
• 若失败，轨迹存入trajectories/invalid/，供后续分析失败模式。

我们发现一个隐藏技巧：在最终验证前，强制模型执行一次history | tail -10。这能暴露模型是否真的理解了当前状态——如果它刚执行完python app.py，history应该显示该命令；如果显示的是cd /tmp，说明模型在“假装执行”。这个小动作让轨迹质量提升 23%。

4.4 第四步：在线微调（Online Fine-tuning）

SkillGym 的精髓在于闭环。我们不是一次性训练完就结束，而是：

• 每收集满 50 条新验证轨迹，就用它们对模型做 1 个 epoch 的增量微调；
• 微调时，batch 内混合 70% 历史轨迹 + 30% 新轨迹，防止灾难性遗忘；
• 每次微调后，在 hold-out validation set（50 个未见过的任务）上测试，若得分提升 > 0.3%，则接受新权重，否则回滚。

这个过程持续了 17 轮，总训练时间 38 小时。最终模型在 Terminal-Bench 2.1 的 47 个任务上，平均成功率从基线 31.2% 提升至 50.3%，绝对提升 19.10 个百分点——和论文一致。最惊喜的是泛化能力：在未参与训练的 Terminal-Bench 2.0 子集上，得分也提升了 16.7%，证明 SkillGym 学到的是通用终端操作逻辑，而非死记硬背。

5. 常见问题与避坑指南：那些论文里不会写的实战教训

5.1 问题：沙箱启动失败，报错 “Failed to connect to systemd”

原因：Firecracker 默认不启用 systemd，而 Terminal-Bench 任务大量依赖systemctl。
解决：在沙箱启动参数中添加--kernel-args="systemd.unit=multi-user.target"，并在 rootfs 的/etc/systemd/system.conf中设置DefaultTimeoutStartSec=30s（避免systemctl start nginx因超时失败）。我们还发现，必须在沙箱内运行dbus-daemon --session --address=unix:path=/tmp/dbus，否则systemctl无法通信。

5.2 问题：模型生成的命令总是带多余空格，如ls -l /home /user（多了一个空格）

原因：Qwen tokenizer 对空格敏感，/home /user被 tokenize 为['/home', ' ', '/user']，模型在预测时容易在空格位置出错。
解决：在数据预处理时，对所有命令字符串执行re.sub(r'\s+', ' ', cmd).strip()，统一为单空格分隔；同时，在 tokenizer 的add_special_tokens中加入<|SPACE|>token，专门表示空格，让模型显式学习空格位置。实测后，命令语法错误率下降 41%。

5.3 问题：训练 loss 降不下去，exit_code_acc卡在 85%

排查思路：

1. 检查轨迹中 exit_code 分布——我们发现 92% 的轨迹 exit_code 都是 0，1 是稀疏类别，模型学会永远预测 0；
2. 解决：在 loss 计算时，对 exit_code=1 的样本加权 5.0（class weight），并用 focal loss 替代交叉熵；
3. 更关键的是：增加 exit_code=1 的硬负样本。我们从失败轨迹中，专门提取那些“看起来成功但 exit_code=1”的步骤（如ping google.com返回 stdout 但 exit_code=1，因 DNS 失败），加入训练集。调整后，exit_code_acc一周内突破 94%。

5.4 问题：模型在 Terminal-Bench 上得分高，但在真实服务器上频繁出错

根因分析：Terminal-Bench 沙箱是干净 Ubuntu 22.04，而真实服务器常有自定义 alias（如ll='ls -alF'）、修改过的 PS1、或预装的 zsh 插件。模型在沙箱里学会的ls -l，在真实环境里可能被 alias 扩展为ls -alF，导致 stdout 格式变化。
实战方案：

• 在真实服务器上，训练前先执行unalias -a && unset GREP_COLORS && export SHELL=/bin/bash清理环境；
• 更彻底的做法：在模型 prompt 中加入<|ENV|> Shell: bash, Aliases: none, PS1: '\u@\h:\w\$ '，强制模型忽略环境差异；
• 我们还给模型加了一个“环境探测”前置步骤：首次交互时，固定发送echo $SHELL && alias && echo $PS1，根据返回结果动态调整后续命令风格。

5.5 问题：A3B 量化后，模型在awk命令上表现暴跌

独家发现：A3B 量化对awk的字段索引 token（如$1,$2）保真度不足。FP16 模型预测$2的 logits 为[0.92, 0.03, ...]，A3B 版本变为[0.51, 0.42, ...]，导致模型不敢确定$2。
** workaround**：在数据构造时，对所有含awk的命令，将其重写为等价但更鲁棒的形式。例如：

• 原命令：ps aux | awk '{print $2}'
• 重写为：ps aux | sed -n '2,$p' | cut -d' ' -f2（用cut替代awk，cut的 token 更稳定）
  我们建了一个awk_to_cut映射表，覆盖 Terminal-Bench 中 97% 的awk场景，A3B 模型的ps解析准确率从 63% 拉回 89%。

6. 效果验证与横向对比：19.10% 提升背后的硬指标

6.1 Terminal-Bench 2.1 详细得分拆解

我们复现了 SkillGym 论文的全部实验，并额外增加了细粒度分析。下表是 Qwen3.5-35B-A3B 在 Terminal-Bench 2.1 的 47 个任务上的分类得分（单位：%）：

可以看到，提升最大的是 Package Management 和 Service Control 类任务，这正是 SkillGym 轨迹中最丰富的部分——因为apt和systemctl的 exit code 反馈最明确，轨迹验证成功率最高。而 File System Ops 提升最小，因为find命令的 stdout 格式多变（不同 GNU 版本输出略有差异），轨迹泛化难度大。

6.2 与主流方案的横向对比

我们在相同硬件（2×A10）和相同数据集（Terminal-Bench 2.1）上，对比了四种方案：

RLAIF 方案我们用了 reward shaping：给中间步骤加分（如apt install成功 +0.2，nginx -t成功 +0.3），但即便如此，模型仍倾向于“抄近路”——比如跳过apt update直接apt install，导致在某些镜像上失败。SkillGym 的优势在于，它不奖励“聪明”，只奖励“可靠”。

6.3 真实场景压力测试：在生产级 K8s 集群中的表现

我们把微调后的模型接入公司内部的 K8s 运维平台，设定任务：“扩容 nginx-ingress-controller 到 5 个副本，并验证所有 pod ready”。基线模型尝试了 7 次，全部失败：

• 3 次kubectl scale后没等kubectl get pods确认就执行kubectl rollout status；
• 2 次kubectl get pods返回0/5ready，模型却误判为成功；
• 2 次在kubectl rollout status超时后，错误地执行kubectl delete pod强制重启。

SkillGym 模型执行一次成功：

1. kubectl scale deployment/nginx-ingress-controller --replicas=5
2. kubectl get pods -n ingress-nginx | grep nginx-ingress-controller→ 检查 REPLICAS 列
3. kubectl get pods -n ingress-nginx | grep 'Running' | wc -l→ 统计 ready pod 数
4. kubectl rollout status deployment/nginx-ingress-controller -n ingress-nginx→ 等待 rollout 完成
5. curl -s http://ingress-nginx.10.0.0.100.nip.io/healthz | grep "ok"→ 最终验证

它没有“创新”，只是严格遵循了一条被验证过的、包含状态检查的轨迹。这正是 SkillGym 的哲学：在终端世界里，可靠比聪明更重要。

7. 可扩展性思考：SkillGym 能否迁移到其他领域？

7.1 从 Terminal 到 IDE：代码编辑轨迹的潜力

Terminal-Bench 的核心是“执行-反馈-决策”闭环，这个范式完全可迁移到 IDE 环境。设想一个 SkillGym for VS Code：

• 轨迹定义：记录用户在 VS Code 中的真实操作流——Ctrl+P搜索文件 →Cmd+F查找关键词 →Cmd+Shift+K删除行 →Cmd+Shift+L选中所有匹配 →Cmd+V粘贴修改 →Cmd+S保存；
• 验证通过：不是人工评分，而是 Git diff 显示修改后单元测试全部通过，且静态检查（ESLint/Pylint）无新增 error；
• 训练目标：让模型学会“何时该重构、何时该加注释、何时该写测试”，而不是“如何写正确语法”。

我们已用 VS Code API 做了小规模验证：采集了 382 条“修复 ESLint error”的轨迹，微调后，模型在 JS 项目中自动修复no-unused-vars的准确率达 89%，远超 Copilot 的 62%。关键在于，SkillGym 不教模型“什么是 unused var”，而是让它记住“当 ESLint 报错 line 42，执行// eslint-disable-next-line no-unused-vars并删除该变量声明”这一整条被验证有效的路径。

7.2 从 CLI 到 API：HTTP 调用轨迹的挑战

API 调用比 CLI 更复杂，因为 HTTP 响应没有统一的 exit_code。SkillGym 的“