用奖励模型做Critic：强化学习提升图像编辑忠实度的完整实践
2026/10/22 13:41:39
一、模型速览
10 月 15 日，阶跃星辰把 Step 5 Preview 的权重挂上了 Hugging Face 和魔搭，FP8、BF16 双版本同步放出，另有一个 NVFP4 构建。智东西当晚的标题是"OpenRouter 周榜全球第二，这个国产模型终于开源了"——近七天 Token 用量约 18.8 万亿，周榜日榜都是第二。
| 项目 | 参数 |
|---|---|
| 发布方 | 阶跃星辰（StepFun） |
| 开放权重日期 | 2026-10-15（API 9 月 20 日已商用） |
| 总参数 / 激活 | 6043 亿（官方取整 600B）/ 每 token 270 亿 |
| 架构 | 92 层稀疏 MoE（88 层 MoE + 4 层稠密），352 路由专家 Top-8 + 1 共享专家 |
| 上下文 | 原生 1M 输入，最高 1M 输出 |
| 输入模态 | 文本 + 图像（API 侧另加视频） |
| 权重体积 | FP8 约 650GB / BF16 约 1.2TB / 另有 NVFP4 |
| 许可证 | StepFun Model License 1.0（不是Apache-2.0 / MIT） |
| 官方最低自托管 | FP8：4×B300 或 8×H200；BF16：8×B300 或 16×H200 |
| API 价格 | 输入 $1.00 / 输出 $2.70 每百万 token，缓存命中 $0.10 |
一句话定位：它是给"长程 Agent + 仓库级软件工程 + 金融研究"准备的机房级基座，不是能在笔记本上把玩的模型。
二、核心亮点
1. 600B 只动 27B，但千万别按 27B 去备卡。激活 27B 指的是每一步前向参与计算的规模，决定的是算力开销；而权重必须整份驻留显存，决定的是显存档位。FP8 检查点 650.32GB 摆在那里，四张 B300 或八张 H200 是官方给出的下限，不是建议值。把它当成"一个 27B 模型"去规划硬件，是这一类稀疏 MoE 最常见的翻车方式。
2. 92 层"窄而深"，是冲着长任务的多跳依赖去的。官方技术博客的解释很直白：Agent 跑久了，工具返回的日志、文档、代码会一层层堆进上下文，多跳依赖需要在模型内部逐层传递，加深网络比加宽更有效。注意力按 3∶1 交错排布——三层 Gated Sliding Window 管局部，一层稀疏全局注意力用 Sparse GQA 从长历史里挑相关内容，且 Sparse GQA 走的是分块索引。这是典型的"用结构换长上下文效率"，和单纯把 RoPE 拉长是两回事。
3. 把上下文压缩写进了策略训练。多数模型的长上下文能力是"能塞进去"，Step 5 想解决的是"塞满了还能干活"。官方说法是把上下文压缩纳入端到端策略训练，让 Agent 自己整理任务状态、腾出窗口再继续执行。对动辄跑几小时的 Agent 来说，这比多 10 万分好看得多——窗口管理做不好，1M 只是把爆炸点往后推。
4. 长上下文是真强项，第三方也认。Artificial Analysis 的独立结果里，AA-LCR 长上下文推理拿到88.3%，这个分数不是厂商自报。综合智能指数 43.7（官方口径 44），排在全球开源模型前三。HLE 46.5%、GDPval-AA 54.3%，属于"能打但不封神"的区间。
5. 单任务成本 0.71 美元，是 Opus 5 的 1/8。这个数字要拆开看：它是 Artificial Analysis 的"完成一个任务的总开销"口径，不是每百万 token 的价目表——前者包含推理 token、重试、工具轮次，后者只是单价。Step 5 的 API 定价是输入 $1.00、输出 $2.70，对比 Kimi K3 的 $3.00 / $15.00，输出侧便宜五倍多。对高频 Agent 业务，这个差价会被轮次放大。
三、部署实战
3.1 环境准备
先接受一个现实：这不是单卡能碰的模型。官方部署表列得很清楚：
| 精度 | 权重体积 | vLLM / SGLang 最低配置 |
|---|---|---|
| FP8 | 约 650GB | 4×B300（单节点）或 8×H200（单节点） |
| BF16 | 约 1.2TB | 8×B300（单节点）或 16×H200（双节点） |
| NVFP4 | 更小 | 官方未给完整配置表，需自行验证 |
Transformers 路径官方明确写着只支持离线生成，而且完整 BF16 的"转换→分片→生成"流程尚未端到端验证。所以生产部署请直接走 vLLM 或 SGLang，两家都提供了带 OpenAI 兼容 API 的专用镜像。
# 1) 安装下载工具 pip install -U "huggingface_hub[cli]" # 2) 拉取 FP8 权重（约 650GB，28 个 safetensors 分片） # 国内网络可换 modelscope：modelscope download --model stepfun-ai/Step-5-Preview hf download stepfun-ai/Step-5-Preview --local-dir /models/Step-5-Preview3.2 启动推理服务
# vLLM 单节点 8×H200 FP8，开启专家并行 docker run --gpus all --ipc=host --network host \ -v /models/Step-5-Preview:/model \ vllm/vllm-openai:latest \ --model /model \ --served-model-name step-5-preview \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --max-model-len 262144 # Blackwell 上专家并行会走 MegaMoE 后端； # reasoning / tool-call 解析器的参数名以官方 deployment 文档为准，不要照抄旧版 Step 的写法。一个实操提醒：--max-model-len先别急着写 1048576。1M 上下文的 KV 缓存是额外显存开销，8×H200 上打满长度，并发额度会非常薄。先按 256K 起服务验证链路，再按实际业务长度往上加。
3.3 推理代码
官方推荐的采样参数是temperature=1.0、top_p=0.95、top_k=0——这三个值别按习惯改成 0.7/0.9，长程推理任务的稳定性对这个很敏感。
import time from openai import OpenAI client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY") MODEL = "step-5-preview" def ask(prompt: str, effort: str = "high", image_url: str | None = None) -> str: """effort 支持 low / medium / high，按任务复杂度选档，别一律拉满。""" content = [{"type": "text", "text": prompt}] if image_url: content.append({"type": "image_url", "image_url": {"url": image_url}}) t0 = time.time() resp = client.chat.completions.create( model=MODEL, messages=[{"role": "user", "content": content}], temperature=1.0, top_p=0.95, extra_body={"top_k": 0, "reasoning_effort": effort}, max_tokens=4096, ) cost = time.time() - t0 usage = resp.usage out_tokens = usage.completion_tokens print(f"耗时 {cost:.1f}s | 输出 {out_tokens} tok | " f"解码约 {out_tokens / max(cost, 1e-6):.1f} tok/s") return resp.choices[0].message.content # 场景一：仓库级代码修改（官方主推场景） print(ask("把这个 Flask 项目的会话存储从内存换成 Redis，列出要改的文件和每处改动理由。")) # 场景二：长文档 + 图表理解（原生支持图像输入） # print(ask("这张财报截图里的毛利率是多少？把计算过程写出来。", # image_url="data:image/png;base64,<你的base64>"))3.4 效果验证
服务起来后先做三件事，别直接上业务：第一，用一句无工具依赖的问题确认模型能正常吐字；第二，跑一个带reasoning_effort切换的对比，看 thinking 长度是否真的随档位变化；第三，把同一份 20 万 token 的长文档喂两遍，确认前缀缓存生效（第二次的 TTFT 应明显低于第一次）。第三步是长上下文服务最容易出问题的地方——缓存没命中，成本会翻倍。
四、性能测评
4.1 速度
官方给的口径是 NVIDIA 平台上8K tok/s/GPU，配套宣传里还有"24 小时长程 Agent"的说法。这两个数字都来自厂商，目前没有独立第三方在公开硬件上复测。按 650GB 权重、4×B300 的最低配置反推，这个吞吐量级在理论带宽上说得通，但真实业务里的并发数、上下文长度、工具轮次都会大幅拉低它。我在本地没有多卡环境，不做任何实测声明。
4.2 显存
| 项目 | 数值 | 说明 |
|---|---|---|
| FP8 权重 | 650.32 GB | 官方仓库总存储，28 分片 |
| BF16 权重 | 约 1.2 TB | 独立仓库 |
| 其中 FP8 参数量 | 约 5647 亿 FP8 + 396 亿 BF16 | 混合精度，不是全 FP8 |
| 1M 上下文 KV | 未公布 | 与层数、KV 头数、并发强相关，务必自测 |
4.3 生成质量
下表全部为 StepFun 在自己图表上自报的成绩（Step 5 跑 High 档，竞品跑 Max 档，口径并不对等），横向对比仅供参考：
| 基准 | Step 5 Preview | GLM-5.3 | Kimi K3 | Claude Opus 5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 67.7 | 66.9 | 67.5 | 74.0 |
| ProgramBench | 80.5 | 72.0 | 77.8 | — |
| FrontierFinance | 66.4 | 64.1 | 62.6 | 69.7 |
| Terminal-Bench 4.0 | 33.3 | 41.9 | 12.6 | 57.9 |
| GDPval-AA v2.1 | 1566 | 1645 | — | — |
| AA-LCR（第三方） | 88.3% | — | — | — |
真正该被放大的是后半张表——短板：
| 评测 | 得分 | 来源 |
|---|---|---|
| Terminal-Bench 4.0 | 33.3 | 官方自报 |
| Agents' Last Exam（ALE-CLI） | 29.5 | 官方自报 |
| SRE Bench | 0.4% | Vals AI |
| Harvey 法律 Agent | 9.2% | Vals AI |
SRE Bench 0.4% 基本等于"完全不会"，法律 Agent 9.2% 同理。宣传里"专业知识工作"这个大筐，装得下金融研究，装不下运维排障和法务审阅——选型按具体任务对号入座。
五、使用建议
适用场景：跨文件、跨仓库的软件工程改造；需要连续调用工具数小时的长程 Agent；金融投研这类"读大量材料→抽证据→出结论"的链路；对数据不出域有硬要求的私有化部署。
不适用场景：单卡或消费级硬件（物理上跑不动）；SRE 排障、法律文书这类已验证的弱项；只需要短问答的高频轻量调用（用 API 或小模型更划算）；对许可证敏感、必须 Apache-2.0 的商业项目。
许可证必须逐条读。StepFun Model License 1.0 允许免费使用、修改、再分发，但有三条附加条件：单月活跃用户超 1 亿或月收入超 2000 万美元的商业产品，要在界面和用户协议里显著标注 "Powered by StepFun AI"；把模型做进手机、汽车、眼镜、机器人的硬件厂商，以及年收入超 2000 万美元的 MaaS 服务商，商用前需单独签授权；用 Step 5 输出训练出的模型会被视为衍生作品。它不是 Apache-2.0，HF 上的 license 字段写的是 other。
成本要算 TCO，不是只看单价。API 输入 $1.00 / 输出 $2.70 看着便宜，但自托管的账是另一套：四张 B300 或八张 H200 的机器成本、650GB 权重的存储与加载时间、长上下文的 KV 开销、运维人力。一个粗略的自托管 vs API 盈亏平衡测算脚本：
def breakeven(gpu_hour_cost: float, gpus: int, monthly_tasks: int, api_cost_per_task: float = 0.71) -> float: """返回：每月跑多少任务时，自托管开始比 API 更便宜。 gpu_hour_cost: 单卡每小时综合成本（租赁价 + 电费 + 运维摊销） """ monthly_gpu = gpu_hour_cost * gpus * 24 * 30 api_monthly = api_cost_per_task * monthly_tasks print(f"自托管固定成本 ≈ ${monthly_gpu:,.0f}/月") print(f"{monthly_tasks:,} 个任务走 API ≈ ${api_monthly:,.0f}/月") return monthly_gpu / api_cost_per_task # 以 8×H200、单卡 $2.5/小时 粗算 need = breakeven(gpu_hour_cost=2.5, gpus=8, monthly_tasks=50_000) print(f"盈亏平衡点：约 {need:,.0f} 任务/月")按这组假设跑出来，平衡点大概在每月一万多个任务。低于这个量级，除非你有"数据不能出域"的硬约束，否则 API 更划算——这也是 Step 5 这类机房级开源模型最现实的落地姿势：权重开源的意义不是让你自己扛机器，而是让你在必须自建的时候有的选。
你会为了"数据不出域"多付多少机器成本？四张 B300 的账，和直接调 API 的账，你所在团队算下来是哪边赢？评论区聊聊你的实际数字。
数据来源：StepFun 官方模型卡（stepfun-ai/Step-5-Preview 与 Step-5-Preview-BF16）及 LICENSE.txt、官方技术博客与部署指南、Artificial Analysis（智能指数 43.7 / AA-LCR 88.3% / HLE 46.5% / GDPval-AA 54.3% / 单任务成本 $0.71 对比 $5.86）、Vals AI（SRE Bench 0.4% / Harvey 9.2%）、OpenRouter Token 用量周榜日榜、SegmentFault 与七牛云的部署整理、智东西 10 月 15 日报道。除 Artificial Analysis 与 Vals AI 的标注项外，基准分数均为厂商自报，且 Step 5 跑 High 档、竞品跑 Max 档，对比口径不对等；本机无多卡 GPU 环境，全文未做任何实测，速度与显存数字均引用官方口径。