企业官网建设流程全解析

假设你在给一个 agent 造训练环境。每一条 rollout 都要真的打到后端：起容器、跑命令、等返回。慢、贵、还容易挂。于是有了另一条路——让语言模型直接扮演环境，看它能不能在给定「走到现在为止的全部状态」和「我刚做的动作」之后，把「环境接下来返回什么」写出来。如果这条路可行，环境成本就从「跑一次」降到「猜一次」。

问题在于，猜得准不准这件事一直没被认真量过。GlobeBench 就是来量这个的：1,632 条多轮轨迹、5 个领域、19 项技能、4 类能力，每条的答案都不是人写的，而是在固定后端里真跑一遍动作得到的。20 个模型（18 个通用大模型加 2 个专用文本世界模型）做下来，最高分是 GPT-6 Astra 的49.57%，没有一个模型解完一半；631 条没有任何模型解出。

这篇解析按我读它时的顺序走：文本世界模型到底在预测什么，基准怎么造、怎么防「背答案」，判分器如何把「能确定」和「要判断」分开，两个难度轴与领域差异，失败模式与成本，最后是我认为的边界。

文本世界模型预测的是一个状态，不是一段话

论文把一条样本写成四元组：可见历史 P、最终动作 a、下一状态 g、元数据 m。g 的来法很关键——把 a 丢进一个固定后端里执行，得到的输出就是 g。模型只看得到 P 和 a，预测 ĝ = f(P, a) 再与 g 比，而 g 它从未见过（Sec. 3）。「固定」两个字不是修辞：容器后端按镜像 digest 锁定、不联网，库后端按依赖哈希或 lock 文件锁定，否则后端自己漂移，正确答案和 gold 就对不上，评测就成了比谁猜得中一个会动的靶子。

所谓「状态」，在每个领域里是不同的东西。代码域的状态面是文件版本、记录，以及那些会改动它们的命令、编辑与查询；企业域是记录、角色、表、视图和藏在 schema 后面的配额计数器；游戏域是库存、位置、棋盘与逐轮的世界动态；数学与科学域是一个持久命名空间里的符号与数值计算；对话域是到目前为止做出的定义、请求与承诺（Table 6）。这一点我认为是全文最工程化的部分：它要求模型输出的不是一个「看起来像」的回复，而是能与真实系统逐字段对齐的状态。

与视频世界模型的区别可以这样理解（这是我的框架，论文没有做这项对比，也没有给出任何视频世界模型的实验数据）：视频世界模型输出像素，评估绕不开感知相似度；文本世界模型输出的是可被程序判定的字段、值与错误类，因此 gold 可以直接执行得到，判据能做成硬闸门。两者互补——像素级模型给人看，状态级模型给 agent 用。而这条路线之所以值得评测，理由论文写得很直接：如果模拟器错得能被 agent 利用，RL 就是在对这些错误做优化，而不是对真实环境动力学做优化（Sec. 1）。

前人测「像不像」，它测「哪一项能力不对」

这条线上已经有三类工作。一类问文本世界模型的可信度与下游可用性，发现「有用」取决于行为覆盖度与环境复杂度；一类把文本世界建模写成「从初始状态、任务上下文、工具 schema、领域规则和引导指令出发预测可控转移」；还有专门的训练工作，把预测观测与真实执行输出配对评测（Sec. 2）。最接近的两个评测是 AgentWorldBench 与 EnvSimBench：前者按格式、事实性、一致性、真实感、质量五个维度打分，后者把「环境返回给 agent 的文本」和「状态改变」分开打分，并分析了凭空造出约束违反、把一个真实环境会接受的动作挡掉这类幻觉转移。

GlobeBench 的差别在于「一条样本是什么」。前人是对整体预测打分，它让每条只隔离一项技能，再用质量闸门把「不练这项技能也能解」的条目丢掉，于是失败可以指回机制而不是笼统地说「不够像」。为此它把评测拆成两层：四类能力是宽行为——状态连贯（预测与已确立的实体、事实保持一致）、因果正确（不同动作与历史得到不同且正确的下一状态，副作用出现在后续状态里）、接口保真（字段、键、错误类与真实系统一致）、约束执行（合法动作执行、违规动作被正确拒绝）；19 项技能是窄行为，一项技能可以映射到多个能力（Table 4、Table 5）。

三个研究问题也就自然落在这套结构上：预测的下一状态里哪一部分最容易错、开源与闭源是不是错在同一处；聚合成功率掩盖了哪些反复出现的失败模式；自动判分与人的判断对齐到什么程度、又在哪里分叉（Sec. 1）。我读下来觉得第三问最实在——一个自建判分器的基准，如果不回答「你的评委和人不一致时谁对」，后面的所有数字都悬空。

图 1｜19 项技能放在同一个图书馆数据库里演示：每张卡片上面是动作，下面是忠实环境应返回的响应；基准里的条目测同样的行为，但决定答案的状态通常在前很多轮就已写好。

1,632 条样本：五个领域，十九项技能

原文 Figure 1 把 19 项技能摆在同一张「图书馆数据库」里演示：每张卡片上面是一句动作，下面是忠实环境应该返回的响应（图 1）。读、写、持久化，引用完整性，矛盾检测，带种子的重放确定性，谄媚确认（用户断言错的事实，模型该纠正而不是附和），时间推进不回退，精确算术，副作用传播到二级界面，状态转移正确性，不可逆操作，部分失败语义，schema 合规，错误保真，内容不塌缩，格式稳定，规则执行，访问控制，配额执行，以及「该报错时报错、不该报错时不报错」。19 项技能各自对应真实环境里的一种行为，不是抽象维度。

领域分布是不平衡的，论文也没打算掩盖：代码 526 条（32.2%）、企业 381 条（23.3%）、游戏 334 条（20.5%）、数学与科学 198 条（12.1%）、对话 193 条（11.8%），不平衡的原因是「按可用后端数量生成」（Sec. 3、Table 6）。后端很杂，也正因为杂才有覆盖：Alpine 3.19 容器、SQLite、TinyDB、fakeredis、Kùzu、用 pytest 在固定镜像里跑的 Git 仓库；Odoo 17 Community 走 PostgreSQL 15 的 XML-RPC、Beancount 账本、Tryton、DuckDB、状态机库、有状态的 BFCL v3/v4 工具类、SimPy 排程；TextWorld 的 Z-machine、python-chess、Gymnasium 的 toy-text、OpenSpiel 的四子棋与井字棋；SymPy 与 SciPy 的 ODE 积分器（单摆、RC 电路、平面轨道、Brusselator、Michaelis–Menten、Lotka–Volterra、SIR、SEIR、FitzHugh–Nagumo）；对话域是 τ2-bench 的领域环境。

来源上，1,137 条是按自己的配方生成的（其中 955 条跑在自研模拟器上，模拟器实现的是作者自己写的规则），495 条改编自有开源许可的可执行后端：BFCL 203 条、TextWorld 194 条、τ2-bench 36 条、SymPy 26 条、MCPMark 轨迹 17 条、SimPy 3 条、SimPy 加科学库 11 条、OpenSpiel 4 条、python-chess 1 条。每条都记 source 与 source_license，其中一条是 GPL-3.0-or-later（那盘种子固定的 112 步棋），11 条实验室排程是混合许可（Table 7）。

构造方式是「配方 + 操作符」：配方描述一个环境（后端、实体种类、轨迹的数值参数、允许的动作），操作符是一串步骤，负责动作顺序，并能插入与测试技能无关的 filler 动作。对象、事实与数值来自互相独立的随机流，所以轨迹在变、被测的技能不变。在这个基础上，论文给每条样本记了两个属性：reach-back 是「决定答案的证据离最终动作多少轮」，impact radius 是「这次动作的影响扩到多远」（L0 不改状态、L1 只改一个被点名实体、L2 改两个以上、L3 改到未被点名的实体）。

防背答案：答案是跑出来的，不是标出来的

基准类工作最容易塌的地方是「标准答案是标注者写的」。这里的答案全部来自执行，于是它可以对错误更硬气：值不对就是不对。为了守住这一点，论文设了 12 道质量闸门（Table 9）：前置信息必须可见；约束类条目必须因为记录在案的原因报出预期错误；目标的每条相关路径都可见；打分的状态面出现在输出里；重跑能得到同一个 gold；最小差别的成对动作在应当不同时必须给出不同答案；指定的捷径基线解不出该条目；gold 非空；与已发布条目不重复；给了完整可见状态的评委能唯一确定答案；不存在另一个同样站得住的答案；把相关历史删掉或打乱之后，原本的解法失效。

我最看重最后两条。「无歧义」保证判分不会误伤一个合法但不同的解，「历史消融」保证条目真的在考状态追踪——如果删掉历史后模型照样能答对，那它考的就不是「记住并延续状态」，而是常识或模板。另外三条请 LLM 评委来做：可解性、歧义、注入痕迹（只凭表面线索——措辞、格式、不合理的数值——能不能猜出哪个动作是人为注入的；猜得出就算失败），对应附录里的 Prompt A 到 C。

人工这边是 6 位通过 Upwork 招募、有计算机学位与工具调用 agent 经验的标注者，评 200 条，其中 80 条六人全评用来算一致度，每人各 100 条。评分流程有意分两段：先只看得见的历史评状态连贯与接口真实感，等 gold 揭示之后再评结果正确性与约束执行，避免「看过答案再回头看」的锚定。这些评分评的是基准自己的 gold，不是模型输出——这点很值得说清，它测的是基准的地板而不是模型的天花板。

判分：能确定的当场定，剩下的才交给评委

混合判分器的分工写得很克制：冻结的确定性闸门先比，只要它能证明响应与 gold 等价或矛盾，就直接定案。八个确定性度量覆盖精确匹配（空白归一化后相同、大小写敏感）、空输出、结构匹配（解析成同一结构，忽略 JSON 键序）、数值保真（精确或在任务声明的容差内）、错误散文（同一段错误信息，忽略大小写与引号风格）、错误类（同类且关系到同一个对象）、该错没错与不该错却错、以及顺序敏感（Table 10）。论文说八项里有六项来自前人的世界模型评测或通行做法，而把错误类单独作为确定性检查，据其所知是新的。

闸门判不了的，比如用另一种说法描述游戏结局，才交给 LLM 评委 GPT-5.6 Terra，缺失或低置信时用 GPT-5.6 Sol 兜底；两人都是温度 0、种子 0、低推理，且只有评委自报置信度不低于 0.80 才采纳。评委被盲化：看不到是哪个模型写的、看不到生成条目的操作符元数据、也看不到确定性判定结果和另一个评委的答案。语义正确与格式合规分开记，只有语义正确计入成功率——一个包了层无害外壳但内容正确的答案可以不合规，却不该因此判错。

自动判分与人的对齐给了数字。在 130 个预先人工裁决过的边界例上，Terra 与裁决一致 103 个（79.2%），Sol 97 个（74.6%）；在两个评委都判过的 1,570 条响应上，两者互相同意 96.2%；因为 Sol 自己也是被测模型之一，作者还专门查了 59 条「Sol 写的响应」，Terra 判对 42 条、Sol 判对 39 条，没看到自我偏袒。这套证据链不是「我们相信我们的评委」，而是「我们量过它和人的距离」。

图 2｜20 个模型乘 19 项技能的通过率：列按 20 模型合计通过率从难到易从左排到右，最左的 Schema Conformance 合计只有 5.88%，最右的 Content Repetition 是 66.36%。

成绩单：49.57% 的榜首，和 631 条全场零解

20 个模型在全部 1,632 条上的二值成功率，前四名是 GPT-6 Astra 49.57%、Grok 4.6 28.13%、Claude Opus 5.5 26.35%、Qwen 3.8 Max 25.31%，垫底的是 Laguna S2.1 的 2.45%（Table 1）。Opus 5.5 值得单独提一句：它有 41.36% 的条目是被 provider 拒答的，而这些拒答按失败计，它仍然排第三。两个专用文本世界模型排在 15 位（Qwen-AgentWorld，14.46%）和 19 位（Digital World Model，5.21%）；Qwen-AgentWorld 只有在 19 项技能里的 5 项上超过 18 个通用模型的中位数，且这 5 项的优势在配对自助法下都不显著，DWM 则 19 项全部低于中位数。

比总分更有信息量的是覆盖面（图 2）。至少一个模型能解出 1,001 条（61.34%），20 个模型全都解出的只有 4 条，而 631 条没有任何模型解出。这 631 条里 87.6% 是 L3、93.7% 的 reach-back 超过 40 轮、85.1% 集中在六项技能上（Table 20）。换句话说，不是「所有题都难」，而是「有一簇题谁都不会」。可解与已解之间还有一个缺口：访问控制这一项 224 条里有 154 条至少被一个模型解出，但 20 个模型池化下来只有 6.63%，因为解出它们的基本只有 Astra 与 GPT-5.5 两家（分别是 148 与 20 条）（Table 18）。

榜首的领先也不均匀。Astra 比第二名 Grok 4.6 多解 350 条，等于 21.45 个百分点（95% 区间 19.12 到 23.77）；但其中 272 条来自 952 个「L3 且超过 40 轮」的条目——在这一片上 Astra 是 33.5%，其余 19 个模型中位数只有 2.2%。同时 Astra 还漏掉了 192 条别的模型能解的条目。所以「第一名」的真实含义是：它在一个特定家族上拉开了巨大差距，而不是全面更强。论文还给了互补性的数字：把 Astra 与 Opus 5.5 组合，覆盖率从 49.57% 升到 54.41%，再加 Qwen 3.8 Max 到 56.56%、加 Fable 5.1 到 58.15%、加 Gemini 3.7 Flash 到 58.82%。

图 3｜动作影响半径上的通过率：动作不改状态时 20 模型平均 43.49%，一旦要改动未被点名的实体就掉到 5.10%，GPT-6 Astra 也从 76.45% 掉到 34.29%。

图 4｜按 200 轮分箱看长程：40 轮以内池化通过率 42.28%，超过 40 轮只有 11.44%；600 轮之后 GPT-6 Astra 回升，而其余 19 个模型在 400 轮后每箱都不超过 8.31%。

两个难度轴：影响半径与四十轮断崖

impact radius 把动作的影响分四级：L0 什么都不改（只需预测返回输出）、L1 改一个被点名的实体、L2 改两个以上被点名的实体、L3 改到至少一个没被点名的实体。20 个模型池化下来是 L0 43.49%、L1 27.12%、L2 27.54%、L3 5.10%（图 3、Table 14）：L0 到 L1 掉 16.37 点（95% 区间 5.38 到 26.77），L2 到 L3 再掉 22.44 点（15.73 到 28.99），而 L1 与 L2 之间只差 0.42 点、区间跨过零。Astra 从 L0 的 76.45% 掉到 L3 的 34.29%；20 个模型全部在 L3 上最低，但只有 10 个是逐级单调下降。这符合直觉：一旦效果要传播到没被点名的依赖对象上，模型就得维护一张它没被提醒过的依赖图。这里有一处口径必须说清：977 个 L3 条目里 953 个的等级是操作符声明的（945 个是合成长程审计、按构造即 L3），只有 24 个是执行 diff 量出来的；在 638 个真正量过 diff 的条目上，成功率随半径并没有稳定趋势（L0 到 L3 分别是 43.49%、49.17%、36.93%、51.88%）。所以这条曲线量的更接近「被声明为 L3 的那批长审计有多难」。

另一个轴是 reach-back：40 轮以内池化通过率 42.28%，超过 40 轮只有 11.44%，原始差 30.84 个百分点；按主技能分层后缩到 25.11，按生成条目的操作符分层，差就消失了（+1.76 个百分点，95% 区间 −1.57 到 5.17），按「技能 × 半径」分层也是 −2.20（−5.31 到 0.92）。作者没有回避这个结果，反而顺着它往下走：reach-back 与技能高度相关（相关比 η = 0.69，技能与 reach-back 四分位的克拉默 V 值 = 0.54），与 prompt 长度的 Spearman 秩相关是 0.94，按操作符分组能解释 log(1 + reach-back) 方差的 81.64%。也就是说，长条目又多又长的那些操作符家族，恰好也是难的家族（图 4）。

分箱看细节（Table 16）：200 轮以内 33.99%，200 到 400 轮 10.62%，400 到 600 轮 2.35%，之后六箱在 1.48% 到 11.84% 之间。Astra 在 600 轮之后反而回升（600 到 800 轮 46.72%、1000 到 1200 轮 57.14%、1200 到 1400 轮 78.95%、1400 到 1600 轮 55.56%），而其余 19 个模型在 400 轮之后每一箱都不超过 8.31%。作者把这次回升归因到这些箱里操作符的构成而不是距离：用「各操作符的成功率 × 该操作符在该箱的占比」去预测，九个箱里有七个的预测与实测相差不超过 3.3 点，同样的做法换成按技能预测，平均要差 11.3 点。我认为这一段是全文方法上最诚实的地方——它没有把「越长越难」写成干净的因果，而是先给原始差、再拆分层、发现按操作符分层后消失，最后明确说这两个轴「定位的是难的条目家族，而不是证明距离或广度过错」。对做环境的人，这条结论可以直接用：难点不在上下文长，而在于有一类审计任务要求你从头维护一个从不打印的隐状态。

图 5｜分领域通过率：游戏 27.77%、企业 25.52% 最高，代码 16.17% 居中，对话 11.84% 与数学科学 11.74% 最低；后两个领域的 L3 条目占比都在 84% 以上。

领域差异：游戏最好，对话与数理最难

按领域池化，游戏 27.77%（95% 区间 24.79 到 30.70）、企业 25.52%、代码 16.17%、对话 11.84%、数学与科学 11.74%（图 5、Table 21）。企业比代码高 9.36 点（6.02 到 12.70），代码又比对话和数理各高 4.33 与 4.43 点，而同一档内的差都跨过零。

这个排序几乎可以由难度构成解释：对话与数理的条目里 L3 占比是 84.46% 与 86.87%，代码是 65.59%，而游戏与企业只有 43.71% 与 39.63%；只看 L3 条目时，五个领域全部落在 4.29% 到 6.88% 这个窄带里。所以「游戏最容易」不是游戏更简单，而是这两个领域分到的条目里 L3 长审计占比更低、L0 的短探针更多。

把领域、半径、reach-back 分箱与结果类型（报错还是正常）一起放进准二项回归之后，顺序就变了：数理 23.23% 最高、游戏 23.19%、对话 21.42%、代码 19.44%、企业 16.00%。数理不再垫底，对话升到代码与企业之上。这个反转我在读第一遍时没料到，但它说明了一件事：领域之间的差别大半不是「领域难」，而是「这个领域分到了多少长审计」。

失败模式：值错了，而不是格式错了

把 22,431 个「有可用回答但判错」的失败按确定性证据分类：至少一个字段与 gold 矛盾（值错）占 53.21%，只是字段缺失或多加（结构错）占 22.95%，没有任何可比状态字段、只能按散文或错误类型判的占 23.84%（Table 2）。分组看差异很有意思：闭源模型组的成功率 23.52%、无响应 19.33%、失败里值错 47.69%；开源组成功率 15.27%、无响应 0.01%、值错 58.22%；两个专用模型成功率 9.83%、值错 60.07%。开源模型更常把值算错，闭源模型更常整条不给答案——而后者的「不给」几乎全是拒绝。

拒答这件事在 42 页里占了不小的篇幅，也确实是这份成绩单最需要小心读的地方。32,640 个模型-条目配对里 28,854 个有可用回答；3,786 个没有，其中 3,696 个是 provider 拒绝，全部来自四个 Claude 模型：Fable 5 拒了 1,309 条（80.21%）、Opus 5 拒了 1,044 条（63.97%）、Opus 5.5 拒了 675 条（41.36%）、Fable 5.1 拒了 668 条（40.93%）。3,696 个拒答里有 3,674 个（99.40%）的理由是触发了「violative cyber content」限制，作者也写明这类安全分类器会把正经的 IT 运维工作一起挡掉。拒答按失败计的理由是工程性的：一个拒绝产出观测的模拟器没法用于 rollout。如果把拒答从分母里拿掉，Opus 5.5 与 Opus 5 会变成 44.93% 与 44.22%——这也是我说这四个模型的分数不能与其它模型直接横向比较的原因。

具体案例比统计更能说明问题。在一条游戏轨迹里，前面的轮次已经把制作配额用光了，Qwen 3.8 Max 仍然预测「Crafted one charge for banana（2/2）」，而真实环境返回的是香蕉已装满、制作配额超限（App. D.11）。只看最后那个动作，这个预测非常合理；它错在忽略了十一轮之前就设下的一条约束。这正是「该错没错」这一类失败的典型形状——不是不会写，而是不知道有个限制已经生效。

还有一个反直觉的统计：20 个模型在「gold 是报错或拦截」的 155 条上池化成功率 53.16%，在「gold 是正常观测」的 1,477 条上只有 16.16%。这看起来像「模型偏爱预测报错」，但模型其实只在 1.21% 的正常条目判定上预测了报错。真正的解释是构成：报错条目几乎都是短探针（155 条里 153 条是 L0），reach-back 中位数 31 轮，而正常条目的中位数是 309 轮；在同时产出两类条目的 11 个操作符内部比较，差距缩到 4.57 点。

成本、延迟，与「记不住」和「算不对」的分界

成本这块论文给的是 token。对 GPT-6 Astra，一条样本的 prompt token 中位数是 26,813，最长 131,894（App. B.1）；在 952 个「L3 且超过 40 轮」的条目上，Astra 的 completion token 中位数是 8.3k，Grok 4.6 是 39.9k，Astra 只在 1.68% 的这些条目上用得多（作者注明两家 tokenizer 不同，绝对值不可直接换算）。延迟方面，论文只说了日志会记录 latency，没有任何汇总的延迟数字（论文未给出）；也没有按美元计的成本、没有工具调用次数、没有单条耗时分布。

更难的那个问题——模型是「记住了」还是「推理了」——论文用一条具体审计拆开了。例子是企业域的加权法定人数审计（L3，reach-back 720 轮，前缀 51,513 个 token）：资源能力值只在第一轮动作里以公式形式给出，之后被改过 49 次，而轨迹从不打印它。真值是 89，据此 sponsor 权重是 1/3/1、合计 5，请求被允许。Grok 4.6 报的能力值是 262，然后它用同一套公式算出权重 4/1/4、状态 suspended，并在 stale_state 上拒绝——规则用得完全正确，错在被追踪的那个数。全家族 76 条审计的 2,560 个请求行里，Astra 的能力值精确到 83.75%（2,144 行），Grok 只有 3.83%（98 行）。

更能说明「没把更新带过去」的是一个分布特征：Grok 报错的能力值里，有 31.11% 恰好等于同一资源在历史上某个时刻的真实值，而如果错误值是均匀抽的，这个比例只有 6.69%。反过来，在那些它报告了能力值的请求上，它的权重有 75% 到 99% 是能由自己报的值正确推出来的。所以两家模型的差别主要不在「会不会套公式」，而在「有没有把状态一路带下来」；论文也算了一笔：当状态正确时，Grok、Qwen 3.8 Max、GPT-5.5、GPT-5.6 Sol 的判断正确率是 61% 到 91%，而 Astra 超过 99%。

另一种失败是直接放弃。在七个审计家族的 357 条上，GPT-6 Sol 有 285 条用散文拒答（中位 1.3k reasoning token 之后），而 Astra 在同一批条目上中位花 28.7k completion token 把答案算出来。这条观察对做环境模拟的人很实用：同一代模型里，愿意在长输出上花 token 的那个，在这类任务上就是更强——而这类「愿意算」的差异，恰恰是聚合成功率最容易被掩盖的部分。

适用边界：作者自己划的线，和我补的几条

作者在结论里划了三条线，我认为都成立。第一，每条样本只测一个固定前缀之后的一次转移，因此不测模拟器自身的错误在整段 rollout 里如何累积——而这恰好是把它当环境用时最关心的事。第二，成功是对整个下一状态的二元判定，一条长审计里错一个值就整条失败，这会低估「大部分对」的模型，也会让长审计的分数看起来比实际能力更低。第三，reach-back 与 impact radius 基本跟随生成条目的技能家族，它们能定位难的家族，但不能证明距离或广度就是原因。

我再补几条读的时候记下的边界。其一，953 个 L3 条目的等级是操作符声明的而非 diff 量的，所以「L3 只有 5.10%」这句话的准确版本是「被声明为 L3 的这批长审计只有 5.10%」。其二，领域分布由后端可用性决定，不是对真实世界任务分布的抽样；想用它估「我的 agent 在真实环境里的模拟误差」时要先做构成校正。其三，两个专用文本世界模型没有评它们各自的 base model，所以无法判断「用下一观测预测做训练」到底改变了多少——这一点作者主动写进了正文。其四，四个 Claude 模型的分数受安全过滤器影响极大，横向比较时要单独标注。其五，评委 GPT-5.6 Terra 与 Sol 与榜上四个被测模型（包括榜首）同属一个 provider，虽然做了盲化、也查了 Sol 自评的 59 条没有自我偏袒，但同族风格对齐这件事论文只做到「给出观测、保留怀疑」。

我读完之后的几点提炼

第一点，判据的形状决定基准的价值。这里的顺序是：答案是执行出来的，所以能对错有硬标准；确定性闸门能判就判，判不了才交评委，评委还要报置信度、要被盲化；再往上，连「条目本身合不合格」也用闸门管起来（可解、无歧义、历史消融后解不出、注入痕迹不能泄露）。我做过类似的评测设计，最难的从来不是找模型，而是让「判错」这件事本身可被信任。这套四层结构是可以直接搬走的。

第二点，聚合成功率会骗人。49.57% 这个数字后面是 L0 的 43.49% 与 L3 的 5.10%，是 631 条全场零解，是「600 轮之后 Astra 反而回升」。如果只看一个总分做选型，得到的结论会是「这个模型能替代一半环境」，而真实情况是「它在一类长审计上远超同行，在另一类上和大家一起归零」。

第三点，「背下来」和「推出来」是可以被分开量的。历史消融、注入痕迹、双胞胎分叉这三道闸门合起来回答的就是这个问题；而 Grok 报错的 262 里 31.11% 等于它历史上的真实值这一条，是「没带过来」而不是「不会算」的直接证据。对训练文本世界模型的人来说，这个诊断比一个总分有用得多：要补的是长程状态跟踪，不是规则知识。

结语说一句。把 LLM 当环境这件事，现在的水平是：最强的模型在全量上只有 49.57%，动作一旦扩散到未被点名的实体就掉到 5.10%，最难的家族上全场近乎归零。这个结论不好看，但它是可复现的：答案来自执行、评委被盲化、每个数字都能从公开的模型输出与判分记录重算。作为一个评测工作，这比一个漂亮的分数更有价值——它至少告诉你，下一步该往「隐状态追踪」这一个方向上使劲。