审查生成代码的三条边界
讨论“审查生成代码的三条边界”时,最容易出现的偏差是先给方案,再补问题定义。模型推理与工具调用链路里,同一个实现放到不同负载、不同依赖版本或不同操作路径下,结果可能完全不同。更稳妥的起点,是把目标、限制和失败后的处理写清楚,让评审者知道哪些结论已经验证,哪些只是暂时判断。
先把范围说清楚
先把范围落到纸面。输入至少应说明系统指令、用户输入、检索片段、模型版本和工具参数;输出要写明成功、部分成功、拒绝和超时分别是什么。责任边界也要能指向具体模块,而不是用“系统自动处理”带过。这里尤其要确认模型负责判断与生成,程序负责权限、校验、执行和结果留痕。范围一旦含糊,后面的容量数字、接口设计和测试结果都没有可比性。
评审要沿着状态变化走
代码走查从入口开始,追踪每个外部输入经过了哪些校验,状态在哪里创建、共享与释放,副作用是否可能重复。看到重试、缓存、异步回调和全局对象时,要继续追问生命周期。安全与正确性不能依赖调用方“应该这样用”。对模型推理与工具调用链路而言,提示注入、无界重试、虚构参数、过期上下文覆盖新指令以及越权调用都是应当单独验证的路径。
用失败样例检验方案
质量门槛最好由可执行检查支撑:静态分析负责确定性规则,单元测试覆盖局部状态,集成测试验证依赖边界,人工评审处理业务语义。规则需要给出修复提示,也允许有理由的例外。评审记录写清触发条件和影响,不用“有风险”“建议优化”这种无法复现的结论。
观测项不要贪多,先保证模型延迟、上下文长度、工具调用次数、结构化输出失败与人工接管原因能够按一次任务串起来。具体做法是:用正常请求、含糊请求和恶意输入分别回放,检查每一步采用了什么上下文、为何调用工具。若结果与预期不符,先保存现场,再缩小输入或关闭最近的变更;直接反复重启,常会把最有价值的状态清掉。
评审时把问题问具体
评审者可以顺着一条任务连续追问:输入来自哪里,谁验证它,状态由谁持有,外部调用有没有超时,重复执行会不会产生第二份副作用,任务取消后资源何时释放。回答必须能落到代码、配置或测试记录。若答案只是“框架会处理”或“通常不会发生”,就继续查到真正承担责任的那一层。
还要检查运行条件变化后的行为。依赖变慢、数据量增加、权限收紧或进程重启时,系统是否仍给出可理解的结果?提示注入、无界重试、虚构参数、过期上下文覆盖新指令以及越权调用出现后,操作者能否仅凭关联标识定位一次任务,并判断应该重试、补偿还是停止?这些问题比笼统评价方案是否先进更接近交付风险。
保留下来的最小示例
原文中的示例可以继续作为讨论入口,但它只证明了局部写法。使用前仍要补齐运行条件、异常分支和资源清理,并放进前面的验证流程。
type Review struct { Parsed, Compiled, Tested bool } func (r Review) Accepted() bool { return r.Parsed && r.Compiled && r.Tested }交付时留下可复查的记录
交付记录至少包含适用范围、当前版本、验证样例、已知限制和回退入口。日后条件改变时,团队可以直接判断哪些结论需要重测。对“审查生成代码的三条边界”而言,最有价值的结果不是一篇写得漂亮的说明,而是一组能被别人重复执行、能在失败时帮助定位的约定。