不知道大家平时在用大模型写代码的时候有没有一种糟心感受。
不管问题简单还是烧脑,模型的思考深度基本是固定死的。简单的文件查找、列出目录这种 routine 的常规任务,它照样吭哧吭哧疯狂输出一大段内部思考,白白烧掉一堆token;等到真正遇到复杂难题卡壳的时候,思考又好像不够深入,三下五除二就草率给出错误答案。
要么无脑使劲想,花钱;要么少思考,容易错。很长一段时间我们好像只能二选一。
最近社区流传的 Jev 思路就有意思了:任务运行的中途动态调整 GPT‑6(Codex)的 reasoning effort(思考投入程度)。
逻辑说起来并不复杂。Agent 在跑任务的时候自己做判断:现在是不是卡住了?如果陷入难题,就立刻调高思考力度,让模型多想一想;如果只是普通、重复性的例行步骤,就降低思考开销,不要无谓地胡思乱想。
下面直接来看看怎么使用
首先使用/model选择模型
选择jev
先打个招呼
再让他找bug
jev会根据实际情况来选择codex的不同努力级别,而不是一味的使用某一个级别
最亮眼的数据是什么?我用自己的项目实测直接把整体调用成本直接下降50%。而且更厉害的一点,这套玩法并没有破坏 prompt caching(提示缓存)。
很多做过Agent开发的朋友应该懂这里的含金量。
但凡你中途随便改系统提示、乱改头部的参数,前面已经缓存好的上下文直接失效。缓存一没,每一轮都重新跑完整输入,token开销瞬间暴涨,省下来那点思考token全部亏回去。很多动态改思考参数的早期尝试就是栽在这里。Jev 的方案绕开了这个大坑,可以继续享用缓存带来的提速省钱红利。
放到Agent写代码这个场景来看就非常贴切。Agent执行的时候,大量工作其实就是执行shell命令、查文件、grep检索源码,这些步骤根本不需要深度推理;只有遇到分析报错、梳理复杂逻辑、重构代码的时候,才真正需要模型沉下心深度思考。
以前是“一刀切”,全程维持最高档位的思考。现在变成了弹性策略:该猛想的时候使劲想,该摸鱼的时候就少想。按需分配算力。
当然也要冷静看待,Jev目前还属于社区传出的玩法,并不是OpenAI官方开放的API能力。它更偏向一套上层调度思路,并不是什么黑魔法补丁。并不是打开开关就直接半价,需要上层Agent逻辑识别当前任务状态,再动态下发推理强度指令。
以后Agent开发,单纯堆模型能力不一定是出路。这种上层动态调度、弹性控制思考资源的思路,说不定会成为优化Agent成本的主流方向。不知道后续会不会有更多项目跟进这套模式?