自然语言编程视觉任务:AI 生成代码指南
【免费下载链接】vision-agentThis tool has been deprecated. Use Agentic Document Extraction instead.项目地址: https://gitcode.com/GitHub_Trending/vi/vision-agent
Vision Agent 把一句自然语言需求转换成可执行的视觉代码。你提供图片和提示词,它负责选模型、调工具,输出能直接跑的 Python。
它解决什么问题
以工业质检为例。传统方式:选检测模型、写预处理、调参、验证输出,四步走完要数天。用 Vision Agent:一句"检测图中产品缺陷",代理自动加载图像、匹配工具、生成代码。
能力一览
| 能力 | 说明 | 相关目录 / 模块 |
|---|---|---|
| 对话式代理框架 | 接收提示词和图像,拆解任务并逐步执行 | vision_agent/agent/ |
| 代码自动生成 | 输出含调用与可视化的可执行 Python | vision_agent/agent/vision_agent_coder_v2.py |
| 内置工具库 | 覆盖图像加载、检测、分割等常用视觉操作 | vision_agent/tools/ |
| 多代理协作 | 对话代理负责交互,代码代理专注生成,分工明确 | vision_agent/agent/ |
3 分钟跑通 🛠️
零代码线
- 安装:
pip install vision-agent - 设置 Vision Agent、Anthropic、Google 三把 API Key 为环境变量
- 打开
examples/chat/,按其 README 启动本地演示,在对话框里提交图像和需求
开发者线
- 用
VisionAgentCoderV2在脚本中调用generate_code,传入提示词与图像 - 读取生成结果,落到
generated_code.py直接执行 - 需要新能力时,在
vision_agent/tools/里按现有工具模式扩展
适合谁 & 不适合谁
适合快速验证视觉想法的工程师、想搭演示原型的产品团队,以及不想手写 OpenCV 胶水代码的新手。局限要提前说清:它依赖 Anthropic 与 Google 的 API Key,有调用成本和速率限制;输出是"可用"而非"交付级",复杂定制和性能调优仍需要人工介入。
仓库已克隆?先跑examples/chat/里的演示,再用一个自己的质检图试一句提示词。
【免费下载链接】vision-agentThis tool has been deprecated. Use Agentic Document Extraction instead.项目地址: https://gitcode.com/GitHub_Trending/vi/vision-agent
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考