Cua 计算机使用代理实战指南:三步跑通第一个会操作屏幕的 AI 代理
2026/9/6 20:52:41 网站建设 项目流程

Cua 计算机使用代理实战指南:三步跑通第一个会操作屏幕的 AI 代理

【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua

Cua 是一个开源的 Computer-Use Agent(CUA)框架,通俗说就是给 AI 发一台"看得见的电脑"——它能看到屏幕、移动鼠标、敲键盘,替你操作桌面应用。适合想给 AI 配上"动手"能力的开发者。和只调 API 的方案不同,Cua 自带跨操作系统的沙盒、macOS 虚拟化和一套评测基准,开箱即是一整条链路。

它替你解决什么

想象两个场景:

一是你写了一个 AI 代理,它很会推理,但让它"帮我打开浏览器查个东西"就卡住了——它没有眼睛,也碰不到鼠标。二是你确实有屏幕和鼠标了,但代理一执行就动你自己的电脑,点错一个地方可能把正在写的内容全丢了,你敢吗?

Cua 就是为这两个问题准备的:它把"屏幕 + 输入设备 + 执行环境"打包成一个隔离沙盒(sandbox,即一次性、用完即毁的隔离环境),代理在沙盒里随便折腾,搞砸了也不影响你的主机。同一套 Python API,底下可以是 Linux 容器、Linux/macOS/Windows/Android 虚拟机,本地跑或云端跑都行。

最短路径跑起来

环境要求一句话:Python 3.12 或 3.13,本地模式还需要 QEMU(Linux 容器/VM 走的就是它)。

第一步,安装统一 SDK(一个包里聚合了沙盒、代理和 CLI):

pip install cua

装完你手里就有了三样东西:Sandbox(管沙盒)、ComputerAgent(驱动代理的 LLM 循环)、cua命令行(管沙盒和镜像)。

如果你要的是"在 Apple 芯片 Mac 上开一台 macOS 虚拟机"这条线,另装 Lume:把仓库克隆下来后运行仓库里的安装脚本即可(脚本拒绝 sudo,默认装到~/.local/bin):

git clone https://gitcode.com/GitHub_Trending/cua/cua /bin/bash cua/libs/lume/scripts/install.sh # 安装 Lume 到用户目录,无需 root lume --version # 验证装上了哪个版本

第一个完整场景:让代理自己上网

下面这段代码是最小但完整的端到端演示:开一个一次性 Linux 沙盒,把代理塞进去,丢一句话任务,看它自己完成。

import asyncio from cua import Sandbox, Image, ComputerAgent async def main(): # local=True:用本地 QEMU 跑,不依赖云端 async with Sandbox.ephemeral(Image.linux(), local=True) as sb: agent = ComputerAgent(model="anthropic/claude-sonnet-4-5", tools=[sb]) async for response in agent.run("Open the browser and go to example.com"): print(response) # 逐步打印代理的每一步动作和结果 asyncio.run(main())

输入就是那一句自然语言任务,预期输出是代理一连串动作:截屏 → 决定点哪 → 点击浏览器图标 → 等待加载 → 输入地址 → 验证页面。背后发生的事很简单:每一轮代理都会拿沙盒的截屏当"视觉输入",模型输出下一步鼠标/键盘动作,沙盒执行后再截屏,循环直到任务完成。你不需要自己写任何坐标计算。

边界与玩法

跑通第一个场景后,这套东西的玩法远不止"在容器里点点点":

在真机上后台操作——如果你想让代理操作你自己 Mac 或 Windows 上的原生应用,又不想它抢走你的鼠标焦点,搭配 cua-driver。它在后台驱动桌面应用,同一套 CLI 和 MCP 服务器覆盖 macOS、Windows、Linux,可以接进 Claude Code、Cursor 这类编码代理。

本地开 macOS 虚拟机——云端跑 macOS 嫌贵或者不放心时,搭配 Lume 在 Apple Silicon 上用系统自带虚拟化框架开 macOS/Linux VM,接近原生性能:

lume create macos-tahoe \ --ipsw ~/Downloads/macos-tahoe.ipsw \ --unattended tahoe # 无人值守模式:自动建用户、开 SSH、禁锁屏 lume run macos-tahoe # 启动虚拟机,SSH 账号默认 lume/lume

给模型打分和造数据——你在训练或评测计算机使用模型时,搭配 Cua-Bench(libs/cua-bench/),它内置 OSWorld、ScreenSpot 等基准任务,跑完还能导出轨迹(trajectory,即"截屏+动作"序列)直接喂给训练管线。

需要规模化时,沙盒可以按池子(pool)管理,仓库里有现成的 Terraform 配方:docs/content/docs/how-to-guides/sandbox/configure-pool-with-terraform.mdx。

新手常踩的坑

坑一:pip install cua装不上,报Could not find a version that satisfies the requirement十有八九是 Python 版本太旧。cua主包要求 Python 3.12 或 3.13;如果你只能用 3.11,单独装cua-sandbox可以先跑沙盒部分,代理包暂时装不了。

坑二:Lume 安装脚本直接退出,提示Do not run this script with sudo or as root这是脚本故意拒绝 root——它默认装到用户目录~/.local/bin,不需要也不应该用 sudo。去掉 sudo 重新执行即可。

坑三:代码跑起来了,但代理第一步就抛模型相关的连接错误。ComputerAgent只是壳,真正干活的是你指定的 LLM 后端(OpenAI/Anthropic/Gemini 等),API key 没配或网络不通都会在这一步爆出来。先确认环境变量里的 key 有效,再回来怀疑沙盒,能省一半排查时间。

下一步

建议先花十分钟把"第一个完整场景"那段代码跑完一遍——看到代理自己点完浏览器的那一刻,你才算真正摸到 Computer-Use 的门道。然后按自己的方向选一条支线深入:真机操作看 cua-driver 文档,macOS 虚拟机看 Lume 使用教程。

【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询