Open-AutoGLM 概览
Open-AutoGLM是智谱AI(Zhipu AI)旗下 zai-org 组织开源的手机端 AI Agent 框架,目标是「用自然语言操控手机」。项目在 GitHub 上已获得约26K Stars,采用 Apache-2.0 许可证。
核心组成
| 组件 | 说明 |
|---|---|
| Phone Agent 框架 | 运行在电脑端的 Python 代码,通过 ADB(Android)或 HDC(鸿蒙)控制设备 |
| AutoGLM-Phone 模型 | 针对手机界面优化的视觉语言模型,有 9B 参数的中文版和多语言版 |
工作原理
系统循环执行以下链路:
- 截图— 获取当前手机屏幕
- 视觉理解— AutoGLM-Phone 模型解析 UI 元素与界面状态
- 动作规划— 生成下一步操作(点击坐标、滑动、输入文字、启动 App 等)
- 执行— 通过 ADB/HDC 将动作下发到手机
- 循环— 直到任务完成
使用方式
方式一:第三方 API(最快上手)
- 智谱 BigModel:
--base-url https://open.bigmodel.cn/api/paas/v4 --model autoglm-phone - ModelScope:
--base-url https://api-inference.modelscope.cn/v1 --model ZhipuAI/AutoGLM-Phone-9B
无需本地 GPU,适合快速体验。
方式二:本地部署
使用 vLLM 或 SGLang 自行部署模型,数据完全本地,无隐私顾虑。
支持范围
- 系统:Android 7.0+、HarmonyOS NEXT
- 应用:覆盖美团、京东、小红书、抖音、飞书、知乎、微博等50+ 安卓应用和60+ 鸿蒙应用
- 安全机制:内置敏感操作确认,登录/验证码场景支持人工接管
生态集成
- Midscene.js:已完成适配,可用 JavaScript/YAML 编写手机自动化脚本,支持 iOS 和 Android
- Open-AutoGLM-SIGI:社区基于 Chaquopy 引擎的纯 Android 端实现,无需电脑/Root,赛博朋克风格 UI
- Open-AutoGLM-Android:另一款社区纯 Android 端客户端
快速开始
# 克隆项目gitclone https://github.com/zai-org/Open-AutoGLM.gitcdOpen-AutoGLM# 安装依赖pipinstall-rrequirements.txt pipinstall-e.# 连接设备(确保手机已开启 USB 调试)adb devices# 运行任务python main.py --base-url https://open.bigmodel.cn/api/paas/v4\--model"autoglm-phone"\--apikey"your-api-key"\"打开美团搜索附近的火锅店"项目地址
- 官方仓库:https://github.com/zai-org/Open-AutoGLM
- 模型下载:Hugging Face / ModelScope(
ZhipuAI/AutoGLM-Phone-9B)
⚠️ 项目仅供研究与学习使用,严禁用于非法用途。