Open-AutoGLM 手机端 AI Agent 框架 用自然语言操控手机
2026/8/12 13:50:53 网站建设 项目流程

Open-AutoGLM 概览

Open-AutoGLM是智谱AI(Zhipu AI)旗下 zai-org 组织开源的手机端 AI Agent 框架,目标是「用自然语言操控手机」。项目在 GitHub 上已获得约26K Stars,采用 Apache-2.0 许可证。


核心组成

组件说明
Phone Agent 框架运行在电脑端的 Python 代码,通过 ADB(Android)或 HDC(鸿蒙)控制设备
AutoGLM-Phone 模型针对手机界面优化的视觉语言模型,有 9B 参数的中文版和多语言版

工作原理

系统循环执行以下链路:

  1. 截图— 获取当前手机屏幕
  2. 视觉理解— AutoGLM-Phone 模型解析 UI 元素与界面状态
  3. 动作规划— 生成下一步操作(点击坐标、滑动、输入文字、启动 App 等)
  4. 执行— 通过 ADB/HDC 将动作下发到手机
  5. 循环— 直到任务完成

使用方式

方式一:第三方 API(最快上手)

  • 智谱 BigModel:--base-url https://open.bigmodel.cn/api/paas/v4 --model autoglm-phone
  • ModelScope:--base-url https://api-inference.modelscope.cn/v1 --model ZhipuAI/AutoGLM-Phone-9B

无需本地 GPU,适合快速体验。

方式二:本地部署

使用 vLLM 或 SGLang 自行部署模型,数据完全本地,无隐私顾虑。


支持范围

  • 系统:Android 7.0+、HarmonyOS NEXT
  • 应用:覆盖美团、京东、小红书、抖音、飞书、知乎、微博等50+ 安卓应用60+ 鸿蒙应用
  • 安全机制:内置敏感操作确认,登录/验证码场景支持人工接管

生态集成

  • Midscene.js:已完成适配,可用 JavaScript/YAML 编写手机自动化脚本,支持 iOS 和 Android
  • Open-AutoGLM-SIGI:社区基于 Chaquopy 引擎的纯 Android 端实现,无需电脑/Root,赛博朋克风格 UI
  • Open-AutoGLM-Android:另一款社区纯 Android 端客户端

快速开始

# 克隆项目gitclone https://github.com/zai-org/Open-AutoGLM.gitcdOpen-AutoGLM# 安装依赖pipinstall-rrequirements.txt pipinstall-e.# 连接设备(确保手机已开启 USB 调试)adb devices# 运行任务python main.py --base-url https://open.bigmodel.cn/api/paas/v4\--model"autoglm-phone"\--apikey"your-api-key"\"打开美团搜索附近的火锅店"

项目地址

  • 官方仓库:https://github.com/zai-org/Open-AutoGLM
  • 模型下载:Hugging Face / ModelScope(ZhipuAI/AutoGLM-Phone-9B

⚠️ 项目仅供研究与学习使用,严禁用于非法用途。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询