1. 项目概述Open-AutoGLM-手机端智能助理框架是一个基于AutoGLM构建的多模态手机自动化操作框架。它通过视觉语言模型理解手机屏幕内容结合自动化控制技术实现自然语言指令到手机操作的转化。这个框架能够帮助用户完成诸如打开小红书搜索美食、比较淘宝和京东商品价格等日常手机操作任务。框架的核心工作原理是通过ADBAndroid Debug Bridge或HDCHarmonyOS Device Connector获取手机屏幕内容利用视觉语言模型分析当前界面状态和用户意图生成操作序列并自动执行。整个过程模拟了人类使用手机的思考和行为模式但执行效率和准确性更高。2. 核心架构与技术解析2.1 系统架构设计Open-AutoGLM采用分层架构设计主要包含以下组件设备控制层负责与手机设备通信包括屏幕截图获取操作指令执行点击、滑动、输入等设备状态监控模型服务层提供视觉理解和任务规划能力多模态模型AutoGLM-Phone-9B处理屏幕图像和用户指令生成操作决策序列支持本地部署或云端API调用任务管理层协调整个执行流程任务分解与步骤控制异常处理和人工接管执行结果反馈2.2 关键技术实现2.2.1 多模态理解框架采用AutoGLM-Phone-9B模型这是一个专门针对手机界面优化的视觉语言模型。模型特点包括支持中英文双语理解针对移动端UI元素进行专门训练最大支持25480 tokens的上下文长度可同时处理10张屏幕截图模型输入包含当前屏幕截图用户自然语言指令操作历史记录输出为JSON格式的操作指令例如{ action: Tap, element: [500, 100] }2.2.2 自动化控制设备控制通过ADB/HDC实现主要功能包括屏幕截图获取adb exec-out screencap -p坐标点击adb shell input tap x y文本输入通过ADB Keyboard实现滑动操作adb shell input swipe x1 y1 x2 y2框架内置了50主流应用的界面元素坐标映射确保操作准确性。3. 环境准备与部署3.1 硬件要求安卓手机Android 7.0或鸿蒙设备支持数据传输的USB线缆开发电脑Windows/MacOS/Linux3.2 手机端配置启用开发者模式设置 关于手机 版本号连续点击7次开启调试选项USB调试USB调试安全设置无线调试如需远程连接安装ADB Keyboard下载APK并安装在系统设置中启用该输入法3.3 电脑端部署安装ADB工具# MacOS brew install android-platform-tools # Windows # 下载platform-tools并配置PATH克隆项目仓库git clone https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM创建Python虚拟环境python -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate安装依赖pip install -r requirements.txt pip install -e .4. 模型服务配置4.1 使用云端API推荐智谱BigModelpython main.py --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ --apikey your-api-key \ 打开美团搜索附近的火锅店ModelScopepython main.py --base-url https://api-inference.modelscope.cn/v1 \ --model ZhipuAI/AutoGLM-Phone-9B \ --apikey your-modelscope-api-key \ 打开美团搜索附近的火锅店4.2 本地部署模型高配置要求使用vLLM部署python3 -m vllm.entrypoints.openai.api_server \ --served-model-name autoglm-phone-9b \ --model zai-org/AutoGLM-Phone-9B \ --port 8000使用SGLang部署python3 -m sglang.launch_server \ --model-path zai-org/AutoGLM-Phone-9B \ --served-model-name autoglm-phone-9b \ --port 80005. 使用指南5.1 基础使用交互模式python main.py --base-url http://localhost:8000/v1 \ --model autoglm-phone-9b单次任务模式python main.py --base-url http://localhost:8000/v1 \ 打开淘宝搜索无线耳机5.2 高级功能远程调试WiFi连接adb connect 192.168.1.100:5555 python main.py --device-id 192.168.1.100:5555 \ --base-url http://localhost:8000/v1 \ 打开抖音刷视频多设备管理# 列出所有设备 adb devices # 指定设备执行任务 python main.py --device-id emulator-5554 \ --base-url http://localhost:8000/v1 \ 打开微信6. 开发与扩展6.1 二次开发接口Python API示例from phone_agent import PhoneAgent from phone_agent.model import ModelConfig model_config ModelConfig( base_urlhttp://localhost:8000/v1, model_nameautoglm-phone-9b, ) agent PhoneAgent(model_configmodel_config) result agent.run(打开高德地图导航到北京西站) print(result)自定义回调def confirmation_callback(message: str) - bool: 敏感操作确认 return input(f确认执行 {message}(y/n): ).lower() y def takeover_callback(message: str) - None: 人工接管处理 print(f请手动完成: {message}) input(按回车继续...) agent PhoneAgent( confirmation_callbackconfirmation_callback, takeover_callbacktakeover_callback )6.2 支持应用扩展添加新应用支持 编辑phone_agent/config/apps.py添加应用包名和界面元素映射抖音: { package: com.ss.android.ugc.aweme, elements: { 搜索框: [540, 180], 首页按钮: [120, 2200] } }自定义Prompt 修改phone_agent/config/prompts_zh.py优化特定场景的指令理解。7. 常见问题排查7.1 连接问题设备未识别# 重启ADB服务 adb kill-server adb start-server # 检查连接 adb devices无线连接失败确保设备和电脑在同一网络检查防火墙设置重新启用TCP/IP模式adb tcpip 55557.2 操作问题点击无响应检查是否开启USB调试安全设置尝试调整点击坐标文本输入异常确认ADB Keyboard已启用检查输入法切换adb shell ime set com.android.adbkeyboard/.AdbIME7.3 模型服务问题部署验证python scripts/check_deployment_cn.py \ --base-url http://localhost:8000/v1 \ --model autoglm-phone-9b性能优化减少max_pixels参数值调整temperature和frequency_penalty使用更高效的推理后端如vLLM8. 应用场景与案例8.1 典型使用场景自动化测试应用UI遍历测试回归测试用例自动执行跨设备兼容性测试工作流自动化定时打卡签到自动收集电商优惠信息社交媒体自动运营无障碍辅助视障用户手机操作辅助老年人简化手机使用肢体障碍者语音控制手机8.2 实际案例演示比价购物python main.py 在京东和淘宝上搜索iPhone 15比较价格后截图执行流程打开京东APP搜索iPhone 15截图保存价格信息返回桌面打开淘宝APP搜索相同商品并截图返回桌面打开相册社交媒体运营python main.py 在小红书发布一张图片配文周末美食分享执行流程打开小红书APP点击发布按钮选择相册中的图片输入文案内容点击发布9. 性能优化与进阶技巧9.1 执行效率优化操作延时调整agent PhoneAgent( action_delay0.5, # 操作间隔时间(秒) screenshot_delay1 # 截图后等待时间(秒) )缓存策略启用界面元素缓存减少模型调用复用相似界面的操作策略并行处理多设备同时控制异步执行独立任务9.2 可靠性提升异常处理机制try: agent.run(复杂的多步任务) except Exception as e: agent.recover() # 尝试恢复到稳定状态 logger.error(f任务失败: {str(e)})验证点检查def check_homepage(): screenshot agent.get_screenshot() return 首页 in agent.analyze(screenshot) agent.run(打开微信, verifiercheck_homepage)操作确认机制# 对敏感操作添加确认 agent.confirm_before(支付, 转账)10. 安全与合规10.1 安全机制权限控制敏感操作需二次确认支付/登录场景自动暂停数据安全截图数据本地处理可配置不上传敏感信息操作限制禁止系统关键设置修改黑名单应用限制10.2 合规使用使用限制禁止用于自动化刷单禁止绕过安全机制遵守各平台用户协议最佳实践添加人工确认环节限制执行频率尊重平台防爬策略11. 项目结构与开发指南11.1 代码结构Open-AutoGLM/ ├── phone_agent/ │ ├── agent.py # 主逻辑 │ ├── adb/ # ADB操作 │ ├── model/ # 模型交互 │ ├── config/ # 配置文件 │ └── actions/ # 操作处理器 ├── examples/ # 示例代码 ├── tests/ # 单元测试 └── scripts/ # 实用脚本11.2 开发流程环境准备pip install -e .[dev]运行测试pytest tests/代码规范遵循PEP8类型注解模块化设计提交贡献Fork项目创建特性分支提交Pull Request12. 未来发展方向模型能力提升支持更多语言优化小屏幕设备适配增强复杂任务规划系统功能扩展iOS原生支持多设备协同语音交互集成应用生态建设插件系统技能市场社区贡献机制性能优化方向本地小模型部署操作预测加速缓存策略优化在实际使用中我发现这套框架最适合处理有明确步骤的重复性任务。对于需要创造性决策的场景建议设置人工确认环节。框架的远程调试功能特别适合自动化测试场景可以大幅提升测试效率。