1. 为什么你需要pyautogui这个神器第一次听说pyautogui时我也觉得不就是个控制鼠标键盘的库吗直到有次需要批量处理500张图片每张都要点10次鼠标我才意识到手动操作有多可怕。pyautogui最厉害的地方在于它能完美模拟人类操作而且跨Windows、macOS和Linux三大平台都能用。想象一下这些场景凌晨3点自动帮你抢购限量商品、自动填写几百份在线表格、游戏里自动刷副本...这些pyautogui都能搞定。我最近就用它开发了个自动化测试工具原本需要2小时的手工测试现在3分钟就跑完了。更棒的是它不需要你懂什么复杂的API会用鼠标键盘就能上手。2. 5分钟快速上手环境配置2.1 安装的正确姿势别被第三方库吓到安装其实就一行命令pip install pyautogui如果你遇到网速慢的问题可以加上清华源pip install pyautogui -i https://pypi.tuna.tsinghua.edu.cn/simple我建议同时安装配套的Pillow库后面图像识别会用到pip install pillow2.2 必须知道的防坑设置新手最容易栽在两点上失控的鼠标和过快的操作速度。记得加上这些保险import pyautogui pyautogui.FAILSAFE True # 启用紧急停止把鼠标移到左上角会触发异常 pyautogui.PAUSE 0.5 # 每个操作后暂停0.5秒实测发现PAUSE设为0.3-1秒最稳定。有次我忘了设置脚本瞬间点了1000下差点把电脑搞崩溃...3. 鼠标操控的终极指南3.1 精准定位的秘诀先来获取你的屏幕分辨率width, height pyautogui.size() print(f你的屏幕尺寸{width}x{height})移动鼠标有两种方式# 绝对移动适合固定位置 pyautogui.moveTo(100, 200, duration0.5) # 0.5秒内移动到(100,200) # 相对移动适合不确定位置 pyautogui.moveRel(50, -30, duration0.3) # 从当前位置右移50上移30我常用的小技巧用duration参数制造人类化移动轨迹避免被网站检测为机器人。3.2 高级点击技巧除了简单的click()你还可以# 双击指定位置 pyautogui.doubleClick(500, 500) # 右键菜单 pyautogui.rightClick() # 拖拽文件 pyautogui.dragTo(300, 400, duration1)最近帮同事写了个自动整理桌面脚本就是用这些方法实现的for i in range(10): pyautogui.dragTo(100i*50, 100, duration0.2)4. 键盘操作的黑科技4.1 基础输入操作输入文字最简单pyautogui.write(Hello World!, interval0.1) # 每个字符间隔0.1秒组合键要用hotkey()才稳pyautogui.hotkey(ctrl, c) # 复制 pyautogui.hotkey(ctrl, v) # 粘贴4.2 特殊键位处理处理方向键这种特殊按键pyautogui.press(enter) # 回车 pyautogui.press([left, left, left]) # 连按三次左键我做过最实用的脚本是自动登录器pyautogui.write(my_username) pyautogui.press(tab) pyautogui.write(super_secret_password) pyautogui.press(enter)5. 图像识别实战5.1 截图与定位全屏截图只要一行pyautogui.screenshot(screen.png)找图功能超实用# 在屏幕上找保存按钮.png的位置 button_pos pyautogui.locateOnScreen(save_button.png) if button_pos: pyautogui.click(button_pos)5.2 像素级控制获取特定位置颜色# 获取(100,200)处的RGB值 print(pyautogui.pixel(100, 200))我常用这个做自动化测试断言assert pyautogui.pixelMatchesColor(100, 200, (255, 0, 0)) # 检查是否变红6. 窗口控制高级技巧6.1 获取窗口信息列出所有窗口标题for title in pyautogui.getAllTitles(): if title: print(title)精准获取Chrome窗口chrome pyautogui.getWindowsWithTitle(Chrome)[0] print(chrome.size) # 打印窗口尺寸6.2 窗口操作大全调整窗口位置和大小chrome pyautogui.getWindowsWithTitle(Chrome)[0] chrome.moveTo(0, 0) # 移到左上角 chrome.resizeTo(800, 600) # 调整大小我做的分屏工具就是基于这些功能windows pyautogui.getAllWindows() for i, win in enumerate(windows[:4]): win.moveTo(i%2*960, i//2*540) win.resizeTo(960, 540)7. 真实项目案例解析7.1 自动化测试框架用pyautogui做UI自动化测试的流程启动被测应用通过图像识别定位元素模拟用户操作验证界面变化示例代码def test_login(): # 定位登录按钮 login_btn pyautogui.locateOnScreen(login_btn.png) pyautogui.click(login_btn) # 输入凭证 pyautogui.write(test_user) pyautogui.press(tab) pyautogui.write(password123) pyautogui.press(enter) # 验证登录成功 assert pyautogui.locateOnScreen(welcome.png)7.2 游戏自动化脚本以挂机刷副本为例while True: # 攻击按钮 pyautogui.click(attack_pos) pyautogui.sleep(2) # 拾取战利品 if pyautogui.locateOnScreen(loot.png): pyautogui.click() # 返回按钮 pyautogui.click(return_pos) pyautogui.sleep(5)注意要合理设置延迟避免被游戏检测为外挂。8. 性能优化与调试技巧8.1 加速图像识别三个提升识别速度的技巧指定搜索区域使用灰度匹配调整置信度阈值优化后的代码# 只在屏幕左侧区域搜索启用灰度匹配 pos pyautogui.locateOnScreen(icon.png, region(0,0,800,1080), grayscaleTrue)8.2 常见问题排查遇到问题先检查这些屏幕缩放比例是否100%图像是否有抗锯齿差异多显示器环境下的坐标问题我常用的调试方法# 实时打印鼠标位置 while True: print(pyautogui.position()) pyautogui.sleep(1)最后提醒大家自动化脚本要负责任地使用。我一般会在脚本开始时加入明显提示pyautogui.alert(text即将开始自动化操作请勿移动鼠标, title警告, buttonOK)
Python自动化神器：pyautogui实现跨平台键鼠操控与UI测试（实战指南）
发布时间：2026/7/28 5:17:43
1. 为什么你需要pyautogui这个神器第一次听说pyautogui时我也觉得不就是个控制鼠标键盘的库吗直到有次需要批量处理500张图片每张都要点10次鼠标我才意识到手动操作有多可怕。pyautogui最厉害的地方在于它能完美模拟人类操作而且跨Windows、macOS和Linux三大平台都能用。想象一下这些场景凌晨3点自动帮你抢购限量商品、自动填写几百份在线表格、游戏里自动刷副本...这些pyautogui都能搞定。我最近就用它开发了个自动化测试工具原本需要2小时的手工测试现在3分钟就跑完了。更棒的是它不需要你懂什么复杂的API会用鼠标键盘就能上手。2. 5分钟快速上手环境配置2.1 安装的正确姿势别被第三方库吓到安装其实就一行命令pip install pyautogui如果你遇到网速慢的问题可以加上清华源pip install pyautogui -i https://pypi.tuna.tsinghua.edu.cn/simple我建议同时安装配套的Pillow库后面图像识别会用到pip install pillow2.2 必须知道的防坑设置新手最容易栽在两点上失控的鼠标和过快的操作速度。记得加上这些保险import pyautogui pyautogui.FAILSAFE True # 启用紧急停止把鼠标移到左上角会触发异常 pyautogui.PAUSE 0.5 # 每个操作后暂停0.5秒实测发现PAUSE设为0.3-1秒最稳定。有次我忘了设置脚本瞬间点了1000下差点把电脑搞崩溃...3. 鼠标操控的终极指南3.1 精准定位的秘诀先来获取你的屏幕分辨率width, height pyautogui.size() print(f你的屏幕尺寸{width}x{height})移动鼠标有两种方式# 绝对移动适合固定位置 pyautogui.moveTo(100, 200, duration0.5) # 0.5秒内移动到(100,200) # 相对移动适合不确定位置 pyautogui.moveRel(50, -30, duration0.3) # 从当前位置右移50上移30我常用的小技巧用duration参数制造人类化移动轨迹避免被网站检测为机器人。3.2 高级点击技巧除了简单的click()你还可以# 双击指定位置 pyautogui.doubleClick(500, 500) # 右键菜单 pyautogui.rightClick() # 拖拽文件 pyautogui.dragTo(300, 400, duration1)最近帮同事写了个自动整理桌面脚本就是用这些方法实现的for i in range(10): pyautogui.dragTo(100i*50, 100, duration0.2)4. 键盘操作的黑科技4.1 基础输入操作输入文字最简单pyautogui.write(Hello World!, interval0.1) # 每个字符间隔0.1秒组合键要用hotkey()才稳pyautogui.hotkey(ctrl, c) # 复制 pyautogui.hotkey(ctrl, v) # 粘贴4.2 特殊键位处理处理方向键这种特殊按键pyautogui.press(enter) # 回车 pyautogui.press([left, left, left]) # 连按三次左键我做过最实用的脚本是自动登录器pyautogui.write(my_username) pyautogui.press(tab) pyautogui.write(super_secret_password) pyautogui.press(enter)5. 图像识别实战5.1 截图与定位全屏截图只要一行pyautogui.screenshot(screen.png)找图功能超实用# 在屏幕上找保存按钮.png的位置 button_pos pyautogui.locateOnScreen(save_button.png) if button_pos: pyautogui.click(button_pos)5.2 像素级控制获取特定位置颜色# 获取(100,200)处的RGB值 print(pyautogui.pixel(100, 200))我常用这个做自动化测试断言assert pyautogui.pixelMatchesColor(100, 200, (255, 0, 0)) # 检查是否变红6. 窗口控制高级技巧6.1 获取窗口信息列出所有窗口标题for title in pyautogui.getAllTitles(): if title: print(title)精准获取Chrome窗口chrome pyautogui.getWindowsWithTitle(Chrome)[0] print(chrome.size) # 打印窗口尺寸6.2 窗口操作大全调整窗口位置和大小chrome pyautogui.getWindowsWithTitle(Chrome)[0] chrome.moveTo(0, 0) # 移到左上角 chrome.resizeTo(800, 600) # 调整大小我做的分屏工具就是基于这些功能windows pyautogui.getAllWindows() for i, win in enumerate(windows[:4]): win.moveTo(i%2*960, i//2*540) win.resizeTo(960, 540)7. 真实项目案例解析7.1 自动化测试框架用pyautogui做UI自动化测试的流程启动被测应用通过图像识别定位元素模拟用户操作验证界面变化示例代码def test_login(): # 定位登录按钮 login_btn pyautogui.locateOnScreen(login_btn.png) pyautogui.click(login_btn) # 输入凭证 pyautogui.write(test_user) pyautogui.press(tab) pyautogui.write(password123) pyautogui.press(enter) # 验证登录成功 assert pyautogui.locateOnScreen(welcome.png)7.2 游戏自动化脚本以挂机刷副本为例while True: # 攻击按钮 pyautogui.click(attack_pos) pyautogui.sleep(2) # 拾取战利品 if pyautogui.locateOnScreen(loot.png): pyautogui.click() # 返回按钮 pyautogui.click(return_pos) pyautogui.sleep(5)注意要合理设置延迟避免被游戏检测为外挂。8. 性能优化与调试技巧8.1 加速图像识别三个提升识别速度的技巧指定搜索区域使用灰度匹配调整置信度阈值优化后的代码# 只在屏幕左侧区域搜索启用灰度匹配 pos pyautogui.locateOnScreen(icon.png, region(0,0,800,1080), grayscaleTrue)8.2 常见问题排查遇到问题先检查这些屏幕缩放比例是否100%图像是否有抗锯齿差异多显示器环境下的坐标问题我常用的调试方法# 实时打印鼠标位置 while True: print(pyautogui.position()) pyautogui.sleep(1)最后提醒大家自动化脚本要负责任地使用。我一般会在脚本开始时加入明显提示pyautogui.alert(text即将开始自动化操作请勿移动鼠标, title警告, buttonOK)
