简介本资源是一份面向MATLAB初学者及自动化脚本开发者的轻量级人机交互模拟工具聚焦于通过MATLAB代码实现键盘按键触发与鼠标点击/移动等底层操作适用于GUI自动化测试、教学演示、辅助控制等场景。压缩包仅含1个核心M文件.m体积仅1KB代码结构清晰、注释完整涵盖Windows平台下调用系统API的关键逻辑封装便于快速理解MATLAB与操作系统交互机制。已有342人下载学习适合作为入门级自动化实践范例读者可直接运行调试、修改键鼠事件参数、拓展组合操作逻辑并借鉴其函数封装思路应用于更复杂的仿真或控制项目中。 很多用 MATLAB 做实验、搞科研的朋友迟早都会碰到一个需求让电脑自己动起来。可能是自动化处理一批数据、批量操作某个软件界面也可能是跑仿真时想顺带模拟真人操作把重复劳动丢给机器。市面上这种工具不少但要么收费要么需要装一堆运行时环境。用 MATLAB 自己写一套模拟键盘、鼠标的程序源码好处是直接嵌在你熟悉的 MATLAB 环境里改参数、加逻辑、和数据处理无缝衔接非常方便。我打包的这份matlab模拟键盘、鼠标程序源码.zip就是一套完整的、可直接运行的 MATLAB 代码专门干这件事。它能模拟鼠标移动、点击、滚轮滚动也能模拟键盘按键、组合键比如 CtrlC、AltF4甚至能按指定频率和坐标序列来操作。适合做界面自动化测试、软件演示、无人值守批处理的人参考也适合想了解 MATLAB 如何调用 Windows 底层 API 的初学者拿来研究。这篇文章我不会光给你看代码重点是把这套程序的实现思路、核心调用逻辑、容易踩的坑还有我调试时的经验全部捋一遍。这样你自己拿到源码不仅能跑起来还能随时改成你需要的功能。1. 程序整体设计与核心思路拆解1.1 解决什么问题MATLAB 原生功能的边界先说个很多人会误解的事情MATLAB 本身并不自带“模拟鼠标点击”和“模拟键盘输入”的直接函数。虽然它有一些和 GUI 相关的函数比如可以编程方式触发按钮的findobj配合Callback或者用java.awt.Robot类来做底层输入模拟但这些要么限制太多要么要懂 Java 对象操作。真正的全局级模拟——也就是你在 MATLAB 命令行执行一句代码鼠标就真的自动移到屏幕某个位置并点击左键键盘就真的打出字符给其他软件——必须依靠系统层面的输入接口。所以这套源码的核心思路不是另起炉灶发明什么新方案而是把 MATLAB 能调用的几种 Windows 底层输入方式封装成好用的函数再把常见的操作组合成一套“动作库”让你在编写自动化脚本时像搭积木一样调用。1.2 技术路线选型Java Robot 还是 Windows API实现模拟键盘鼠标目前主流有无非三种技术路线原理优点缺点Java Robot 类通过 MATLAB 内置的 Java 虚拟机调用java.awt.Robot跨平台无需额外文件代码简洁需要了解 Java 类方法有些键盘键码映射不直观个别环境有焦点问题Windows APIuser32.dll通过loadlibrary或calllib调用keybd_event、mouse_event等函数权限高、最接近系统底层行为准确稳定需要写声明文件.h配置稍麻烦Python/C 混合MATLAB 调用外部程序灵活性强依赖外部环境不如纯 MATLAB 方案轻量我调试到最后选定的是Java Robot 为主Windows API 为辅。为什么这么选因为 Robot 类在 MATLAB 里调用特别简单几行就能实现基本按键和鼠标移动速度也快日常的自动化测试够用了。而 Windows API 路线我用在了几个“Robot 类做不到或者做得不好”的场景比如模拟组合键时某些特殊修饰键的处理、以及更底层的键码扫描。说白了这份源码是两条腿走路不是吊死在一棵树上。2. 核心源码模块解析与实操要点2.1 Java Robot 类的封装三行代码搞定基本操作先看最基础的部分。MATLAB 里使用 Java Robot 类不需要安装任何额外工具箱直接调用即可。% 创建 Robot 对象 robot java.awt.Robot; % 移动鼠标到屏幕坐标 (500, 400) robot.mouseMove(500, 400); % 模拟左键按下再弹起 robot.mousePress(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); robot.mouseRelease(java.awt.event.InputEvent.BUTTON1_DOWN_MASK);就这么简单。核心逻辑用一句话总结你先创建一个 Java 的Robot实例然后调它的方法。mouseMove负责把光标移到绝对坐标位置mousePress和mouseRelease配合起来等于一次完整的点击。这套封装我把它写成了一个叫mouseClick的函数传入坐标和按键类型就能执行一次点击。但是注意BUTTON1_DOWN_MASK是一个静态常量表示鼠标左键。右键是BUTTON3_DOWN_MASK中键是BUTTON2_DOWN_MASK。这几个常量的名字特别容易记混我一开始把右键误写成BUTTON2结果点出来是中键那时候我在调试一个截图工具差点把页面关掉。2.2 键盘模拟的关键参数键码映射表键盘模拟比鼠标稍微复杂一点因为键盘有很多特殊键比如 Shift、Ctrl、Alt、F1-F12、方向键每个键在 Java Robot 中都有一个对应的 KeyEvent 常量。比如常见的按键KeyEvent 常量回车java.awt.event.KeyEvent.VK_ENTER空格java.awt.event.KeyEvent.VK_SPACECtrljava.awt.event.KeyEvent.VK_CONTROLC复制用java.awt.event.KeyEvent.VK_C封装代码套路和鼠标类似关键是建立“字符/键名 - 键码”的映射关系。我写了一个keyCode函数内部用switch语句做映射。这样一来你在写自动化脚本的时候只需要说keyPress(ctrl)、keyPress(c)不用记 Java 常量名。一个特别容易踩坑的地方是普通字符的按下和弹起之间必须有延迟。如果你keyPress和keyRelease之间不加停顿部分软件会识别不到这次按键认为只是“轻触”没有实际按下。我实际测试的时候延迟至少要在 30~50 毫秒左右才稳定。注意java.lang.Thread.sleep的写法% 模拟一次按键 robot.keyPress(KeyEvent.VK_A); java.lang.Thread.sleep(50); % 关键按下后稍微停留 robot.keyRelease(KeyEvent.VK_A);2.3 组合键的实现按下顺序有讲究模拟组合键比如 CtrlC 复制、AltTab 切换窗口逻辑上很简单但是按下和弹起的顺序必须严格遵守规则。正确顺序是先按下修饰键Ctrl/Alt/Shift再按主键C/Tab然后松开主键最后松开修饰键。写成代码就是这样% 模拟 CtrlC robot.keyPress(KeyEvent.VK_CONTROL); robot.keyPress(KeyEvent.VK_C); java.lang.Thread.sleep(50); robot.keyRelease(KeyEvent.VK_C); robot.keyRelease(KeyEvent.VK_CONTROL);我最初写反了先按了 C 再按 Ctrl结果在记事本里只输出了一个字母 c根本没有触发复制功能。这个细节如果你自己从头写大概率也会踩一次。2.4 鼠标轨迹与相对移动不做瞬移的“瞬移”Java Robot 的mouseMove是直接设置绝对坐标鼠标会“瞬移”过去。这在某些场景下会露馅比如你在给别人录演示视频鼠标像坐了火箭一样从屏幕角落瞬间跑到中间观感很差。在模拟真人操作测试里这类“瞬移”也容易被反自动化机制识别。所以我在源码里实现了一个mouseMoveSmooth函数思路是把起点到终点分成若干步每步移动一点并且加入微小随机延迟for i 1:steps xi x1 (x2 - x1) * i / steps; yi y1 (y2 - y1) * i / steps; robot.mouseMove(round(xi), round(yi)); java.lang.Thread.sleep(5 randi(10)); % 随机延迟 end这里有个技术细节为什么要用randi(10)加随机延迟因为真实人手移动鼠标不可能像机器一样间隔完全相同。加一点随机抖动一方面让轨迹更像真人另一方面也让点击更自然。虽然这份源码主要做自动化但我顺手把这个功能也放进来了毕竟“像真人”在很多自动化测试场景里是硬需求。2.5 屏幕坐标获取你得先知道该点哪里再自动化也得先知道目标按钮在屏幕上的位置。我在这套源码中提供了一个getScreenSize函数用来获取屏幕分辨率screenSize get(0, ScreenSize); % 输出格式[左, 上, 宽, 高]然后配合截图工具MATLAB 里可以用java.awt.Robot的createScreenCapture来定位坐标。如果你想动态获取鼠标当前位置这段代码可以直接用% 获取鼠标位置 pos get(0, PointerLocation); disp([鼠标位置: ( num2str(pos(1)) , num2str(pos(2)) )]);注意这里有个小坑MATLAB 的PointerLocation返回的是(x, y)其中 x 是水平位置y 是垂直位置单位是像素。但和 Java Robot 的坐标系统对照时需要确认两者的原点一致。通常 Windows 屏幕原点在左上角而 MATLAB 的get(0, PointerLocation)也是以左下角为原点还是左上角实测下来MATLAB 的PointerLocation是以左下角为原点。这个差异会让新手调半天鼠标定位都不准我踩过一次之后就专门写了个坐标转换函数。3. 实操过程从零开始搭建一套完整的自动点击脚本3.1 准备阶段环境要求与源代码结构这份源码对 MATLAB 版本要求不高R2018a 以后的版本基本都能直接用不需要安装额外工具箱。主要就依靠 MATLAB 自带的 Java 支持能力。拿到压缩包后解压出来你会看到这些文件matlab_simulate_input/ ├── mouseClick.m % 鼠标单击支持左/中/右 ├── mouseDoubleClick.m % 鼠标双击 ├── mouseMoveSmooth.m % 平滑移动鼠标 ├── keyPress.m % 模拟按键单键 ├── keyCombination.m % 模拟组合键CtrlC 等 ├── typeString.m % 模拟连续输入字符串 ├── getMousePosition.m % 获取当前鼠标位置 ├── coordinateConvert.m % 坐标转换 └── demo_script.m % 一键运行的演示脚本每个文件都遵循一个原则输入参数含义明确、错误提示友好。我写程序有个习惯所有函数入口都会有输入检查防止你传错类型时 MATLAB 报一长串看不懂的英文。比如mouseClick会检查坐标是否为正数、按键类型是否为合法值。3.2 核心代码逐行解读实现自动化搜索框输入现在结合一个实际场景走一遍完整流程打开记事本自动输入一段文字然后模拟 CtrlS 保存。% Step 1: 启动记事本 system(notepad.exe); java.lang.Thread.sleep(1000); % 等待窗口加载 % Step 2: 等待 1 秒后直接输入字符串 typeString(Hello from MATLAB!); java.lang.Thread.sleep(500); % Step 3: 模拟 CtrlS 打开保存对话框 keyCombination({ctrl, s}); java.lang.Thread.sleep(1000); % Step 4: 输入文件名并回车 typeString(auto_save_test); keyPress(enter);这里的关键点有两个。第一个是system(notepad.exe)它会启动记事本窗口。java.lang.Thread.sleep(1000)用来给系统一点时间加载窗口。这个延迟不能省我最初觉得系统启动很快写了个 100 毫秒延迟结果后面的输入字符有一半丢了因为记事本还没完全拿到输入焦点。第二个是typeString函数。它的实现思路是遍历字符串的每个字符然后根据字符映射到对应键码逐一按下松开。这里要注意大小写字母的输入方式不一样。如果是小写直接按对应字母键即可如果是大写需要先按 Shift 再按字母键。数字和标点符号同理部分符号在键盘上是上档键比如!是1的上档键需要模拟 Shift数字键。function typeString(str) robot java.awt.Robot; for i 1:length(str) ch str(i); if isstrprop(ch, upper) % 大写字母需要 Shift 字母 shiftKey java.awt.event.KeyEvent.VK_SHIFT; vk getVkCode(upper(ch)); robot.keyPress(shiftKey); robot.keyPress(vk); robot.keyRelease(vk); robot.keyRelease(shiftKey); else vk getVkCode(ch); robot.keyPress(vk); robot.keyRelease(vk); end java.lang.Thread.sleep(20); % 字符间延迟 end endgetVkCode是内部辅助函数把字符映射到 Java KeyEvent 的键码。MATLAB 的字符处理能力和 Java 配合使用相当顺畅这就是我推荐这套方案的重要原因。3.3 鼠标自动化实现双击和右键菜单操作鼠标部分的实操我设计了一个常见场景双击桌面上的某个快捷方式然后右键空白区域刷新。% 双击坐标 (800, 600) mouseDoubleClick(800, 600); java.lang.Thread.sleep(500); % 平滑移动到另一个位置 mouseMoveSmooth(800, 300, 20); % 分 20 步移动 java.lang.Thread.sleep(200); % 右键点击弹出菜单 mouseClick(800, 300, right);这里的有效负载就在mouseDoubleClick。实现双击要注意一个细节两次点击的间隔不能太长也不能太短。Windows 系统默认双击速度是 500 毫秒左右两次点击间隔太长会被识别成两次独立的单击太短又可能被过滤掉。我测试后确定 100 毫秒是个比较稳的数值。function mouseDoubleClick(x, y) robot java.awt.Robot; % 第一次点击 robot.mouseMove(x, y); robot.mousePress(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); robot.mouseRelease(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); java.lang.Thread.sleep(100); % 双击间隔实测 100ms 表现稳定 % 第二次点击 robot.mousePress(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); robot.mouseRelease(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); end3.4 延时控制的几个关键技巧自动化脚本里延时控制直接决定脚本的稳定性。我在源码里统一封装了一个waitMs函数就是简单调用java.lang.Thread.sleep但加上了毫秒级别的容错。具体到实操我的经验是启动外部程序后最少等 500 毫秒。比如system(notepad.exe)后等待太短会导致窗口没准备好输入丢失。点击后等待 100~200 毫秒给目标程序反应时间尤其是打开菜单、弹出对话框这类操作。长操作比如文件保存、页面加载要用轮询状态的方式而不是固定等待。编程经验丰富的朋友可能用过waitfor但在模拟键鼠场景中固定等待加适当余量已经足够简单可靠。4. 工具选型与性能对比心得4.1 为什么不用 Python 的 pyautogui 或 pynput经常有人问既然 Python 有现成的 pyautogui为什么还要用 MATLAB 来做实际选型得看使用场景。如果你的项目主体就是 MATLAB比如你在跑 Simulink 仿真、做图像处理、处理实验数据这些数据本身就在 MATLAB 工作空间里模拟键鼠操作只是整个流程的一部分。这时候用 MATLAB 直接模拟可以避免数据在不同语言间传来传去的烦恼。举个例子我处理过一批实验数据需要自动在某个第三方软件里打开 200 个文件、点击“导出数据”、保存结果。如果用 Python得先用scipy.io.loadmat读 MATLAB 的.mat文件处理完再回传。但如果直接用 MATLAB 脚本做自动化数据读取、分析、键鼠模拟、结果保存全在一个环境里完成代码量减少一半以上排查问题也方便。4.2 Windows API 调用什么时候绕不开前面提过Java Robot 类在绝大多数场景都能搞定但有一个场景它处理不了模拟硬件级按键扫描码。某些专业软件会检测输入来源如果它发现按键事件不是来自物理键盘通过驱动级别校验可能会拒绝响应。虽然这种场景非常少见但万一遇到了就得使用 Windows API。源码里也贴出一段基于loadlibrary调用 user32.dll 的示例代码不过在实际使用前需要准备一个 C 语言头文件来声明函数签名。我建议先把这个方案作为后备日常用 Java Robot 就好不要一上来就往底层写。毕竟我们的目标是快速解决问题不是每个程序都得做成驱动级工具。4.3 与 AutoIt、按键精灵等现成工具横向比较这几种方案我全都用过简单说说差异性方案学习成本环境依赖可定制性适合场景MATLAB 模拟本方案低会 MATLAB 就行只需 MATLAB高可和数据处理无缝结合科研自动化、仿真联动、批处理Python pyautogui低需安装 Python 和库中独立脚本、跨平台AutoIt中需要装 AutoIt 解释器高脚本语言Windows 重度自动化按键精灵低需要装软件低主要是录制回放游戏辅助、简单重复操作如果你的核心工具链是 MATLAB那么用 MATLAB 做键鼠模拟是最优解因为省去了跨语言通信的成本。如果你只是单纯想写个一次性脚本那 Python 可能更轻量。工具没有绝对好坏只有贴合不贴合场景。5. 常见问题与排查技巧实录5.1 模拟的按键没有被目标程序响应这个问题出现频率最高。我在使用中总结出三个排查方向目标窗口没有获得焦点。用 MATLAB 模拟键鼠时系统只会把输入发送到当前前台窗口。如果你的脚本用system启动了记事本但记事本没有弹到最前面按键就会发到别的窗口。解决办法是在向窗口发送内容前先强制激活窗口。在 Windows 上这句命令能帮上忙% 通过 System.Diagnostics.Process 获取进程并激活或者直接调用 AppActivate system(powershell -command (New-Object -ComObject WScript.Shell).AppActivate(记事本));键码映射错了。比如你按下 Caps Lock 时输入的是小写映射表或者某个符号如的映射没做对输出就会是另一个字符。排查办法很简单在模拟按键后用剪贴板把目标软件里的文本复制出来对比一下实际输出。窗口管理器拦截了输入。某些以管理员身份运行的程序会拒绝普通进程发送的模拟输入。如果发现前面的方法都不管用可以试着把 MATLAB 也以管理员身份运行。5.2 鼠标点击位置偏差坐标偏差的核心原因是不同坐标系的原点定义不同。Windows 窗口坐标原生以左上角为原点而 MATLAB 的PointerLocation返回的屏幕坐标是以左下角为原点。这里需要做一个转换function javaY matlabYToJavaY(matlabY) screenHeight get(0, ScreenSize); % 注意第 4 个元素是高度 javaY screenHeight(4) - matlabY; end比如你在 MATLAB 里读到的鼠标位置是 (100, 500)ScreenSize是[1, 1, 1920, 1080]那么在 Java Robot 里实际要移动的 y 坐标就是1080 - 500 580。5.3 DPI 缩放导致点击偏移很多使用高分屏的朋友会遇到鼠标在屏幕上显示的位置和 Java Robot 移动的位置不一致而且越靠近屏幕右下角偏差越大。这是因为 Windows 的 DPI 缩放比如 150%、200%会改变逻辑像素和物理像素的比例而 Java Robot 的坐标默认使用物理像素。解决办法有两种。一是修改 MATLAB 进程的 DPI 感知设置在调用 Robot 之前执行% 尝试关闭 MATLAB 的 DPI 缩放让 Java 层使用原生分辨率 system(reg add HKCU\Control Panel\Desktop\WindowMetrics /v AppliedDPI /t REG_DWORD /d 96 /f);但这需要注销或重启才能生效。二是直接根据当前 DPI 缩放比例计算偏移我实测下来后者的可操作性更强代码如下% 获取当前系统的 DPI 缩放 dpiScale java.awt.Toolkit.getDefaultToolkit().getScreenResolution() / 96; % 实际移动坐标 目标坐标 * dpiScale robot.mouseMove(round(500 * dpiScale), round(400 * dpiScale));5.4 脚本运行速度太慢的优化建议单次等待 50 毫秒看起来不多但如果你的脚本要循环 1000 次累计就是 50 秒的纯等待。优化思路很直接在稳定和速度之间找平衡。如果你只是模拟普通的按键输入字符间延迟可以降低到 10~15 毫秒实测大多数软件都能正常接收。如果是鼠标的一系列点击每个操作之间的等待可以降到 50 毫秒以下但保证前后动作的逻辑关联性比如双击仍然需要至少 50 毫秒的间隔。如果涉及窗口切换、弹出菜单等异步操作等待时间不能省。这时候固定短延时的风险很大改动不如用轮询判断每隔 50 毫秒检查一次目标状态直到满足条件再继续。5.5 源码压缩包的使用注意事项最后说说压缩包本身的使用。解压后不要直接把文件放到中文路径下虽然大多数操作没问题但部分字符映射函数对中文路径的处理比较脆弱容易出幺蛾子。我建议所有源码放在纯英文路径下运行比如D:\matlab_simulate。运行演示脚本demo_script.m前先确认你当前没有打开其他重要窗口因为演示脚本会真实地控制鼠标键盘移动如果这时候你正在码字或者做别的操作会被“抢走鼠标”打断。另外源码是基于 Windows 平台的。虽然 Java Robot 本身在 macOS 和 Linux 上也能用但坐标系统、窗口激活方式、快捷键可能不同需要另外适配。写在最后一个很实用的拓展想法把键鼠模拟和 MATLAB 的数据处理能力结合起来能做的事情远超想象。比如你可以写一个简单的图片识别循环截屏后用图像处理工具箱分析屏幕上的某个按钮位置再让鼠标自动移动过去点击。这基本上就是一个简化版的“机器视觉自动操作脚本”了。我用这个思路做过一个批量处理表格的小工具效果相当不错。如果你拿到的源码里有些函数不太符合你的使用习惯建议优先修改映射表和延迟参数这两个地方最影响使用体验。折腾出适合自己的一套配置后你会发现自己做自动化测试或者批处理的效率提升了不止一个档次。本文还有配套的精品资源点击获取 MATLAB模拟键盘鼠标自动化操作：源码解析与实战技巧
简介本资源是一份面向MATLAB初学者及自动化脚本开发者的轻量级人机交互模拟工具聚焦于通过MATLAB代码实现键盘按键触发与鼠标点击/移动等底层操作适用于GUI自动化测试、教学演示、辅助控制等场景。压缩包仅含1个核心M文件.m体积仅1KB代码结构清晰、注释完整涵盖Windows平台下调用系统API的关键逻辑封装便于快速理解MATLAB与操作系统交互机制。已有342人下载学习适合作为入门级自动化实践范例读者可直接运行调试、修改键鼠事件参数、拓展组合操作逻辑并借鉴其函数封装思路应用于更复杂的仿真或控制项目中。 很多用 MATLAB 做实验、搞科研的朋友迟早都会碰到一个需求让电脑自己动起来。可能是自动化处理一批数据、批量操作某个软件界面也可能是跑仿真时想顺带模拟真人操作把重复劳动丢给机器。市面上这种工具不少但要么收费要么需要装一堆运行时环境。用 MATLAB 自己写一套模拟键盘、鼠标的程序源码好处是直接嵌在你熟悉的 MATLAB 环境里改参数、加逻辑、和数据处理无缝衔接非常方便。我打包的这份matlab模拟键盘、鼠标程序源码.zip就是一套完整的、可直接运行的 MATLAB 代码专门干这件事。它能模拟鼠标移动、点击、滚轮滚动也能模拟键盘按键、组合键比如 CtrlC、AltF4甚至能按指定频率和坐标序列来操作。适合做界面自动化测试、软件演示、无人值守批处理的人参考也适合想了解 MATLAB 如何调用 Windows 底层 API 的初学者拿来研究。这篇文章我不会光给你看代码重点是把这套程序的实现思路、核心调用逻辑、容易踩的坑还有我调试时的经验全部捋一遍。这样你自己拿到源码不仅能跑起来还能随时改成你需要的功能。1. 程序整体设计与核心思路拆解1.1 解决什么问题MATLAB 原生功能的边界先说个很多人会误解的事情MATLAB 本身并不自带“模拟鼠标点击”和“模拟键盘输入”的直接函数。虽然它有一些和 GUI 相关的函数比如可以编程方式触发按钮的findobj配合Callback或者用java.awt.Robot类来做底层输入模拟但这些要么限制太多要么要懂 Java 对象操作。真正的全局级模拟——也就是你在 MATLAB 命令行执行一句代码鼠标就真的自动移到屏幕某个位置并点击左键键盘就真的打出字符给其他软件——必须依靠系统层面的输入接口。所以这套源码的核心思路不是另起炉灶发明什么新方案而是把 MATLAB 能调用的几种 Windows 底层输入方式封装成好用的函数再把常见的操作组合成一套“动作库”让你在编写自动化脚本时像搭积木一样调用。1.2 技术路线选型Java Robot 还是 Windows API实现模拟键盘鼠标目前主流有无非三种技术路线原理优点缺点Java Robot 类通过 MATLAB 内置的 Java 虚拟机调用java.awt.Robot跨平台无需额外文件代码简洁需要了解 Java 类方法有些键盘键码映射不直观个别环境有焦点问题Windows APIuser32.dll通过loadlibrary或calllib调用keybd_event、mouse_event等函数权限高、最接近系统底层行为准确稳定需要写声明文件.h配置稍麻烦Python/C 混合MATLAB 调用外部程序灵活性强依赖外部环境不如纯 MATLAB 方案轻量我调试到最后选定的是Java Robot 为主Windows API 为辅。为什么这么选因为 Robot 类在 MATLAB 里调用特别简单几行就能实现基本按键和鼠标移动速度也快日常的自动化测试够用了。而 Windows API 路线我用在了几个“Robot 类做不到或者做得不好”的场景比如模拟组合键时某些特殊修饰键的处理、以及更底层的键码扫描。说白了这份源码是两条腿走路不是吊死在一棵树上。2. 核心源码模块解析与实操要点2.1 Java Robot 类的封装三行代码搞定基本操作先看最基础的部分。MATLAB 里使用 Java Robot 类不需要安装任何额外工具箱直接调用即可。% 创建 Robot 对象 robot java.awt.Robot; % 移动鼠标到屏幕坐标 (500, 400) robot.mouseMove(500, 400); % 模拟左键按下再弹起 robot.mousePress(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); robot.mouseRelease(java.awt.event.InputEvent.BUTTON1_DOWN_MASK);就这么简单。核心逻辑用一句话总结你先创建一个 Java 的Robot实例然后调它的方法。mouseMove负责把光标移到绝对坐标位置mousePress和mouseRelease配合起来等于一次完整的点击。这套封装我把它写成了一个叫mouseClick的函数传入坐标和按键类型就能执行一次点击。但是注意BUTTON1_DOWN_MASK是一个静态常量表示鼠标左键。右键是BUTTON3_DOWN_MASK中键是BUTTON2_DOWN_MASK。这几个常量的名字特别容易记混我一开始把右键误写成BUTTON2结果点出来是中键那时候我在调试一个截图工具差点把页面关掉。2.2 键盘模拟的关键参数键码映射表键盘模拟比鼠标稍微复杂一点因为键盘有很多特殊键比如 Shift、Ctrl、Alt、F1-F12、方向键每个键在 Java Robot 中都有一个对应的 KeyEvent 常量。比如常见的按键KeyEvent 常量回车java.awt.event.KeyEvent.VK_ENTER空格java.awt.event.KeyEvent.VK_SPACECtrljava.awt.event.KeyEvent.VK_CONTROLC复制用java.awt.event.KeyEvent.VK_C封装代码套路和鼠标类似关键是建立“字符/键名 - 键码”的映射关系。我写了一个keyCode函数内部用switch语句做映射。这样一来你在写自动化脚本的时候只需要说keyPress(ctrl)、keyPress(c)不用记 Java 常量名。一个特别容易踩坑的地方是普通字符的按下和弹起之间必须有延迟。如果你keyPress和keyRelease之间不加停顿部分软件会识别不到这次按键认为只是“轻触”没有实际按下。我实际测试的时候延迟至少要在 30~50 毫秒左右才稳定。注意java.lang.Thread.sleep的写法% 模拟一次按键 robot.keyPress(KeyEvent.VK_A); java.lang.Thread.sleep(50); % 关键按下后稍微停留 robot.keyRelease(KeyEvent.VK_A);2.3 组合键的实现按下顺序有讲究模拟组合键比如 CtrlC 复制、AltTab 切换窗口逻辑上很简单但是按下和弹起的顺序必须严格遵守规则。正确顺序是先按下修饰键Ctrl/Alt/Shift再按主键C/Tab然后松开主键最后松开修饰键。写成代码就是这样% 模拟 CtrlC robot.keyPress(KeyEvent.VK_CONTROL); robot.keyPress(KeyEvent.VK_C); java.lang.Thread.sleep(50); robot.keyRelease(KeyEvent.VK_C); robot.keyRelease(KeyEvent.VK_CONTROL);我最初写反了先按了 C 再按 Ctrl结果在记事本里只输出了一个字母 c根本没有触发复制功能。这个细节如果你自己从头写大概率也会踩一次。2.4 鼠标轨迹与相对移动不做瞬移的“瞬移”Java Robot 的mouseMove是直接设置绝对坐标鼠标会“瞬移”过去。这在某些场景下会露馅比如你在给别人录演示视频鼠标像坐了火箭一样从屏幕角落瞬间跑到中间观感很差。在模拟真人操作测试里这类“瞬移”也容易被反自动化机制识别。所以我在源码里实现了一个mouseMoveSmooth函数思路是把起点到终点分成若干步每步移动一点并且加入微小随机延迟for i 1:steps xi x1 (x2 - x1) * i / steps; yi y1 (y2 - y1) * i / steps; robot.mouseMove(round(xi), round(yi)); java.lang.Thread.sleep(5 randi(10)); % 随机延迟 end这里有个技术细节为什么要用randi(10)加随机延迟因为真实人手移动鼠标不可能像机器一样间隔完全相同。加一点随机抖动一方面让轨迹更像真人另一方面也让点击更自然。虽然这份源码主要做自动化但我顺手把这个功能也放进来了毕竟“像真人”在很多自动化测试场景里是硬需求。2.5 屏幕坐标获取你得先知道该点哪里再自动化也得先知道目标按钮在屏幕上的位置。我在这套源码中提供了一个getScreenSize函数用来获取屏幕分辨率screenSize get(0, ScreenSize); % 输出格式[左, 上, 宽, 高]然后配合截图工具MATLAB 里可以用java.awt.Robot的createScreenCapture来定位坐标。如果你想动态获取鼠标当前位置这段代码可以直接用% 获取鼠标位置 pos get(0, PointerLocation); disp([鼠标位置: ( num2str(pos(1)) , num2str(pos(2)) )]);注意这里有个小坑MATLAB 的PointerLocation返回的是(x, y)其中 x 是水平位置y 是垂直位置单位是像素。但和 Java Robot 的坐标系统对照时需要确认两者的原点一致。通常 Windows 屏幕原点在左上角而 MATLAB 的get(0, PointerLocation)也是以左下角为原点还是左上角实测下来MATLAB 的PointerLocation是以左下角为原点。这个差异会让新手调半天鼠标定位都不准我踩过一次之后就专门写了个坐标转换函数。3. 实操过程从零开始搭建一套完整的自动点击脚本3.1 准备阶段环境要求与源代码结构这份源码对 MATLAB 版本要求不高R2018a 以后的版本基本都能直接用不需要安装额外工具箱。主要就依靠 MATLAB 自带的 Java 支持能力。拿到压缩包后解压出来你会看到这些文件matlab_simulate_input/ ├── mouseClick.m % 鼠标单击支持左/中/右 ├── mouseDoubleClick.m % 鼠标双击 ├── mouseMoveSmooth.m % 平滑移动鼠标 ├── keyPress.m % 模拟按键单键 ├── keyCombination.m % 模拟组合键CtrlC 等 ├── typeString.m % 模拟连续输入字符串 ├── getMousePosition.m % 获取当前鼠标位置 ├── coordinateConvert.m % 坐标转换 └── demo_script.m % 一键运行的演示脚本每个文件都遵循一个原则输入参数含义明确、错误提示友好。我写程序有个习惯所有函数入口都会有输入检查防止你传错类型时 MATLAB 报一长串看不懂的英文。比如mouseClick会检查坐标是否为正数、按键类型是否为合法值。3.2 核心代码逐行解读实现自动化搜索框输入现在结合一个实际场景走一遍完整流程打开记事本自动输入一段文字然后模拟 CtrlS 保存。% Step 1: 启动记事本 system(notepad.exe); java.lang.Thread.sleep(1000); % 等待窗口加载 % Step 2: 等待 1 秒后直接输入字符串 typeString(Hello from MATLAB!); java.lang.Thread.sleep(500); % Step 3: 模拟 CtrlS 打开保存对话框 keyCombination({ctrl, s}); java.lang.Thread.sleep(1000); % Step 4: 输入文件名并回车 typeString(auto_save_test); keyPress(enter);这里的关键点有两个。第一个是system(notepad.exe)它会启动记事本窗口。java.lang.Thread.sleep(1000)用来给系统一点时间加载窗口。这个延迟不能省我最初觉得系统启动很快写了个 100 毫秒延迟结果后面的输入字符有一半丢了因为记事本还没完全拿到输入焦点。第二个是typeString函数。它的实现思路是遍历字符串的每个字符然后根据字符映射到对应键码逐一按下松开。这里要注意大小写字母的输入方式不一样。如果是小写直接按对应字母键即可如果是大写需要先按 Shift 再按字母键。数字和标点符号同理部分符号在键盘上是上档键比如!是1的上档键需要模拟 Shift数字键。function typeString(str) robot java.awt.Robot; for i 1:length(str) ch str(i); if isstrprop(ch, upper) % 大写字母需要 Shift 字母 shiftKey java.awt.event.KeyEvent.VK_SHIFT; vk getVkCode(upper(ch)); robot.keyPress(shiftKey); robot.keyPress(vk); robot.keyRelease(vk); robot.keyRelease(shiftKey); else vk getVkCode(ch); robot.keyPress(vk); robot.keyRelease(vk); end java.lang.Thread.sleep(20); % 字符间延迟 end endgetVkCode是内部辅助函数把字符映射到 Java KeyEvent 的键码。MATLAB 的字符处理能力和 Java 配合使用相当顺畅这就是我推荐这套方案的重要原因。3.3 鼠标自动化实现双击和右键菜单操作鼠标部分的实操我设计了一个常见场景双击桌面上的某个快捷方式然后右键空白区域刷新。% 双击坐标 (800, 600) mouseDoubleClick(800, 600); java.lang.Thread.sleep(500); % 平滑移动到另一个位置 mouseMoveSmooth(800, 300, 20); % 分 20 步移动 java.lang.Thread.sleep(200); % 右键点击弹出菜单 mouseClick(800, 300, right);这里的有效负载就在mouseDoubleClick。实现双击要注意一个细节两次点击的间隔不能太长也不能太短。Windows 系统默认双击速度是 500 毫秒左右两次点击间隔太长会被识别成两次独立的单击太短又可能被过滤掉。我测试后确定 100 毫秒是个比较稳的数值。function mouseDoubleClick(x, y) robot java.awt.Robot; % 第一次点击 robot.mouseMove(x, y); robot.mousePress(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); robot.mouseRelease(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); java.lang.Thread.sleep(100); % 双击间隔实测 100ms 表现稳定 % 第二次点击 robot.mousePress(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); robot.mouseRelease(java.awt.event.InputEvent.BUTTON1_DOWN_MASK); end3.4 延时控制的几个关键技巧自动化脚本里延时控制直接决定脚本的稳定性。我在源码里统一封装了一个waitMs函数就是简单调用java.lang.Thread.sleep但加上了毫秒级别的容错。具体到实操我的经验是启动外部程序后最少等 500 毫秒。比如system(notepad.exe)后等待太短会导致窗口没准备好输入丢失。点击后等待 100~200 毫秒给目标程序反应时间尤其是打开菜单、弹出对话框这类操作。长操作比如文件保存、页面加载要用轮询状态的方式而不是固定等待。编程经验丰富的朋友可能用过waitfor但在模拟键鼠场景中固定等待加适当余量已经足够简单可靠。4. 工具选型与性能对比心得4.1 为什么不用 Python 的 pyautogui 或 pynput经常有人问既然 Python 有现成的 pyautogui为什么还要用 MATLAB 来做实际选型得看使用场景。如果你的项目主体就是 MATLAB比如你在跑 Simulink 仿真、做图像处理、处理实验数据这些数据本身就在 MATLAB 工作空间里模拟键鼠操作只是整个流程的一部分。这时候用 MATLAB 直接模拟可以避免数据在不同语言间传来传去的烦恼。举个例子我处理过一批实验数据需要自动在某个第三方软件里打开 200 个文件、点击“导出数据”、保存结果。如果用 Python得先用scipy.io.loadmat读 MATLAB 的.mat文件处理完再回传。但如果直接用 MATLAB 脚本做自动化数据读取、分析、键鼠模拟、结果保存全在一个环境里完成代码量减少一半以上排查问题也方便。4.2 Windows API 调用什么时候绕不开前面提过Java Robot 类在绝大多数场景都能搞定但有一个场景它处理不了模拟硬件级按键扫描码。某些专业软件会检测输入来源如果它发现按键事件不是来自物理键盘通过驱动级别校验可能会拒绝响应。虽然这种场景非常少见但万一遇到了就得使用 Windows API。源码里也贴出一段基于loadlibrary调用 user32.dll 的示例代码不过在实际使用前需要准备一个 C 语言头文件来声明函数签名。我建议先把这个方案作为后备日常用 Java Robot 就好不要一上来就往底层写。毕竟我们的目标是快速解决问题不是每个程序都得做成驱动级工具。4.3 与 AutoIt、按键精灵等现成工具横向比较这几种方案我全都用过简单说说差异性方案学习成本环境依赖可定制性适合场景MATLAB 模拟本方案低会 MATLAB 就行只需 MATLAB高可和数据处理无缝结合科研自动化、仿真联动、批处理Python pyautogui低需安装 Python 和库中独立脚本、跨平台AutoIt中需要装 AutoIt 解释器高脚本语言Windows 重度自动化按键精灵低需要装软件低主要是录制回放游戏辅助、简单重复操作如果你的核心工具链是 MATLAB那么用 MATLAB 做键鼠模拟是最优解因为省去了跨语言通信的成本。如果你只是单纯想写个一次性脚本那 Python 可能更轻量。工具没有绝对好坏只有贴合不贴合场景。5. 常见问题与排查技巧实录5.1 模拟的按键没有被目标程序响应这个问题出现频率最高。我在使用中总结出三个排查方向目标窗口没有获得焦点。用 MATLAB 模拟键鼠时系统只会把输入发送到当前前台窗口。如果你的脚本用system启动了记事本但记事本没有弹到最前面按键就会发到别的窗口。解决办法是在向窗口发送内容前先强制激活窗口。在 Windows 上这句命令能帮上忙% 通过 System.Diagnostics.Process 获取进程并激活或者直接调用 AppActivate system(powershell -command (New-Object -ComObject WScript.Shell).AppActivate(记事本));键码映射错了。比如你按下 Caps Lock 时输入的是小写映射表或者某个符号如的映射没做对输出就会是另一个字符。排查办法很简单在模拟按键后用剪贴板把目标软件里的文本复制出来对比一下实际输出。窗口管理器拦截了输入。某些以管理员身份运行的程序会拒绝普通进程发送的模拟输入。如果发现前面的方法都不管用可以试着把 MATLAB 也以管理员身份运行。5.2 鼠标点击位置偏差坐标偏差的核心原因是不同坐标系的原点定义不同。Windows 窗口坐标原生以左上角为原点而 MATLAB 的PointerLocation返回的屏幕坐标是以左下角为原点。这里需要做一个转换function javaY matlabYToJavaY(matlabY) screenHeight get(0, ScreenSize); % 注意第 4 个元素是高度 javaY screenHeight(4) - matlabY; end比如你在 MATLAB 里读到的鼠标位置是 (100, 500)ScreenSize是[1, 1, 1920, 1080]那么在 Java Robot 里实际要移动的 y 坐标就是1080 - 500 580。5.3 DPI 缩放导致点击偏移很多使用高分屏的朋友会遇到鼠标在屏幕上显示的位置和 Java Robot 移动的位置不一致而且越靠近屏幕右下角偏差越大。这是因为 Windows 的 DPI 缩放比如 150%、200%会改变逻辑像素和物理像素的比例而 Java Robot 的坐标默认使用物理像素。解决办法有两种。一是修改 MATLAB 进程的 DPI 感知设置在调用 Robot 之前执行% 尝试关闭 MATLAB 的 DPI 缩放让 Java 层使用原生分辨率 system(reg add HKCU\Control Panel\Desktop\WindowMetrics /v AppliedDPI /t REG_DWORD /d 96 /f);但这需要注销或重启才能生效。二是直接根据当前 DPI 缩放比例计算偏移我实测下来后者的可操作性更强代码如下% 获取当前系统的 DPI 缩放 dpiScale java.awt.Toolkit.getDefaultToolkit().getScreenResolution() / 96; % 实际移动坐标 目标坐标 * dpiScale robot.mouseMove(round(500 * dpiScale), round(400 * dpiScale));5.4 脚本运行速度太慢的优化建议单次等待 50 毫秒看起来不多但如果你的脚本要循环 1000 次累计就是 50 秒的纯等待。优化思路很直接在稳定和速度之间找平衡。如果你只是模拟普通的按键输入字符间延迟可以降低到 10~15 毫秒实测大多数软件都能正常接收。如果是鼠标的一系列点击每个操作之间的等待可以降到 50 毫秒以下但保证前后动作的逻辑关联性比如双击仍然需要至少 50 毫秒的间隔。如果涉及窗口切换、弹出菜单等异步操作等待时间不能省。这时候固定短延时的风险很大改动不如用轮询判断每隔 50 毫秒检查一次目标状态直到满足条件再继续。5.5 源码压缩包的使用注意事项最后说说压缩包本身的使用。解压后不要直接把文件放到中文路径下虽然大多数操作没问题但部分字符映射函数对中文路径的处理比较脆弱容易出幺蛾子。我建议所有源码放在纯英文路径下运行比如D:\matlab_simulate。运行演示脚本demo_script.m前先确认你当前没有打开其他重要窗口因为演示脚本会真实地控制鼠标键盘移动如果这时候你正在码字或者做别的操作会被“抢走鼠标”打断。另外源码是基于 Windows 平台的。虽然 Java Robot 本身在 macOS 和 Linux 上也能用但坐标系统、窗口激活方式、快捷键可能不同需要另外适配。写在最后一个很实用的拓展想法把键鼠模拟和 MATLAB 的数据处理能力结合起来能做的事情远超想象。比如你可以写一个简单的图片识别循环截屏后用图像处理工具箱分析屏幕上的某个按钮位置再让鼠标自动移动过去点击。这基本上就是一个简化版的“机器视觉自动操作脚本”了。我用这个思路做过一个批量处理表格的小工具效果相当不错。如果你拿到的源码里有些函数不太符合你的使用习惯建议优先修改映射表和延迟参数这两个地方最影响使用体验。折腾出适合自己的一套配置后你会发现自己做自动化测试或者批处理的效率提升了不止一个档次。本文还有配套的精品资源点击获取