1. 项目概述与核心价值在机器人或智能交互装置的设计中让机械结构“看”到并“跟随”人的动作一直是一个既有趣又充满挑战的方向。你可能见过那些能跟着人脸转动的摄像头云台或者会“转头”的机器人玩具其核心无非是“感知-决策-执行”这一经典控制闭环。今天我想分享一个我近期完成的实践项目如何利用手边常见的ESP32开发板和OpenCV计算机视觉库驱动串行总线舵机实现一个能够实时追踪人脸姿态的简易机器人头部系统。这个项目的核心价值在于它完整地串联了从视觉感知到物理执行的全链路。我们不再仅仅是在屏幕上画出一个检测框而是让检测到的数据比如人脸的偏转角度真正转化为舵机的转动角度从而驱动实体机构运动。这中间涉及到串行舵机的通信协议解析、微控制器ESP32的串口编程、以及PC端Python与嵌入式端的实时数据交互。对于想要入门嵌入式视觉控制、机器人运动学或者单纯想做一个酷炫互动装置的朋友来说这是一个绝佳的练手项目。它所需的硬件成本不高但涵盖的知识点却相当全面。2. 系统架构与核心组件选型解析2.1 整体工作流程设计在动手写代码和接线之前理清整个系统的工作流至关重要。这能帮助我们在遇到问题时快速定位是哪个环节出了岔子。本项目的核心流程可以概括为以下几步视觉感知层PC端使用PC的摄像头通过OpenCV捕获实时视频流。然后利用MediaPipe库的人脸网格Face Mesh模型从视频帧中检测并提取人脸的关键点坐标。姿态解算层PC端基于提取到的人脸关键点例如鼻尖、左右眼角、嘴角等通过几何计算估算出人脸相对于摄像头的姿态角主要是偏航角Yaw左右转头和翻滚角Roll左右倾斜。俯仰角Pitch点头在本项目中暂不处理但原理相通。数据通信层PC端的Python程序将计算出的Yaw和Roll角度值通过USB串口发送给ESP32微控制器。这里需要约定一个简单、抗干扰的通信协议。指令解析与转发层ESP32端ESP32接收到来自PC的指令后对其进行解析得到目标角度。然后ESP32按照串行舵机如STS系列的通信协议重新组包通过其硬件串口Serial1发送给舵机驱动器。执行层舵机系统串行舵机驱动器收到指令根据指令中包含的舵机ID驱动对应的舵机旋转到指定角度从而带动机械结构运动完成追踪。整个系统的数据流向是单向且实时的视频流 - 人脸关键点 - 姿态角 - 串口指令 - 舵机脉冲。任何一个环节的延迟或错误都会导致最终动作卡顿或不准确。2.2 关键硬件组件深度剖析1. 主控单元为什么是ESP32ESP32在本项目中扮演着“桥梁”和“协议转换器”的角色。选择它主要基于以下几点考量双硬件串口这是最关键的一点。ESP32通常至少有两个硬件UARTUniversal Asynchronous Receiver/Transmitter通用异步收发传输器。我们需要一个UART比如Serial用于与PC通信接收角度指令另一个UARTSerial1则专门用于以较高的波特率如1Mbps与串行舵机通信。硬件串口由芯片内部硬件处理数据收发不占用CPU核心资源稳定性和效率远高于软件模拟串口。强大的处理能力与丰富外设虽然本项目中的ESP32只做协议转发但其双核处理器和充足的内存为未来功能扩展如在ESP32上直接运行轻量级人脸检测模型留下了空间。Wi-Fi/蓝牙功能在本项目中虽未使用但也为无线控制或OTA升级提供了可能。完善的社区与库支持针对STS等串行舵机已有成熟的Arduino库如SCServo可供使用大大降低了开发难度。注意务必确认你使用的ESP32开发板的引脚定义。不同型号如ESP32-WROOM, ESP32-S3的默认串口引脚可能不同。项目中使用的GPIO16RX2、GPIO17TX2是许多通用ESP32开发板上的“Serial1”引脚。2. 执行单元串行舵机 vs. 普通PWM舵机这是本项目的另一个核心。传统机器人项目中使用多个舵机时每个舵机都需要单独的信号线PWM、电源线和地线布线会非常混乱且需要主控提供多个PWM输出引脚。串行舵机如STS-3215所有舵机共用一条总线仅需信号线、电源线、地线各一。每个舵机有唯一ID。主控发送的数据包中包含目标ID和指令只有ID匹配的舵机才会响应。这极大地简化了布线特别适合多自由度如6轴机械臂的应用。通信协议它们通常采用半双工异步串行通信数据包包含帧头、ID、指令、参数、校验和等部分。常用的波特率是1Mbps以实现快速响应。SCServo库帮我们封装了这些底层数据包的构建和解析。3. 视觉处理单元PC与OpenCV在PC端处理视觉任务可以充分利用PC强大的计算资源运行MediaPipe这类相对复杂的模型保证检测的实时性和准确性。选择Python是因为其拥有极其丰富的计算机视觉和串口通信库OpenCV, MediaPipe, PySerial能让我们快速搭建原型。3. 硬件连接与舵机ID配置实操3.1 电路连接详解与避坑指南正确的硬件连接是项目成功的基石。请按照以下步骤和示意图进行连接并特别注意电源问题。连接清单ESP32开发板 x1串行舵机驱动器或直接是串行舵机 x1串行舵机 x2本例中控制两个自由度USB数据线 x1用于ESP32供电及通信外部5V/2A以上电源 x1强烈推荐用于舵机供电杜邦线若干接线步骤ESP32与舵机驱动器连接驱动器TX-ESP32的GPIO16 (RX2)。这意味着驱动器的发送端连接到ESP32的接收端。驱动器RX-ESP32的GPIO17 (TX2)。驱动器的接收端连接到ESP32的发送端。驱动器VCC-ESP32的3.3V或5V引脚。此处仅用于给驱动器的逻辑电路供电。重要请查阅你的驱动器手册确认其逻辑电平是3.3V还是5V兼容。大多数现代驱动器支持3.3V直接接ESP32的3.3V引脚更安全。驱动器GND-ESP32的GND。务必共地这是信号正常通信的基础。电源连接关键舵机电源独立供电将外部5V电源的正极连接到舵机驱动器的电机电源输入端子常标为V或VM负极-连接到驱动器的GND。同时确保此外部电源的GND与ESP32的GND通过杜邦线连接在一起共地。为什么必须独立供电舵机在启动和堵转时瞬间电流很大可达1A-2A甚至更高。如果使用ESP32的USB口通常最大提供500mA为其供电极易导致ESP32复位、电脑USB口保护甚至损坏。使用独立电源能保证系统稳定。舵机连接将两个舵机的接口线三线信号、电源、地依次连接到驱动器的舵机输出端口1和2。连接检查表项目检查点预期结果/备注电源ESP32通过USB连接电脑后电源指示灯是否亮起是电源外部5V电源是否已正确接入驱动器电机电源端子是极性正确共地外部电源GND与ESP32 GND是否已用杜邦线连接是必须连接信号线TX2-RX, RX2-TX 是否交叉连接是TX接RXRX接TX波特率后续代码中ESP32与驱动器的串口波特率是否一致默认应为1000000 (1Mbps)3.2 串行舵机ID配置实战新购买的串行舵机其ID默认通常都是1。如果总线上有多个舵机且ID相同当你发送指令时所有舵机会同时响应同一个指令这显然不是我们想要的。因此在组装系统前需要为每个舵机分配唯一的ID。操作原理通过发送特定的指令包修改舵机内部EEPROM中存储的ID值。这个过程需要逐个进行确保同一时间总线上只有一个舵机处于“可写”状态。实操步骤使用Arduino IDE与SCServo库物理连接先将第一个待修改ID的舵机单独连接到驱动器上。确保硬件连接正确ESP32通过USB连接电脑。准备代码在Arduino IDE中安装SCServo库可通过库管理器搜索安装。然后上传以下代码到ESP32。这段代码的功能是将一个ID为1的舵机修改为ID 2。#include SCServo.h SMS_STS st; // 创建一个舵机控制对象 // 重要在物理连接上确保总线上只有一个舵机 int originalID 1; // 舵机当前的ID默认通常是1 int newID 2; // 你想要设置的新ID void setup() { // 初始化与舵机通信的串口波特率1M使用GPIO16(RX), GPIO17(TX) Serial1.begin(1000000, SERIAL_8N1, 16, 17); st.pSerial Serial1; // 将舵机控制对象绑定到Serial1 delay(2000); // 等待串口稳定 // 解锁舵机的EEPROM保护允许写入 st.unLockEprom(originalID); delay(100); // 短暂延时 // 写入新的ID值。SMS_STS_ID是寄存器地址代表ID存储位置 st.writeByte(originalID, SMS_STS_ID, newID); delay(100); // 等待写入完成 // 重新锁定EEPROM防止误修改 st.LockEprom(newID); Serial.begin(115200); // 初始化用于调试输出的串口 Serial.println(Servo ID changed successfully!); } void loop() { // 空循环任务在setup中一次性完成 }执行与验证上传代码后打开Arduino IDE的串口监视器波特率115200你应该能看到“Servo ID changed successfully!”的提示。此时这个舵机的新ID已经是2了。断开它的电源。将第二个舵机ID仍为1单独接上将代码中的newID改为3再次上传并执行。以此类推为所有舵机分配好唯一ID例如我们让水平转动的舵机为ID 2垂直俯仰的舵机为ID 1。实操心得修改ID时务必确保总线上一次只连接一个舵机。否则你发送给ID 1的修改指令会被所有ID为1的舵机接收并执行导致多个舵机被改成同一个新ID又混在一起了。这是新手最容易踩的坑。修改完成后最好写个简单的扫读程序读取每个舵机的ID和位置进行确认。4. 嵌入式端固件开发ESP32指令解析与转发4.1 固件代码逐行解析完成硬件连接和舵机ID配置后我们需要让ESP32“听懂”PC发来的指令并“指挥”舵机行动。以下是完整的ESP32端Arduino代码及详细解析。#include SCServo.h // 引入串行舵机控制库 SMS_STS st; // 实例化一个舵机控制对象 // 定义与舵机驱动器通信的引脚 #define SERVO_RX_PIN 16 // ESP32的RX2接驱动器TX #define SERVO_TX_PIN 17 // ESP32的TX2接驱动器RX // 定义我们两个舵机的ID根据你实际配置修改 #define SERVO_YAW_ID 2 // 控制左右转动的舵机偏航Yaw #define SERVO_ROLL_ID 1 // 控制左右倾斜的舵机翻滚Roll // 舵机角度范围限制根据你的舵机实际机械结构和安装方式调整 #define YAW_MIN_ANGLE 0 // 左转极限 #define YAW_MAX_ANGLE 1000 // 右转极限 (STS舵机位置范围常为0-1000) #define ROLL_MIN_ANGLE 500 // 左倾极限 (设为中间值附近防止机械干涉) #define ROLL_MAX_ANGLE 1500 // 右倾极限 // 全局变量存储当前舵机位置用于平滑控制 int currentYawPos 500; // 初始位置居中 int currentRollPos 1000; void setup() { // 1. 初始化与PC通信的串口波特率115200 Serial.begin(115200); // 2. 初始化与舵机驱动器通信的串口波特率1Mbps // SERIAL_8N1表示8位数据位无校验1位停止位这是最常用的设置 Serial1.begin(1000000, SERIAL_8N1, SERVO_RX_PIN, SERVO_TX_PIN); st.pSerial Serial1; // 将舵机库绑定到Serial1硬件串口 delay(1000); // 等待串口稳定舵机上电初始化 Serial.println(ESP32 Servo Controller Ready.); Serial.println(Waiting for angle data from PC...); Serial.println(Format: Y:xxx,R:xxx\\n); // 提示PC端数据格式 } void loop() { // 核心任务检查是否有来自PC的数据并处理 if (Serial.available() 0) { String receivedData Serial.readStringUntil(\n); // 读取直到换行符 receivedData.trim(); // 去除首尾空白字符 // 解析数据期望格式Y:123,R:456 int yawAngle -1, rollAngle -1; // 初始化为无效值 int yawIndex receivedData.indexOf(Y:); int rollIndex receivedData.indexOf(R:); if (yawIndex ! -1 rollIndex ! -1) { // 提取Yaw角度值字符串并转换为整数 String yawStr receivedData.substring(yawIndex 2, rollIndex); yawStr.trim(); yawAngle yawStr.toInt(); // 提取Roll角度值字符串并转换为整数 String rollStr receivedData.substring(rollIndex 2); rollStr.trim(); rollAngle rollStr.toInt(); // 角度映射与限制保护 // PC端发送的通常是-90到90度的浮点数需要映射到舵机的位置值如0-1000 // 同时进行限幅防止超出机械范围 if (yawAngle ! -1) { // 假设PC端发送的yawAngle范围是[-90, 90]映射到[YAW_MIN_ANGLE, YAW_MAX_ANGLE] int targetYaw map(yawAngle, -90, 90, YAW_MIN_ANGLE, YAW_MAX_ANGLE); targetYaw constrain(targetYaw, YAW_MIN_ANGLE, YAW_MAX_ANGLE); // 简单滤波避免微小抖动。只有当角度变化超过阈值时才更新 if (abs(targetYaw - currentYawPos) 5) { st.WritePos(SERVO_YAW_ID, targetYaw, 0); // 写入目标位置时间0表示最快速度 currentYawPos targetYaw; } } if (rollAngle ! -1) { // 假设PC端发送的rollAngle范围是[-30, 30]映射到[ROLL_MIN_ANGLE, ROLL_MAX_ANGLE] int targetRoll map(rollAngle, -30, 30, ROLL_MIN_ANGLE, ROLL_MAX_ANGLE); targetRoll constrain(targetRoll, ROLL_MIN_ANGLE, ROLL_MAX_ANGLE); if (abs(targetRoll - currentRollPos) 5) { st.WritePos(SERVO_ROLL_ID, targetRoll, 0); currentRollPos targetRoll; } } // 可选向PC回传当前执行的位置用于调试 // Serial.printf(Set: Yaw%d, Roll%d\\n, currentYawPos, currentRollPos); } else { // 收到格式错误的数据 Serial.println(Error: Invalid data format.); } } // 短暂延时避免loop循环过快占用过多资源 delay(10); }代码关键点解析双串口分工Serial波特率115200用于与PC进行“人机对话”接收指令和打印日志。Serial1波特率1000000则专门以高速与舵机驱动器进行“机器对话”确保控制指令的实时性。数据协议设计我们定义了一个简单的文本协议Y:123,R:456\\n。用字母标识数据类型Y代表YawR代表Roll冒号分隔逗号分隔不同数据换行符\\n作为帧结束标志。这种格式易于在Python端拼接也便于在ESP端用indexOf和substring函数解析比纯二进制协议更易调试。角度映射Map与限制Constrain这是将视觉坐标系映射到物理运动的关键。PC计算出的角度单位是度需要线性映射到舵机内部的位置值如0-1000对应0-240度。map()函数完成线性映射constrain()函数确保映射后的值不会超出我们预设的安全范围保护舵机不被卡死。软件滤波if (abs(targetYaw - currentYawPos) 5)这行代码实现了一个简单的死区滤波。因为人脸检测数据会有微小抖动如果每帧都让舵机微动会导致电机嗡嗡作响且发热。只有角度变化超过5个位置单位可根据实际情况调整时才发送新指令使运动更平滑稳定。4.2 固件烧录与基础测试用USB线将ESP32连接至电脑。在Arduino IDE中选择正确的开发板型号如ESP32 Dev Module和端口。将上述代码粘贴到IDE中根据你的实际舵机ID和角度范围修改#define的宏定义。点击上传。上传成功后打开串口监视器波特率115200你会看到“ESP32 Servo Controller Ready...”的提示。基础测试在串口监视器的发送框中手动输入Y:30,R:15然后点击发送。你应该能听到对应的舵机转动到相应位置。输入Y:-30,R:-15测试反向运动。这验证了ESP32的指令解析和舵机驱动功能是正常的为后续的视觉联动打下了基础。5. PC端视觉处理与通信程序实现5.1 环境搭建与依赖库安装PC端的程序使用Python编写核心依赖四个库。请确保你的Python环境建议使用Python 3.8或以上版本已安装好这些库。打开命令行CMD、PowerShell或终端逐条执行以下安装命令# 安装OpenCV用于摄像头捕获和图像显示 pip install opencv-python # 安装MediaPipeGoogle出品的人脸关键点检测模型轻量且准确 pip install mediapipe # 安装NumPy用于数值计算MediaPipe返回的数据就是NumPy数组 pip install numpy # 安装PySerial用于通过串口与ESP32通信 pip install pyserial安装过程中如果遇到速度慢的问题可以在命令后加上-i https://pypi.tuna.tsinghua.edu.cn/simple使用国内镜像源加速。5.2 人脸姿态角计算原理MediaPipe的Face Mesh模型会返回468个人脸3D关键点的坐标x, y, z其中z是深度信息。我们需要利用这些点来计算头部的欧拉角Yaw, Pitch, Roll。一个经典且稳定的方法是利用3D点到2D投影的PnPPerspective-n-Point问题求解。简单来说我们定义一个人脸的“3D模型”这个模型是标准人脸在“正对摄像头、无旋转”状态下的关键点3D坐标这是一个预定义的、平均的人脸模型。我们从当前图像中检测到的2D关键点是上述3D模型经过旋转和平移后投影到2D图像平面上的结果。PnP算法就是根据多组2D点 3D模型点的对应关系反解出这个旋转和平移矩阵。从旋转矩阵中可以分解出我们需要的Yaw、Pitch、Roll角度。在代码中我们选取了几个具有代表性的、相对稳定的面部特征点如鼻尖、眼角、嘴角来构建这个对应关系。计算出的角度值就是人脸相对于摄像头的旋转角度。5.3 完整Python代码实现与注释以下是整合了人脸检测、姿态解算和串口通信的完整Python脚本。请仔细阅读注释。import cv2 import mediapipe as mp import numpy as np import serial import time # 1. 串口初始化 # 非常重要需要根据你的实际情况修改串口号 # Windows: 通常是 COM3, COM4 等在设备管理器中查看端口 # Linux/macOS: 通常是 /dev/ttyUSB0, /dev/ttyACM0 等 SERIAL_PORT COM5 # 请修改为你的ESP32连接的端口 BAUD_RATE 115200 try: ser serial.Serial(SERIAL_PORT, BAUD_RATE, timeout1) time.sleep(2) # 等待串口稳定ESP32重启 print(f成功连接到串口 {SERIAL_PORT}) except serial.SerialException as e: print(f无法打开串口 {SERIAL_PORT}: {e}) print(请检查端口号是否正确或ESP32是否已连接。) exit(1) # 2. MediaPipe初始化 mp_face_mesh mp.solutions.face_mesh mp_drawing mp.solutions.drawing_utils # 定义绘制关键点和连接线的样式 drawing_spec mp_drawing.DrawingSpec(thickness1, circle_radius1, color(0, 255, 0)) # 创建Face Mesh模型实例 # min_detection_confidence: 人脸检测置信度阈值高于此值才认为检测到人脸 # min_tracking_confidence: 跟踪置信度阈值高于此值才对上一帧的人脸进行跟踪 # 跟踪模式比每帧重新检测更高效适合视频流。 with mp_face_mesh.FaceMesh( static_image_modeFalse, # 设为False用于视频流 max_num_faces1, # 只检测一张脸 refine_landmarksTrue, # 使用更精细的眼部和嘴唇关键点 min_detection_confidence0.5, min_tracking_confidence0.5) as face_mesh: # 3. 摄像头初始化 cap cv2.VideoCapture(0) # 0代表默认摄像头 if not cap.isOpened(): print(无法打开摄像头) ser.close() exit(1) # 设置摄像头分辨率较高的分辨率有助于提高检测精度 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) # 4. 3D人脸模型参考点预定义 # 这些是标准人脸模型的3D坐标单位任意比例正确即可 # 我们选取了鼻尖、左右眼角、左右嘴角等关键点 # 索引对应MediaPipe Face Mesh的468个点中的特定索引 model_points np.array([ (0.0, 0.0, 0.0), # 鼻尖 [1] (-30.0, -30.0, -50.0), # 左眼外角 [33] (30.0, -30.0, -50.0), # 右眼外角 [263] (-50.0, 40.0, -30.0), # 左嘴角 [61] (50.0, 40.0, -30.0), # 右嘴角 [291] (-30.0, 70.0, -40.0), # 左脸下颌角 [199] (30.0, 70.0, -40.0) # 右脸下颌角 [425] ], dtypenp.float64) # 对应的2D图像点索引在MediaPipe的468个点中的索引 # 注意MediaPipe的索引可能与早期版本不同这里是refine_landmarksTrue时的索引 index_2d [1, 33, 263, 61, 291, 199, 425] # 相机内参矩阵假设—— 这是一个简化处理 # 对于普通USB摄像头这是一个合理的近似。更精确的做法是进行相机标定。 focal_length cap.get(cv2.CAP_PROP_FRAME_WIDTH) # 以像素为单位近似取图像宽度 center (cap.get(cv2.CAP_PROP_FRAME_WIDTH) / 2, cap.get(cv2.CAP_PROP_FRAME_HEIGHT) / 2) camera_matrix np.array([ [focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1] ], dtypenp.float64) # 假设没有镜头畸变 dist_coeffs np.zeros((4, 1)) print(开始人脸追踪按 q 键退出...) while cap.isOpened(): success, image cap.read() if not success: print(无法从摄像头读取帧。) break # 为了提升性能可以不对每帧都处理但这里为了实时性每帧都处理 # 将BGR图像转换为RGB因为MediaPipe需要RGB格式 image_rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 可选水平翻转图像使移动方向更直观像镜子一样 # image_rgb cv2.flip(image_rgb, 1) image_rgb.flags.writeable False # 禁止写入以提高性能 # 5. 人脸关键点检测 results face_mesh.process(image_rgb) image_rgb.flags.writeable True image cv2.cvtColor(image_rgb, cv2.COLOR_RGB2BGR) # 转回BGR用于OpenCV显示 yaw_angle, roll_angle 0, 0 # 初始化角度值 if results.multi_face_landmarks: for face_landmarks in results.multi_face_landmarks: # 绘制人脸网格可选可视化用 mp_drawing.draw_landmarks( imageimage, landmark_listface_landmarks, connectionsmp_face_mesh.FACEMESH_CONTOURS, landmark_drawing_specdrawing_spec, connection_drawing_specdrawing_spec) # 6. 姿态角解算 # 提取我们需要的2D图像点坐标 image_points [] height, width, _ image.shape for idx in index_2d: landmark face_landmarks.landmark[idx] # 将归一化坐标转换为像素坐标 x_px int(landmark.x * width) y_px int(landmark.y * height) image_points.append([x_px, y_px]) image_points np.array(image_points, dtypenp.float64) # 使用solvePnP求解旋转和平移向量 # 参数3D模型点2D图像点相机内参畸变系数 success, rotation_vec, translation_vec cv2.solvePnP( model_points, image_points, camera_matrix, dist_coeffs, flagscv2.SOLVEPNP_ITERATIVE) if success: # 将旋转向量转换为旋转矩阵 rotation_mat, _ cv2.Rodrigues(rotation_vec) # 从旋转矩阵中提取欧拉角Yaw, Pitch, Roll # 注意OpenCV的坐标系与常规的航空坐标系Z朝前Y朝下X朝右不同 # 这里进行适当的轴转换以获得直观的角度 sy np.sqrt(rotation_mat[0, 0] ** 2 rotation_mat[1, 0] ** 2) singular sy 1e-6 if not singular: x_angle np.arctan2(rotation_mat[2, 1], rotation_mat[2, 2]) # Roll y_angle np.arctan2(-rotation_mat[2, 0], sy) # Pitch z_angle np.arctan2(rotation_mat[1, 0], rotation_mat[0, 0]) # Yaw else: x_angle np.arctan2(-rotation_mat[1, 2], rotation_mat[1, 1]) y_angle np.arctan2(-rotation_mat[2, 0], sy) z_angle 0 # 将弧度转换为角度 yaw_angle np.degrees(z_angle) # 左右转头 pitch_angle np.degrees(y_angle) # 上下点头 roll_angle np.degrees(x_angle) # 左右倾斜 # 7. 角度滤波与限制 # 1. 限制角度范围避免极端值 yaw_angle np.clip(yaw_angle, -90, 90) roll_angle np.clip(roll_angle, -30, 30) # Roll通常范围较小 # 2. 简单低通滤波减少抖动 (可选) # 这里为了简化直接使用当前值。你可以引入一个滤波队列让运动更平滑。 # filtered_yaw 0.7 * prev_yaw 0.3 * yaw_angle # 8. 通过串口发送角度数据 # 格式化字符串例如 Y:15,R:-5\n command fY:{int(yaw_angle)},R:{int(roll_angle)}\n try: ser.write(command.encode(utf-8)) except Exception as e: print(f串口发送失败: {e}) # 9. 在图像上显示角度信息 cv2.putText(image, fYaw: {int(yaw_angle)} deg, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2) cv2.putText(image, fRoll: {int(roll_angle)} deg, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2) cv2.putText(image, fPitch: {int(pitch_angle)} deg, (10, 90), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2) # 显示处理后的图像 cv2.imshow(Face Tracking for Servo Control, image) # 按q键退出循环 if cv2.waitKey(5) 0xFF ord(q): break # 10. 释放资源 cap.release() cv2.destroyAllWindows() ser.close() print(程序结束资源已释放。)6. 系统联调、优化与常见问题排查6.1 完整系统联调步骤当PC端和ESP32端的代码都准备就绪后按照以下步骤进行最终的系统联调硬件复查确保所有连接牢固特别是串口线和电源线。舵机电源务必独立且功率足够建议5V/2A以上。上电顺序先给舵机的外部电源上电再通过USB给ESP32上电。这个顺序可以避免舵机在MCU未初始化时产生误动作。启动ESP32固件打开Arduino串口监视器确认看到“ESP32 Servo Controller Ready...”的启动信息。运行Python脚本在命令行中导航到你的脚本目录运行python your_script_name.py。请务必在代码开头将SERIAL_PORT变量修改为你电脑上ESP32对应的实际串口号。观察与测试摄像头窗口应正常打开显示你的脸部画面并绘制出绿色的人脸网格。当你左右转头时屏幕上显示的Yaw角度值应在-90到90之间变化同时控制水平旋转的舵机ID 2应跟随转动。当你向左右倾斜头部时Roll角度值应在-30到30之间变化同时控制倾斜的舵机ID 1应跟随转动。如果运动方向相反可以在ESP32代码的map()函数中交换最小值和最大值或者在Python端对角度取反。6.2 性能优化与运动平滑处理初始版本可能运动有些抖动或延迟可以通过以下方法优化PC端滤波在Python代码中对计算出的yaw_angle和roll_angle进行低通滤波。最简单的方法是使用一阶滞后滤波filtered_angle alpha * previous_angle (1 - alpha) * current_angle其中alpha是一个介于0和1之间的平滑因子如0.8。这能有效抑制高频抖动。发送频率控制不需要每帧都发送指令。可以设置一个定时器例如每50毫秒发送一次最新角度避免串口拥堵和ESP32处理不过来。ESP端死区与平滑正如前面固件代码中做的设置一个位置死区如5个单位才运动。更进阶的做法可以在ESP32端实现梯形速度规划或S曲线规划让舵机的启停更柔和但这需要更复杂的算法。摄像头帧率与分辨率降低摄像头分辨率如320x240可以显著提升MediaPipe的处理速度从而提高系统整体响应频率。在cv2.VideoCapture后使用cap.set来调整。6.3 常见问题排查速查表在调试过程中你很可能遇到以下问题。请根据症状按表排查问题现象可能原因排查步骤与解决方案ESP32串口监视器无输出1. USB线或端口问题。2. 开发板选错或端口选错。3. 代码未上传成功。1. 换USB线或USB口试试。2. 在Arduino IDE中确认板子型号和端口号正确。3. 观察上传时ESP32板载LED是否快速闪烁上传后按一下板子的EN/RST复位键。Python脚本报错“无法打开串口”1. 串口号错误。2. 串口被其他程序占用如Arduino IDE的串口监视器。1. 检查设备管理器Win或ls /dev/tty*Mac/Linux确认正确端口。2.关闭Arduino IDE的串口监视器这是最常见的冲突原因。摄像头黑屏或打不开1. 摄像头被其他软件占用。2. 摄像头索引错误不是0。1. 关闭其他可能使用摄像头的软件微信、Zoom等。2. 尝试将cv2.VideoCapture(0)改为1或-1。人脸检测框不出现或闪烁1. 光线太暗或人脸角度太偏。2.min_detection_confidence阈值太高。1. 改善光照正对摄像头。2. 尝试降低min_detection_confidence和min_tracking_confidence至0.3。舵机不转动1. 电源问题功率不足或未共地。2. 舵机ID错误。3. 串口线接反TX/RX。4. 波特率不匹配。1.首要检查用万用表测量舵机电源端子电压是否稳定在5V以上并确认与ESP32共地。2. 用3.2节的ID读取程序确认舵机ID。3. 检查ESP32的TX2是否接驱动器RXRX2接驱动器TX。4. 确认ESP32代码中Serial1.begin(1000000,...)与舵机波特率一致。舵机乱转或抖动1. 电源干扰或功率不足。2. 数据发送过快舵机响应不过来。3. 机械结构卡死或负载过重。1. 为舵机电源并联一个470uF以上的电解电容滤波。2. 在Python和ESP32代码中增加滤波和发送间隔。3. 脱开舵机负载空载测试是否正常。运动方向相反角度映射关系弄反。修改ESP32代码中map()函数的后两个参数顺序例如从map(yawAngle, -90, 90, 0, 1000)改为map(yawAngle, -90, 90, 1000, 0)。运动范围太小或太大角度映射范围不匹配。调整ESP32代码中的YAW_MIN_ANGLE、YAW_MAX_ANGLE等宏定义或调整Python端发送的角度范围。延迟非常大1. PC性能不足视觉处理慢。2. 串口波特率过低或发送数据过于频繁。1. 降低摄像头分辨率关闭mp_drawing.draw_landmarks绘图以节省资源。2. 确保ESP32与PC的通信波特率为115200并控制Python发送指令的频率如每秒20次。这个项目从视觉感知到物理运动的完整链条涉及了嵌入式开发、串口通信、计算机视觉和机器人控制等多个领域的交叉知识。调试过程就是不断遇到问题、分析问题、解决问题的过程而这张排查表正是我从多次调试中总结出的经验。当你看到自己制作的机构随着你的脸庞转动而平稳跟随时那种软硬件联调成功的成就感是纯软件项目难以比拟的。希望这份详细的指南和踩坑记录能帮助你顺利搭建出自己的第一个人脸追踪机器人。
基于ESP32与OpenCV的人脸追踪机器人系统设计与实现
发布时间：2026/6/8 12:17:44
1. 项目概述与核心价值在机器人或智能交互装置的设计中让机械结构“看”到并“跟随”人的动作一直是一个既有趣又充满挑战的方向。你可能见过那些能跟着人脸转动的摄像头云台或者会“转头”的机器人玩具其核心无非是“感知-决策-执行”这一经典控制闭环。今天我想分享一个我近期完成的实践项目如何利用手边常见的ESP32开发板和OpenCV计算机视觉库驱动串行总线舵机实现一个能够实时追踪人脸姿态的简易机器人头部系统。这个项目的核心价值在于它完整地串联了从视觉感知到物理执行的全链路。我们不再仅仅是在屏幕上画出一个检测框而是让检测到的数据比如人脸的偏转角度真正转化为舵机的转动角度从而驱动实体机构运动。这中间涉及到串行舵机的通信协议解析、微控制器ESP32的串口编程、以及PC端Python与嵌入式端的实时数据交互。对于想要入门嵌入式视觉控制、机器人运动学或者单纯想做一个酷炫互动装置的朋友来说这是一个绝佳的练手项目。它所需的硬件成本不高但涵盖的知识点却相当全面。2. 系统架构与核心组件选型解析2.1 整体工作流程设计在动手写代码和接线之前理清整个系统的工作流至关重要。这能帮助我们在遇到问题时快速定位是哪个环节出了岔子。本项目的核心流程可以概括为以下几步视觉感知层PC端使用PC的摄像头通过OpenCV捕获实时视频流。然后利用MediaPipe库的人脸网格Face Mesh模型从视频帧中检测并提取人脸的关键点坐标。姿态解算层PC端基于提取到的人脸关键点例如鼻尖、左右眼角、嘴角等通过几何计算估算出人脸相对于摄像头的姿态角主要是偏航角Yaw左右转头和翻滚角Roll左右倾斜。俯仰角Pitch点头在本项目中暂不处理但原理相通。数据通信层PC端的Python程序将计算出的Yaw和Roll角度值通过USB串口发送给ESP32微控制器。这里需要约定一个简单、抗干扰的通信协议。指令解析与转发层ESP32端ESP32接收到来自PC的指令后对其进行解析得到目标角度。然后ESP32按照串行舵机如STS系列的通信协议重新组包通过其硬件串口Serial1发送给舵机驱动器。执行层舵机系统串行舵机驱动器收到指令根据指令中包含的舵机ID驱动对应的舵机旋转到指定角度从而带动机械结构运动完成追踪。整个系统的数据流向是单向且实时的视频流 - 人脸关键点 - 姿态角 - 串口指令 - 舵机脉冲。任何一个环节的延迟或错误都会导致最终动作卡顿或不准确。2.2 关键硬件组件深度剖析1. 主控单元为什么是ESP32ESP32在本项目中扮演着“桥梁”和“协议转换器”的角色。选择它主要基于以下几点考量双硬件串口这是最关键的一点。ESP32通常至少有两个硬件UARTUniversal Asynchronous Receiver/Transmitter通用异步收发传输器。我们需要一个UART比如Serial用于与PC通信接收角度指令另一个UARTSerial1则专门用于以较高的波特率如1Mbps与串行舵机通信。硬件串口由芯片内部硬件处理数据收发不占用CPU核心资源稳定性和效率远高于软件模拟串口。强大的处理能力与丰富外设虽然本项目中的ESP32只做协议转发但其双核处理器和充足的内存为未来功能扩展如在ESP32上直接运行轻量级人脸检测模型留下了空间。Wi-Fi/蓝牙功能在本项目中虽未使用但也为无线控制或OTA升级提供了可能。完善的社区与库支持针对STS等串行舵机已有成熟的Arduino库如SCServo可供使用大大降低了开发难度。注意务必确认你使用的ESP32开发板的引脚定义。不同型号如ESP32-WROOM, ESP32-S3的默认串口引脚可能不同。项目中使用的GPIO16RX2、GPIO17TX2是许多通用ESP32开发板上的“Serial1”引脚。2. 执行单元串行舵机 vs. 普通PWM舵机这是本项目的另一个核心。传统机器人项目中使用多个舵机时每个舵机都需要单独的信号线PWM、电源线和地线布线会非常混乱且需要主控提供多个PWM输出引脚。串行舵机如STS-3215所有舵机共用一条总线仅需信号线、电源线、地线各一。每个舵机有唯一ID。主控发送的数据包中包含目标ID和指令只有ID匹配的舵机才会响应。这极大地简化了布线特别适合多自由度如6轴机械臂的应用。通信协议它们通常采用半双工异步串行通信数据包包含帧头、ID、指令、参数、校验和等部分。常用的波特率是1Mbps以实现快速响应。SCServo库帮我们封装了这些底层数据包的构建和解析。3. 视觉处理单元PC与OpenCV在PC端处理视觉任务可以充分利用PC强大的计算资源运行MediaPipe这类相对复杂的模型保证检测的实时性和准确性。选择Python是因为其拥有极其丰富的计算机视觉和串口通信库OpenCV, MediaPipe, PySerial能让我们快速搭建原型。3. 硬件连接与舵机ID配置实操3.1 电路连接详解与避坑指南正确的硬件连接是项目成功的基石。请按照以下步骤和示意图进行连接并特别注意电源问题。连接清单ESP32开发板 x1串行舵机驱动器或直接是串行舵机 x1串行舵机 x2本例中控制两个自由度USB数据线 x1用于ESP32供电及通信外部5V/2A以上电源 x1强烈推荐用于舵机供电杜邦线若干接线步骤ESP32与舵机驱动器连接驱动器TX-ESP32的GPIO16 (RX2)。这意味着驱动器的发送端连接到ESP32的接收端。驱动器RX-ESP32的GPIO17 (TX2)。驱动器的接收端连接到ESP32的发送端。驱动器VCC-ESP32的3.3V或5V引脚。此处仅用于给驱动器的逻辑电路供电。重要请查阅你的驱动器手册确认其逻辑电平是3.3V还是5V兼容。大多数现代驱动器支持3.3V直接接ESP32的3.3V引脚更安全。驱动器GND-ESP32的GND。务必共地这是信号正常通信的基础。电源连接关键舵机电源独立供电将外部5V电源的正极连接到舵机驱动器的电机电源输入端子常标为V或VM负极-连接到驱动器的GND。同时确保此外部电源的GND与ESP32的GND通过杜邦线连接在一起共地。为什么必须独立供电舵机在启动和堵转时瞬间电流很大可达1A-2A甚至更高。如果使用ESP32的USB口通常最大提供500mA为其供电极易导致ESP32复位、电脑USB口保护甚至损坏。使用独立电源能保证系统稳定。舵机连接将两个舵机的接口线三线信号、电源、地依次连接到驱动器的舵机输出端口1和2。连接检查表项目检查点预期结果/备注电源ESP32通过USB连接电脑后电源指示灯是否亮起是电源外部5V电源是否已正确接入驱动器电机电源端子是极性正确共地外部电源GND与ESP32 GND是否已用杜邦线连接是必须连接信号线TX2-RX, RX2-TX 是否交叉连接是TX接RXRX接TX波特率后续代码中ESP32与驱动器的串口波特率是否一致默认应为1000000 (1Mbps)3.2 串行舵机ID配置实战新购买的串行舵机其ID默认通常都是1。如果总线上有多个舵机且ID相同当你发送指令时所有舵机会同时响应同一个指令这显然不是我们想要的。因此在组装系统前需要为每个舵机分配唯一的ID。操作原理通过发送特定的指令包修改舵机内部EEPROM中存储的ID值。这个过程需要逐个进行确保同一时间总线上只有一个舵机处于“可写”状态。实操步骤使用Arduino IDE与SCServo库物理连接先将第一个待修改ID的舵机单独连接到驱动器上。确保硬件连接正确ESP32通过USB连接电脑。准备代码在Arduino IDE中安装SCServo库可通过库管理器搜索安装。然后上传以下代码到ESP32。这段代码的功能是将一个ID为1的舵机修改为ID 2。#include SCServo.h SMS_STS st; // 创建一个舵机控制对象 // 重要在物理连接上确保总线上只有一个舵机 int originalID 1; // 舵机当前的ID默认通常是1 int newID 2; // 你想要设置的新ID void setup() { // 初始化与舵机通信的串口波特率1M使用GPIO16(RX), GPIO17(TX) Serial1.begin(1000000, SERIAL_8N1, 16, 17); st.pSerial Serial1; // 将舵机控制对象绑定到Serial1 delay(2000); // 等待串口稳定 // 解锁舵机的EEPROM保护允许写入 st.unLockEprom(originalID); delay(100); // 短暂延时 // 写入新的ID值。SMS_STS_ID是寄存器地址代表ID存储位置 st.writeByte(originalID, SMS_STS_ID, newID); delay(100); // 等待写入完成 // 重新锁定EEPROM防止误修改 st.LockEprom(newID); Serial.begin(115200); // 初始化用于调试输出的串口 Serial.println(Servo ID changed successfully!); } void loop() { // 空循环任务在setup中一次性完成 }执行与验证上传代码后打开Arduino IDE的串口监视器波特率115200你应该能看到“Servo ID changed successfully!”的提示。此时这个舵机的新ID已经是2了。断开它的电源。将第二个舵机ID仍为1单独接上将代码中的newID改为3再次上传并执行。以此类推为所有舵机分配好唯一ID例如我们让水平转动的舵机为ID 2垂直俯仰的舵机为ID 1。实操心得修改ID时务必确保总线上一次只连接一个舵机。否则你发送给ID 1的修改指令会被所有ID为1的舵机接收并执行导致多个舵机被改成同一个新ID又混在一起了。这是新手最容易踩的坑。修改完成后最好写个简单的扫读程序读取每个舵机的ID和位置进行确认。4. 嵌入式端固件开发ESP32指令解析与转发4.1 固件代码逐行解析完成硬件连接和舵机ID配置后我们需要让ESP32“听懂”PC发来的指令并“指挥”舵机行动。以下是完整的ESP32端Arduino代码及详细解析。#include SCServo.h // 引入串行舵机控制库 SMS_STS st; // 实例化一个舵机控制对象 // 定义与舵机驱动器通信的引脚 #define SERVO_RX_PIN 16 // ESP32的RX2接驱动器TX #define SERVO_TX_PIN 17 // ESP32的TX2接驱动器RX // 定义我们两个舵机的ID根据你实际配置修改 #define SERVO_YAW_ID 2 // 控制左右转动的舵机偏航Yaw #define SERVO_ROLL_ID 1 // 控制左右倾斜的舵机翻滚Roll // 舵机角度范围限制根据你的舵机实际机械结构和安装方式调整 #define YAW_MIN_ANGLE 0 // 左转极限 #define YAW_MAX_ANGLE 1000 // 右转极限 (STS舵机位置范围常为0-1000) #define ROLL_MIN_ANGLE 500 // 左倾极限 (设为中间值附近防止机械干涉) #define ROLL_MAX_ANGLE 1500 // 右倾极限 // 全局变量存储当前舵机位置用于平滑控制 int currentYawPos 500; // 初始位置居中 int currentRollPos 1000; void setup() { // 1. 初始化与PC通信的串口波特率115200 Serial.begin(115200); // 2. 初始化与舵机驱动器通信的串口波特率1Mbps // SERIAL_8N1表示8位数据位无校验1位停止位这是最常用的设置 Serial1.begin(1000000, SERIAL_8N1, SERVO_RX_PIN, SERVO_TX_PIN); st.pSerial Serial1; // 将舵机库绑定到Serial1硬件串口 delay(1000); // 等待串口稳定舵机上电初始化 Serial.println(ESP32 Servo Controller Ready.); Serial.println(Waiting for angle data from PC...); Serial.println(Format: Y:xxx,R:xxx\\n); // 提示PC端数据格式 } void loop() { // 核心任务检查是否有来自PC的数据并处理 if (Serial.available() 0) { String receivedData Serial.readStringUntil(\n); // 读取直到换行符 receivedData.trim(); // 去除首尾空白字符 // 解析数据期望格式Y:123,R:456 int yawAngle -1, rollAngle -1; // 初始化为无效值 int yawIndex receivedData.indexOf(Y:); int rollIndex receivedData.indexOf(R:); if (yawIndex ! -1 rollIndex ! -1) { // 提取Yaw角度值字符串并转换为整数 String yawStr receivedData.substring(yawIndex 2, rollIndex); yawStr.trim(); yawAngle yawStr.toInt(); // 提取Roll角度值字符串并转换为整数 String rollStr receivedData.substring(rollIndex 2); rollStr.trim(); rollAngle rollStr.toInt(); // 角度映射与限制保护 // PC端发送的通常是-90到90度的浮点数需要映射到舵机的位置值如0-1000 // 同时进行限幅防止超出机械范围 if (yawAngle ! -1) { // 假设PC端发送的yawAngle范围是[-90, 90]映射到[YAW_MIN_ANGLE, YAW_MAX_ANGLE] int targetYaw map(yawAngle, -90, 90, YAW_MIN_ANGLE, YAW_MAX_ANGLE); targetYaw constrain(targetYaw, YAW_MIN_ANGLE, YAW_MAX_ANGLE); // 简单滤波避免微小抖动。只有当角度变化超过阈值时才更新 if (abs(targetYaw - currentYawPos) 5) { st.WritePos(SERVO_YAW_ID, targetYaw, 0); // 写入目标位置时间0表示最快速度 currentYawPos targetYaw; } } if (rollAngle ! -1) { // 假设PC端发送的rollAngle范围是[-30, 30]映射到[ROLL_MIN_ANGLE, ROLL_MAX_ANGLE] int targetRoll map(rollAngle, -30, 30, ROLL_MIN_ANGLE, ROLL_MAX_ANGLE); targetRoll constrain(targetRoll, ROLL_MIN_ANGLE, ROLL_MAX_ANGLE); if (abs(targetRoll - currentRollPos) 5) { st.WritePos(SERVO_ROLL_ID, targetRoll, 0); currentRollPos targetRoll; } } // 可选向PC回传当前执行的位置用于调试 // Serial.printf(Set: Yaw%d, Roll%d\\n, currentYawPos, currentRollPos); } else { // 收到格式错误的数据 Serial.println(Error: Invalid data format.); } } // 短暂延时避免loop循环过快占用过多资源 delay(10); }代码关键点解析双串口分工Serial波特率115200用于与PC进行“人机对话”接收指令和打印日志。Serial1波特率1000000则专门以高速与舵机驱动器进行“机器对话”确保控制指令的实时性。数据协议设计我们定义了一个简单的文本协议Y:123,R:456\\n。用字母标识数据类型Y代表YawR代表Roll冒号分隔逗号分隔不同数据换行符\\n作为帧结束标志。这种格式易于在Python端拼接也便于在ESP端用indexOf和substring函数解析比纯二进制协议更易调试。角度映射Map与限制Constrain这是将视觉坐标系映射到物理运动的关键。PC计算出的角度单位是度需要线性映射到舵机内部的位置值如0-1000对应0-240度。map()函数完成线性映射constrain()函数确保映射后的值不会超出我们预设的安全范围保护舵机不被卡死。软件滤波if (abs(targetYaw - currentYawPos) 5)这行代码实现了一个简单的死区滤波。因为人脸检测数据会有微小抖动如果每帧都让舵机微动会导致电机嗡嗡作响且发热。只有角度变化超过5个位置单位可根据实际情况调整时才发送新指令使运动更平滑稳定。4.2 固件烧录与基础测试用USB线将ESP32连接至电脑。在Arduino IDE中选择正确的开发板型号如ESP32 Dev Module和端口。将上述代码粘贴到IDE中根据你的实际舵机ID和角度范围修改#define的宏定义。点击上传。上传成功后打开串口监视器波特率115200你会看到“ESP32 Servo Controller Ready...”的提示。基础测试在串口监视器的发送框中手动输入Y:30,R:15然后点击发送。你应该能听到对应的舵机转动到相应位置。输入Y:-30,R:-15测试反向运动。这验证了ESP32的指令解析和舵机驱动功能是正常的为后续的视觉联动打下了基础。5. PC端视觉处理与通信程序实现5.1 环境搭建与依赖库安装PC端的程序使用Python编写核心依赖四个库。请确保你的Python环境建议使用Python 3.8或以上版本已安装好这些库。打开命令行CMD、PowerShell或终端逐条执行以下安装命令# 安装OpenCV用于摄像头捕获和图像显示 pip install opencv-python # 安装MediaPipeGoogle出品的人脸关键点检测模型轻量且准确 pip install mediapipe # 安装NumPy用于数值计算MediaPipe返回的数据就是NumPy数组 pip install numpy # 安装PySerial用于通过串口与ESP32通信 pip install pyserial安装过程中如果遇到速度慢的问题可以在命令后加上-i https://pypi.tuna.tsinghua.edu.cn/simple使用国内镜像源加速。5.2 人脸姿态角计算原理MediaPipe的Face Mesh模型会返回468个人脸3D关键点的坐标x, y, z其中z是深度信息。我们需要利用这些点来计算头部的欧拉角Yaw, Pitch, Roll。一个经典且稳定的方法是利用3D点到2D投影的PnPPerspective-n-Point问题求解。简单来说我们定义一个人脸的“3D模型”这个模型是标准人脸在“正对摄像头、无旋转”状态下的关键点3D坐标这是一个预定义的、平均的人脸模型。我们从当前图像中检测到的2D关键点是上述3D模型经过旋转和平移后投影到2D图像平面上的结果。PnP算法就是根据多组2D点 3D模型点的对应关系反解出这个旋转和平移矩阵。从旋转矩阵中可以分解出我们需要的Yaw、Pitch、Roll角度。在代码中我们选取了几个具有代表性的、相对稳定的面部特征点如鼻尖、眼角、嘴角来构建这个对应关系。计算出的角度值就是人脸相对于摄像头的旋转角度。5.3 完整Python代码实现与注释以下是整合了人脸检测、姿态解算和串口通信的完整Python脚本。请仔细阅读注释。import cv2 import mediapipe as mp import numpy as np import serial import time # 1. 串口初始化 # 非常重要需要根据你的实际情况修改串口号 # Windows: 通常是 COM3, COM4 等在设备管理器中查看端口 # Linux/macOS: 通常是 /dev/ttyUSB0, /dev/ttyACM0 等 SERIAL_PORT COM5 # 请修改为你的ESP32连接的端口 BAUD_RATE 115200 try: ser serial.Serial(SERIAL_PORT, BAUD_RATE, timeout1) time.sleep(2) # 等待串口稳定ESP32重启 print(f成功连接到串口 {SERIAL_PORT}) except serial.SerialException as e: print(f无法打开串口 {SERIAL_PORT}: {e}) print(请检查端口号是否正确或ESP32是否已连接。) exit(1) # 2. MediaPipe初始化 mp_face_mesh mp.solutions.face_mesh mp_drawing mp.solutions.drawing_utils # 定义绘制关键点和连接线的样式 drawing_spec mp_drawing.DrawingSpec(thickness1, circle_radius1, color(0, 255, 0)) # 创建Face Mesh模型实例 # min_detection_confidence: 人脸检测置信度阈值高于此值才认为检测到人脸 # min_tracking_confidence: 跟踪置信度阈值高于此值才对上一帧的人脸进行跟踪 # 跟踪模式比每帧重新检测更高效适合视频流。 with mp_face_mesh.FaceMesh( static_image_modeFalse, # 设为False用于视频流 max_num_faces1, # 只检测一张脸 refine_landmarksTrue, # 使用更精细的眼部和嘴唇关键点 min_detection_confidence0.5, min_tracking_confidence0.5) as face_mesh: # 3. 摄像头初始化 cap cv2.VideoCapture(0) # 0代表默认摄像头 if not cap.isOpened(): print(无法打开摄像头) ser.close() exit(1) # 设置摄像头分辨率较高的分辨率有助于提高检测精度 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) # 4. 3D人脸模型参考点预定义 # 这些是标准人脸模型的3D坐标单位任意比例正确即可 # 我们选取了鼻尖、左右眼角、左右嘴角等关键点 # 索引对应MediaPipe Face Mesh的468个点中的特定索引 model_points np.array([ (0.0, 0.0, 0.0), # 鼻尖 [1] (-30.0, -30.0, -50.0), # 左眼外角 [33] (30.0, -30.0, -50.0), # 右眼外角 [263] (-50.0, 40.0, -30.0), # 左嘴角 [61] (50.0, 40.0, -30.0), # 右嘴角 [291] (-30.0, 70.0, -40.0), # 左脸下颌角 [199] (30.0, 70.0, -40.0) # 右脸下颌角 [425] ], dtypenp.float64) # 对应的2D图像点索引在MediaPipe的468个点中的索引 # 注意MediaPipe的索引可能与早期版本不同这里是refine_landmarksTrue时的索引 index_2d [1, 33, 263, 61, 291, 199, 425] # 相机内参矩阵假设—— 这是一个简化处理 # 对于普通USB摄像头这是一个合理的近似。更精确的做法是进行相机标定。 focal_length cap.get(cv2.CAP_PROP_FRAME_WIDTH) # 以像素为单位近似取图像宽度 center (cap.get(cv2.CAP_PROP_FRAME_WIDTH) / 2, cap.get(cv2.CAP_PROP_FRAME_HEIGHT) / 2) camera_matrix np.array([ [focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1] ], dtypenp.float64) # 假设没有镜头畸变 dist_coeffs np.zeros((4, 1)) print(开始人脸追踪按 q 键退出...) while cap.isOpened(): success, image cap.read() if not success: print(无法从摄像头读取帧。) break # 为了提升性能可以不对每帧都处理但这里为了实时性每帧都处理 # 将BGR图像转换为RGB因为MediaPipe需要RGB格式 image_rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 可选水平翻转图像使移动方向更直观像镜子一样 # image_rgb cv2.flip(image_rgb, 1) image_rgb.flags.writeable False # 禁止写入以提高性能 # 5. 人脸关键点检测 results face_mesh.process(image_rgb) image_rgb.flags.writeable True image cv2.cvtColor(image_rgb, cv2.COLOR_RGB2BGR) # 转回BGR用于OpenCV显示 yaw_angle, roll_angle 0, 0 # 初始化角度值 if results.multi_face_landmarks: for face_landmarks in results.multi_face_landmarks: # 绘制人脸网格可选可视化用 mp_drawing.draw_landmarks( imageimage, landmark_listface_landmarks, connectionsmp_face_mesh.FACEMESH_CONTOURS, landmark_drawing_specdrawing_spec, connection_drawing_specdrawing_spec) # 6. 姿态角解算 # 提取我们需要的2D图像点坐标 image_points [] height, width, _ image.shape for idx in index_2d: landmark face_landmarks.landmark[idx] # 将归一化坐标转换为像素坐标 x_px int(landmark.x * width) y_px int(landmark.y * height) image_points.append([x_px, y_px]) image_points np.array(image_points, dtypenp.float64) # 使用solvePnP求解旋转和平移向量 # 参数3D模型点2D图像点相机内参畸变系数 success, rotation_vec, translation_vec cv2.solvePnP( model_points, image_points, camera_matrix, dist_coeffs, flagscv2.SOLVEPNP_ITERATIVE) if success: # 将旋转向量转换为旋转矩阵 rotation_mat, _ cv2.Rodrigues(rotation_vec) # 从旋转矩阵中提取欧拉角Yaw, Pitch, Roll # 注意OpenCV的坐标系与常规的航空坐标系Z朝前Y朝下X朝右不同 # 这里进行适当的轴转换以获得直观的角度 sy np.sqrt(rotation_mat[0, 0] ** 2 rotation_mat[1, 0] ** 2) singular sy 1e-6 if not singular: x_angle np.arctan2(rotation_mat[2, 1], rotation_mat[2, 2]) # Roll y_angle np.arctan2(-rotation_mat[2, 0], sy) # Pitch z_angle np.arctan2(rotation_mat[1, 0], rotation_mat[0, 0]) # Yaw else: x_angle np.arctan2(-rotation_mat[1, 2], rotation_mat[1, 1]) y_angle np.arctan2(-rotation_mat[2, 0], sy) z_angle 0 # 将弧度转换为角度 yaw_angle np.degrees(z_angle) # 左右转头 pitch_angle np.degrees(y_angle) # 上下点头 roll_angle np.degrees(x_angle) # 左右倾斜 # 7. 角度滤波与限制 # 1. 限制角度范围避免极端值 yaw_angle np.clip(yaw_angle, -90, 90) roll_angle np.clip(roll_angle, -30, 30) # Roll通常范围较小 # 2. 简单低通滤波减少抖动 (可选) # 这里为了简化直接使用当前值。你可以引入一个滤波队列让运动更平滑。 # filtered_yaw 0.7 * prev_yaw 0.3 * yaw_angle # 8. 通过串口发送角度数据 # 格式化字符串例如 Y:15,R:-5\n command fY:{int(yaw_angle)},R:{int(roll_angle)}\n try: ser.write(command.encode(utf-8)) except Exception as e: print(f串口发送失败: {e}) # 9. 在图像上显示角度信息 cv2.putText(image, fYaw: {int(yaw_angle)} deg, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2) cv2.putText(image, fRoll: {int(roll_angle)} deg, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2) cv2.putText(image, fPitch: {int(pitch_angle)} deg, (10, 90), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2) # 显示处理后的图像 cv2.imshow(Face Tracking for Servo Control, image) # 按q键退出循环 if cv2.waitKey(5) 0xFF ord(q): break # 10. 释放资源 cap.release() cv2.destroyAllWindows() ser.close() print(程序结束资源已释放。)6. 系统联调、优化与常见问题排查6.1 完整系统联调步骤当PC端和ESP32端的代码都准备就绪后按照以下步骤进行最终的系统联调硬件复查确保所有连接牢固特别是串口线和电源线。舵机电源务必独立且功率足够建议5V/2A以上。上电顺序先给舵机的外部电源上电再通过USB给ESP32上电。这个顺序可以避免舵机在MCU未初始化时产生误动作。启动ESP32固件打开Arduino串口监视器确认看到“ESP32 Servo Controller Ready...”的启动信息。运行Python脚本在命令行中导航到你的脚本目录运行python your_script_name.py。请务必在代码开头将SERIAL_PORT变量修改为你电脑上ESP32对应的实际串口号。观察与测试摄像头窗口应正常打开显示你的脸部画面并绘制出绿色的人脸网格。当你左右转头时屏幕上显示的Yaw角度值应在-90到90之间变化同时控制水平旋转的舵机ID 2应跟随转动。当你向左右倾斜头部时Roll角度值应在-30到30之间变化同时控制倾斜的舵机ID 1应跟随转动。如果运动方向相反可以在ESP32代码的map()函数中交换最小值和最大值或者在Python端对角度取反。6.2 性能优化与运动平滑处理初始版本可能运动有些抖动或延迟可以通过以下方法优化PC端滤波在Python代码中对计算出的yaw_angle和roll_angle进行低通滤波。最简单的方法是使用一阶滞后滤波filtered_angle alpha * previous_angle (1 - alpha) * current_angle其中alpha是一个介于0和1之间的平滑因子如0.8。这能有效抑制高频抖动。发送频率控制不需要每帧都发送指令。可以设置一个定时器例如每50毫秒发送一次最新角度避免串口拥堵和ESP32处理不过来。ESP端死区与平滑正如前面固件代码中做的设置一个位置死区如5个单位才运动。更进阶的做法可以在ESP32端实现梯形速度规划或S曲线规划让舵机的启停更柔和但这需要更复杂的算法。摄像头帧率与分辨率降低摄像头分辨率如320x240可以显著提升MediaPipe的处理速度从而提高系统整体响应频率。在cv2.VideoCapture后使用cap.set来调整。6.3 常见问题排查速查表在调试过程中你很可能遇到以下问题。请根据症状按表排查问题现象可能原因排查步骤与解决方案ESP32串口监视器无输出1. USB线或端口问题。2. 开发板选错或端口选错。3. 代码未上传成功。1. 换USB线或USB口试试。2. 在Arduino IDE中确认板子型号和端口号正确。3. 观察上传时ESP32板载LED是否快速闪烁上传后按一下板子的EN/RST复位键。Python脚本报错“无法打开串口”1. 串口号错误。2. 串口被其他程序占用如Arduino IDE的串口监视器。1. 检查设备管理器Win或ls /dev/tty*Mac/Linux确认正确端口。2.关闭Arduino IDE的串口监视器这是最常见的冲突原因。摄像头黑屏或打不开1. 摄像头被其他软件占用。2. 摄像头索引错误不是0。1. 关闭其他可能使用摄像头的软件微信、Zoom等。2. 尝试将cv2.VideoCapture(0)改为1或-1。人脸检测框不出现或闪烁1. 光线太暗或人脸角度太偏。2.min_detection_confidence阈值太高。1. 改善光照正对摄像头。2. 尝试降低min_detection_confidence和min_tracking_confidence至0.3。舵机不转动1. 电源问题功率不足或未共地。2. 舵机ID错误。3. 串口线接反TX/RX。4. 波特率不匹配。1.首要检查用万用表测量舵机电源端子电压是否稳定在5V以上并确认与ESP32共地。2. 用3.2节的ID读取程序确认舵机ID。3. 检查ESP32的TX2是否接驱动器RXRX2接驱动器TX。4. 确认ESP32代码中Serial1.begin(1000000,...)与舵机波特率一致。舵机乱转或抖动1. 电源干扰或功率不足。2. 数据发送过快舵机响应不过来。3. 机械结构卡死或负载过重。1. 为舵机电源并联一个470uF以上的电解电容滤波。2. 在Python和ESP32代码中增加滤波和发送间隔。3. 脱开舵机负载空载测试是否正常。运动方向相反角度映射关系弄反。修改ESP32代码中map()函数的后两个参数顺序例如从map(yawAngle, -90, 90, 0, 1000)改为map(yawAngle, -90, 90, 1000, 0)。运动范围太小或太大角度映射范围不匹配。调整ESP32代码中的YAW_MIN_ANGLE、YAW_MAX_ANGLE等宏定义或调整Python端发送的角度范围。延迟非常大1. PC性能不足视觉处理慢。2. 串口波特率过低或发送数据过于频繁。1. 降低摄像头分辨率关闭mp_drawing.draw_landmarks绘图以节省资源。2. 确保ESP32与PC的通信波特率为115200并控制Python发送指令的频率如每秒20次。这个项目从视觉感知到物理运动的完整链条涉及了嵌入式开发、串口通信、计算机视觉和机器人控制等多个领域的交叉知识。调试过程就是不断遇到问题、分析问题、解决问题的过程而这张排查表正是我从多次调试中总结出的经验。当你看到自己制作的机构随着你的脸庞转动而平稳跟随时那种软硬件联调成功的成就感是纯软件项目难以比拟的。希望这份详细的指南和踩坑记录能帮助你顺利搭建出自己的第一个人脸追踪机器人。
