尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

ESP-SparkBot:从 ESP32-S3 固件烧录到 MCP 语音控制的完整实战指南

ESP-SparkBot:从 ESP32-S3 固件烧录到 MCP 语音控制的完整实战指南 ESP-SparkBot从 ESP32-S3 固件烧录到 MCP 语音控制的完整实战指南【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32ESP-SparkBot 是一款基于 ESP32-S3 的完整 MCP 语音机器人项目本体负责语音交互大模型通过 MCP 协议直接调用底盘移动、灯光效果等硬件工具补齐了「模型会说话但动不了」这最后一步。烧完固件就是一个能走能跳的伙伴不用在服务器端写任何业务逻辑。适合手里有 ESP32-S3 开发板、想自己搭 AI 硬件的人。最短路径上手5 条命令完成 ESP32-S3 机器人固件烧录最短路径就是 5 条命令从零到第一句对话大约 30 分钟。安装 ESP-IDF 5.x推荐 Linux 或 WSL编译快、免驱动然后导出环境. $IDF_PATH/export.sh获取源码git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32设置目标芯片再进 menuconfig 把板型选为 Espressif SparkBotidf.py set-target esp32s3编译idf.py build烧录并打开串口监视端口换成你自己的Linux 常见 /dev/ttyACM0Windows 是 COMxxidf.py -p /dev/ttyACM0 flash monitor第一次启动后在开机画面期间按一下 BOOTGPIO0进入 Wi-Fi 配网模式连网并完成激活屏幕就会进入可对话状态。它是怎么听懂你的一条 MCP 协议链路讲清 ESP32 机器人语音交互原理不复杂一行链路就讲完麦克风 16kHz 采样 → 唤醒与语音识别 → 大语言模型理解 → MCP 工具调用 → ESP32-S3 执行 → 语音加屏幕反馈。大模型不是在服务端为每条指令写逻辑而是看到设备预先注册好的 8 个工具清单——前进、后退、左转、右转、灯光模式切换、跳舞、摄像头镜像翻转——理解你的意图后调用对应工具名。回调在芯片本地运行比如往前走被识别后会以 115200 波特率经串口向底盘发送速度命令x0.0 y1.0底盘再驱动双电机。协议层如何解析模型的调用请求可看 docs/mcp-protocol_zh.md。能力清单ESP32-S3 机器人硬件规格一次看懂以下规格直接取自板级源码只列参数。模块规格主控ESP32-S3 双核 240MHz2.4GHz Wi-Fi音频ES8311 编解码器I2S16kHz 采样率输入输出一致视觉OV2640DVP 8 位接口240×24025fps显示ST7789 SPI 屏240×24040MHz 像素时钟PWM 背光动力双直流电机底盘串口 115200速度指令 x/y 取值 -1.0 ~ 1.0加一个新技能MCP 机器人工具添加三步法加技能不用碰协议层照现有 8 个工具的写法走三步就行。命名用self.模块.动作格式如self.chassis.stop模型看名字就知道它能干什么。参数定义无参数就传空的 PropertyList有参数则声明类型和取值范围——灯光工具的light_mode就是一个 1 到 6 的整数。回调实现回调体通常是一行向底盘发串口命令然后返回 truemcp_server.AddTool(self.chassis.stop, 停下, PropertyList(), this - ReturnValue { SendUartMessage(x0.0 y0.0); return true; });完整注册逻辑见 esp_sparkbot_board.cc自己接新板子则参考 docs/custom-board_zh.md。踩坑笔记ESP32-S3 固件烧录与串口调测的高频问题前 4 条是出现频率最高的都是实际排障中反复遇到的。烧完 monitor 没有任何输出现象是串口一片空白原因是端口名写错了Linux 是 /dev/ttyACM0Windows 是 COMxx或者线是纯充电线处理是先ls /dev/tty*确认端口名再换数据线。首次启动屏幕长时间黑着现象是设备离线、界面无反应原因是没进 Wi-Fi 配网、激活没完成处理是开机画面期间按 BOOTGPIO0进配网按语音提示走完激活。说前进机器人不动现象是语音应答正常、轮子不转原因是主机与底盘间串口没接好或底盘没单独供电处理是核对主机 TX 38、RX 48 两根线及底盘 5V 供电。摄像头画面上下颠倒现象是让它看看我时画面翻着的原因是模组安装时方向反了处理是直接说翻转摄像头图像方向对应self.camera.set_camera_flipped工具设置会持久保存。下一步玩什么MCP 机器人扩展方向与 Issue 入口最值得试的两个方向接一个传感器注册新工具让它报温度走云端侧接 Home Assistant。卡住了直接去项目 Issue 区提问。先让机器人动起来其他的都会跟上。【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表