1. 项目概述当AI学会“试错”几年前我第一次接触强化学习时被一个简单的想法震撼了一个完全不懂迷宫规则的智能体仅凭“尝试”和“奖励”最终能自己找到出口。这听起来像科幻情节但用Q-learning算法就能实现。这个项目就是用最经典的Q-learning手把手教你训练一个AI让它从在迷宫里乱撞到成为寻路高手。整个过程就像教一个婴儿学走路不靠复杂的规则灌输只靠它自己摸索和你的“糖果”奖励引导。无论你是对AI好奇的编程新手还是想夯实强化学习基础的中级开发者这个项目都是一个绝佳的起点。它剥离了深度神经网络、复杂环境交互的“外壳”直击强化学习的核心思想——智能体如何通过与环境的交互来学习最优策略。我们将使用Python配合gym和numpy从零搭建一个迷宫环境并实现Q-learning算法。你会发现驱动AI进化的代码核心部分可能不超过50行但其中蕴含的迭代、探索与利用的权衡却是所有高级AI模型的基石。2. 核心原理Q-learning是如何“思考”的在让代码跑起来之前我们必须先弄懂AI的“大脑”是如何工作的。Q-learning属于一种无模型Model-Free的强化学习算法。所谓“无模型”是指AI并不需要事先知道迷宫的地图、规则比如“墙不能穿过”它只需要知道当前自己在哪状态能做什么动作上下左右以及做了动作后会得到什么反馈奖励并去到哪个新位置新状态。2.1 核心概念拆解想象一下你把一只小老鼠智能体放进一个迷宫环境。为了让它找到奶酪目标你定义了以下几个关键要素状态State, s老鼠当前所在的位置。在我们的网格迷宫里状态就是x, y坐标。动作Action, a老鼠在当前位置可以做的选择向上、向下、向左、向右。奖励Reward, R老鼠做出动作后你给它的即时反馈。比如撞墙了给-1分惩罚走到出口给100分大奖走到普通空地给-0.1分鼓励它尽快找到出口别闲逛。策略Policy, π老鼠根据当前状态决定采取哪个动作的规则。最开始它可能随机走学习后就会选择“价值”最高的方向。Q值Q-value, Q(s, a)这是Q-learning的灵魂一个价值函数。它代表了在状态s下采取动作a并且此后一直按照最优策略行动所能获得的累计期望奖励。你可以把它理解为一张巨大的“经验表”记录了在每一个格子、朝每一个方向走最终能有多“划算”。2.2 Q-learning的更新公式经验的积累AI的学习过程就是不断更新这张Q表的过程。其核心是下面的更新公式Q(s, a) Q(s, a) α * [ R γ * max(Q(s, a)) - Q(s, a) ]这个公式看起来有点复杂我们把它拆开用“教老鼠找奶酪”来类比Q(s, a)老鼠在当前位置s选择动作a比如向右走时它原来认为这个选择的价值。α学习率Learning Rate老鼠有多“听得进劝”。如果α1它完全相信这次的新经验立刻覆盖旧认知如果α0.1它只采纳10%的新信息更依赖过去的经验。通常设置为一个较小的值如0.1让学习稳定。R即时奖励老鼠向右走一步后立刻得到的反馈比如没撞墙得到-0.1。γ折扣因子Discount Factor老鼠有多“目光长远”。γ0表示它只在乎眼前的奖励鼠目寸光γ0.9表示它对未来可能获得的大奖励奶酪也很看重。这能防止AI困在局部小奖励里。max(Q(s, a))老鼠走到新位置s后评估一下从那里出发最好的未来前景是什么查看Q表中s行里最大的那个值。R γ * max(Q(s, a))这被称为目标值Target。它代表了基于这次新体验对(s, a)这个选择价值的新估计。即即时奖励 对未来最好前景的折现。[目标值 - 旧Q值]这就是时序差分误差Temporal Difference Error。可以理解为“现实与预期的差距”。如果这次走的结果比预想的好这个差值是正的我们就提高Q(s, a)反之则降低。所以整个公式的意思是用旧Q值加上一部分“现实与预期的差距”得到更新后的Q值。通过成千上万次这样的尝试和更新Q表最终会收敛准确反映出每个状态-动作对的真实长期价值。此时AI在任何一个状态只需要选择Q值最高的那个动作就是最优路径。2.3 探索与利用的权衡ε-greedy策略在训练初期Q表一片空白如果AI总是选择当前Q值最高的动作利用它可能永远发现不了真正的好路径。因此我们必须让它有一定概率去随机尝试其他动作探索。这就是ε-greedy策略以概率ε探索率随机选择一个动作探索。以概率1-ε选择当前Q值最高的动作利用。通常训练初期ε设置得较高如0.9鼓励大胆探索随着训练进行逐渐衰减ε如每个回合乘以0.995让AI越来越依赖学到的经验。注意学习率α和折扣因子γ是超参数需要根据具体环境调整。迷宫简单可以设大点如α0.5复杂则设小点如α0.1。γ一般设在0.9到0.99之间让AI有足够的远见。3. 环境搭建用代码构建一个迷宫世界理论清楚了我们开始动手。首先我们需要一个供AI训练的迷宫环境。这里我们不依赖复杂的游戏引擎而是用OpenAI的gym库来快速定义自己的环境。gym提供了一套标准的接口让强化学习算法和环境可以轻松交互。3.1 安装依赖与初始化确保你的Python环境建议3.8以上中安装了以下库pip install gym numpy matplotlib接下来我们创建一个Python文件比如maze_env.py来定义迷宫环境。3.2 定义迷宫地图与状态我们用一个二维数组矩阵来表示迷宫其中0代表可通行的空地。1代表障碍物墙。S代表起点Start。G代表终点Goal。import gym from gym import spaces import numpy as np class MazeEnv(gym.Env): def __init__(self): super(MazeEnv, self).__init__() # 定义一个5x5的迷宫地图 self.maze_map np.array([ [S, 0, 0, 1, 0], [1, 0, 1, 0, 0], [0, 0, 1, 0, 1], [0, 1, 0, 0, 0], [0, 0, 0, 1, G] ]) self.maze_height, self.maze_width self.maze_map.shape # 动作空间0:上, 1:右, 2:下, 3:左 self.action_space spaces.Discrete(4) # 状态空间每个格子是一个状态总数为迷宫大小 self.observation_space spaces.Discrete(self.maze_height * self.maze_width) # 找到起点和终点的坐标 self.start_pos np.argwhere(self.maze_map S)[0] self.goal_pos np.argwhere(self.maze_map G)[0] self.agent_pos self.start_pos.copy() # 智能体当前位置 # 将坐标转换为单一状态编号0到24 self._state_to_scalar lambda pos: pos[0] * self.maze_width pos[1]这里的关键是将二维坐标(row, col)映射为一个单一的数字状态这是为了适配gym的Discrete观测空间也方便我们后面用Q表一个二维数组来索引。3.3 实现环境的核心交互逻辑一个gym环境必须实现step和reset两个核心方法。def reset(self): 重置环境让智能体回到起点 self.agent_pos self.start_pos.copy() return self._state_to_scalar(self.agent_pos) # 返回初始状态 def step(self, action): 执行一个动作返回 (新状态, 奖励, 是否结束, 额外信息) # 根据动作计算新位置 new_pos self.agent_pos.copy() if action 0: # 上 new_pos[0] - 1 elif action 1: # 右 new_pos[1] 1 elif action 2: # 下 new_pos[0] 1 elif action 3: # 左 new_pos[1] - 1 reward -0.1 # 默认每走一步的微小惩罚鼓励快速找到终点 done False info {} # 判断新位置是否有效 if (new_pos[0] 0 or new_pos[0] self.maze_height or new_pos[1] 0 or new_pos[1] self.maze_width): # 撞到边界墙 reward -1 new_pos self.agent_pos # 位置不变 elif self.maze_map[new_pos[0], new_pos[1]] 1: # 撞到内部墙 reward -1 new_pos self.agent_pos elif np.array_equal(new_pos, self.goal_pos): # 到达终点 reward 100 done True else: # 成功走到空地 pass # 使用默认的-0.1奖励 # 更新智能体位置 self.agent_pos new_pos next_state self._state_to_scalar(self.agent_pos) return next_state, reward, done, info def render(self, modehuman): 可视化当前迷宫状态可选用于调试 render_map self.maze_map.copy().astype(str) if not np.array_equal(self.agent_pos, self.goal_pos) and not np.array_equal(self.agent_pos, self.start_pos): render_map[self.agent_pos[0], self.agent_pos[1]] A # A代表智能体 for row in render_map: print( .join(row)) print()奖励函数设计心得这里的奖励设置-1撞墙-0.1普通步100终点是典型的“稀疏奖励”设置。在实践中为了让学习更快有时可以加入一些“启发式”奖励比如给距离终点更近的步一个小的正奖励。但在这个简单迷宫中上述设置足以让Q-learning工作。关键是终点奖励要远大于步数惩罚的累积否则AI可能会觉得“躺着不动扣分最少”。4. Q-learning算法实现填充AI的经验表环境准备好了现在来实现学习算法本身。我们将创建一个独立的训练脚本train_q_learning.py。4.1 初始化参数与Q表import numpy as np from maze_env import MazeEnv # 导入我们刚创建的环境 # 初始化环境 env MazeEnv() state_size env.observation_space.n # 状态总数这里是25 action_size env.action_space.n # 动作总数4个方向 # 初始化Q表全零 # Q表形状: [state_size, action_size] Q_table np.zeros((state_size, action_size)) # 超参数设置 total_episodes 2000 # 训练的总回合数 max_steps_per_episode 100 # 每个回合最多走多少步防止无限循环 learning_rate 0.1 # α学习率 discount_factor 0.99 # γ折扣因子 exploration_rate 1.0 # ε初始探索率 max_exploration_rate 1.0 min_exploration_rate 0.01 exploration_decay_rate 0.001 # ε的衰减率超参数选择解析total_episodes2000对于5x5迷宫2000个回合通常足够收敛。如果迷宫更大更复杂需要增加。max_steps_per_episode100这是一个安全措施。如果AI在一个回合里走了100步还没到终点我们认为它这回合失败了强制结束开始新回合。这能防止训练卡死。learning_rate0.1一个比较保守稳健的值保证学习稳定。discount_factor0.99设置较高因为我们需要AI为到达终点这个远期目标而努力。exploration_decay_rate0.001让探索率缓慢下降确保训练后期有足够的利用。4.2 核心训练循环这是整个项目最核心的代码块它完美体现了Q-learning的迭代学习过程。rewards_all_episodes [] # 记录每个回合的总奖励用于绘图分析 for episode in range(total_episodes): state env.reset() # 重置环境获得初始状态 done False total_rewards 0 for step in range(max_steps_per_episode): # 1. 根据ε-greedy策略选择动作 exploration_rate_threshold np.random.uniform(0, 1) if exploration_rate_threshold exploration_rate: # 利用选择当前状态下Q值最大的动作 action np.argmax(Q_table[state, :]) else: # 探索随机选择一个动作 action env.action_space.sample() # 2. 执行动作与环境交互 new_state, reward, done, info env.step(action) total_rewards reward # 3. 更新Q表核心公式 # 找到新状态下所有动作中的最大Q值 max_future_q np.max(Q_table[new_state, :]) # 当前状态-动作对的当前Q值 current_q Q_table[state, action] # 计算目标Q值 target_q reward discount_factor * max_future_q # 应用Q-learning更新公式 Q_table[state, action] current_q learning_rate * (target_q - current_q) # 4. 转移到新状态 state new_state # 5. 如果回合结束到达终点或撞墙过多跳出循环 if done: break # 一个回合结束后衰减探索率 exploration_rate min_exploration_rate \ (max_exploration_rate - min_exploration_rate) * \ np.exp(-exploration_decay_rate * episode) rewards_all_episodes.append(total_rewards) # 每500回合打印一次进度 if (episode 1) % 500 0: avg_reward np.mean(rewards_all_episodes[-500:]) print(f回合 {episode 1}/{total_episodes} 最近500回合平均奖励: {avg_reward:.2f} 当前探索率: {exploration_rate:.3f}) print(训练完成)代码逐行解读与避坑点动作选择np.random.uniform(0, 1)生成一个0到1的随机数。注意这里是与动态衰减的exploration_rate比较而不是一个固定值0.1。很多新手会忘记更新exploration_rate导致AI永远在随机探索。Q值更新np.max(Q_table[new_state, :])计算的是下一个状态s的最大Q值代表了对未来价值的估计。这是Q-learning是“离策略”Off-policy的体现因为它用到了max操作即假设后续采取最优动作而不一定是实际采取的动作。探索率衰减我们使用了指数衰减公式让ε从1.0平滑衰减到0.01附近。你也可以使用线性衰减。关键是要衰减否则训练出的策略不稳定。奖励记录记录每个回合的总奖励是监控训练进程最重要的指标。如果平均奖励随着训练回合增加而稳步上升说明AI正在学习。4.3 可视化训练过程与结果训练完成后我们可以绘制奖励变化曲线并让训练好的AI跑一遍迷宫直观感受其学习成果。import matplotlib.pyplot as plt # 1. 绘制奖励变化曲线 plt.figure(figsize(12, 5)) plt.subplot(1, 2, 1) # 计算每100回合的平均奖励使曲线更平滑 moving_avg_rewards [] window_size 100 for i in range(len(rewards_all_episodes) - window_size 1): window rewards_all_episodes[i:iwindow_size] moving_avg_rewards.append(np.mean(window)) plt.plot(range(window_size, len(rewards_all_episodes)1), moving_avg_rewards) plt.xlabel(训练回合数) plt.ylabel(平均奖励最近100回合) plt.title(训练过程平均奖励变化曲线) plt.grid(True) # 2. 使用训练好的Q表进行测试纯利用不探索 env.reset() state env._state_to_scalar(env.start_pos) done False path [env.start_pos.copy()] print(\n 测试训练结果 ) env.render() # 显示初始迷宫 while not done: action np.argmax(Q_table[state, :]) # 永远选择最优动作 new_state, reward, done, info env.step(action) path.append(env.agent_pos.copy()) state new_state env.render() if done: print(f到达终点累计奖励: {reward}) print(f找到的路径坐标: {path}) # 3. 可选可视化Q表热力图看看AI学到了什么 plt.subplot(1, 2, 2) # 计算每个状态的最大Q值即该状态的价值 state_values np.max(Q_table, axis1).reshape(env.maze_height, env.maze_width) im plt.imshow(state_values, cmaphot, interpolationnearest) plt.colorbar(im, label状态价值 (V)) plt.title(训练后各状态价值热力图) plt.xticks([]) plt.yticks([]) # 在热力图上标注起点、终点和障碍物 for i in range(env.maze_height): for j in range(env.maze_width): if env.maze_map[i, j] 1: plt.text(j, i, 墙, hacenter, vacenter, colorblue, fontsize12, fontweightbold) elif env.maze_map[i, j] S: plt.text(j, i, S, hacenter, vacenter, colorgreen, fontsize14, fontweightbold) elif env.maze_map[i, j] G: plt.text(j, i, G, hacenter, vacenter, colorred, fontsize14, fontweightbold) plt.tight_layout() plt.show()结果分析要点奖励曲线一个成功的训练其平均奖励曲线应该从负值初期乱撞开始逐渐上升最终稳定在一个较高的正值附近能高效找到终点。如果曲线一直很低或波动剧烈可能需要调整超参数特别是学习率和探索率衰减。路径输出测试时AI应该能走出一条从S到G的、避开所有墙的路径。这条路径不一定是理论最短路径但一定是它学到的、能获得高累计奖励的路径。价值热力图这张图非常直观。你会发现终点G所在格子的价值最高亮黄色其周围格子的价值也较高而远离终点或靠近墙的格子价值较低暗红色。这完美体现了“价值”从终点向起点“扩散”的过程AI正是沿着价值梯度上升的方向前进。5. 调优、问题排查与进阶思考代码跑通只是第一步。要让AI学得又快又好并理解其局限性还需要深入以下方面。5.1 超参数调优实战指南超参数没有银弹需要根据你的迷宫大小和复杂度进行微调。以下是一个调优思路学习率α症状奖励曲线震荡剧烈无法收敛。-可能原因α太大AI对单次经验反应过激。尝试将α从0.1降低到0.05或0.01。症状学习速度极慢几千回合后奖励仍无提升。-可能原因α太小。尝试将α增加到0.2或0.3。折扣因子γ症状AI显得很“短视”在分叉路口容易选择立刻有小奖励但通向死胡同的路。-可能原因γ太小如0.5。尝试增大γ至0.9或0.95让它更看重长远回报。症状AI过于“理想化”在复杂迷宫中学习困难因为远期奖励折现后影响太小。-尝试在复杂环境中可以适当降低γ或结合更密集的奖励设计。探索率ε及其衰减症状训练后期AI表现时好时坏路径不稳定。-可能原因探索率衰减得太快或最终值太高。尝试降低exploration_decay_rate让探索衰减更慢确保min_exploration_rate足够低如0.01让测试时能稳定利用。症状AI始终找不到终点。-可能原因初期探索率不够高或者探索衰减太快AI还没探索到终点附近就停止了随机尝试。尝试将初始探索率设为1.0并减缓衰减速度。一个实用的方法是网格搜索Grid Search为α、γ、ε衰减率分别设定几个候选值如α[0.01, 0.1, 0.2], γ[0.9, 0.95, 0.99]组合运行多次训练观察哪组参数能获得最高且最稳定的最终平均奖励。5.2 常见问题与排查清单问题现象可能原因排查与解决方案奖励始终为负且不增长1. 奖励函数设计不合理如到达终点奖励为负。2. 探索率始终为1AI永远在随机走。3. 迷宫本身无解起点终点被墙隔开。1. 检查step函数中终点的奖励值确保是大的正数如100。2. 打印训练过程中的exploration_rate确认其在衰减。3. 手动检查迷宫地图确保存在一条通路。奖励曲线前期上升后期突然暴跌探索率衰减过快导致后期陷入局部最优后无法跳出。降低exploration_decay_rate或设置一个更高的min_exploration_rate如0.05。AI测试时在原地打转或来回走1. Q表未收敛最优动作不唯一或存在循环。2. 存在“对称”的等价值状态动作对。1. 增加训练回合数total_episodes。2. 在动作选择逻辑中加入极小的随机扰动测试时以0.99概率选最优0.01概率随机或检查奖励函数是否对“原地不动”有惩罚。训练速度很慢迷宫过大状态空间爆炸。5x5有25态10x10就有100态。Q-learning的Q表大小是状态数×动作数。对于大型迷宫Q表方法不再适用需要考虑使用函数逼近如用神经网络表示Q函数即DQN。np.argmax返回多个相同最大值时总是选择第一个当多个动作Q值相同时argmax默认返回索引最小的可能导致路径偏好。可以自定义一个函数当最大值不唯一时从中随机选择一个以增加策略的多样性。action np.random.choice(np.flatnonzero(Q_table[state] Q_table[state].max()))5.3 从Q-learning到深度强化学习项目进阶方向这个简单的迷宫项目是理解强化学习的“hello world”。当你掌握了它就可以向更广阔、更实用的领域迈进更大的状态空间与DQN对于更复杂的游戏如Atari或连续状态如机器人传感器数据状态数量巨大无法用表格存储。这时就需要深度Q网络DQN用一个神经网络来近似Q函数输入状态输出各个动作的Q值。这是AlphaGo Zero等里程碑式AI的基础。连续动作空间我们的迷宫只有4个离散动作。但控制汽车方向盘角度、机器人关节扭矩等都是连续值。这就需要策略梯度Policy Gradient或Actor-Critic系列算法如PPO、SAC它们能直接输出连续动作的概率分布。更复杂的奖励塑形Reward Shaping在稀疏奖励只有最终成功/失败有奖励的任务中学习极其困难。通过设计中间奖励如距离目标越近奖励越高可以大幅加速学习。但这需要领域知识且设计不当会引导AI学到错误行为。多智能体与博弈让多个AI在同一个迷宫中互动、竞争或合作就进入了多智能体强化学习MARL的领域可以模拟社会经济、交通调度等复杂系统。回过头看我们这不到200行的代码已经包含了强化学习最精髓的闭环感知状态 - 决策动作 - 获得奖励 - 更新认知。理解了这个闭环你就拿到了打开现代AI决策系统大门的钥匙。我建议你在熟练这个项目后尝试修改迷宫布局、调整奖励值、甚至尝试实现一个简单的gym标准环境如FrozenLake对比不同算法的效果。真正的理解源于亲手改变参数并观察结果带来的那些“顿悟”时刻。
Q-learning算法实战：从零构建AI迷宫寻路智能体
发布时间：2026/7/31 13:51:51
1. 项目概述当AI学会“试错”几年前我第一次接触强化学习时被一个简单的想法震撼了一个完全不懂迷宫规则的智能体仅凭“尝试”和“奖励”最终能自己找到出口。这听起来像科幻情节但用Q-learning算法就能实现。这个项目就是用最经典的Q-learning手把手教你训练一个AI让它从在迷宫里乱撞到成为寻路高手。整个过程就像教一个婴儿学走路不靠复杂的规则灌输只靠它自己摸索和你的“糖果”奖励引导。无论你是对AI好奇的编程新手还是想夯实强化学习基础的中级开发者这个项目都是一个绝佳的起点。它剥离了深度神经网络、复杂环境交互的“外壳”直击强化学习的核心思想——智能体如何通过与环境的交互来学习最优策略。我们将使用Python配合gym和numpy从零搭建一个迷宫环境并实现Q-learning算法。你会发现驱动AI进化的代码核心部分可能不超过50行但其中蕴含的迭代、探索与利用的权衡却是所有高级AI模型的基石。2. 核心原理Q-learning是如何“思考”的在让代码跑起来之前我们必须先弄懂AI的“大脑”是如何工作的。Q-learning属于一种无模型Model-Free的强化学习算法。所谓“无模型”是指AI并不需要事先知道迷宫的地图、规则比如“墙不能穿过”它只需要知道当前自己在哪状态能做什么动作上下左右以及做了动作后会得到什么反馈奖励并去到哪个新位置新状态。2.1 核心概念拆解想象一下你把一只小老鼠智能体放进一个迷宫环境。为了让它找到奶酪目标你定义了以下几个关键要素状态State, s老鼠当前所在的位置。在我们的网格迷宫里状态就是x, y坐标。动作Action, a老鼠在当前位置可以做的选择向上、向下、向左、向右。奖励Reward, R老鼠做出动作后你给它的即时反馈。比如撞墙了给-1分惩罚走到出口给100分大奖走到普通空地给-0.1分鼓励它尽快找到出口别闲逛。策略Policy, π老鼠根据当前状态决定采取哪个动作的规则。最开始它可能随机走学习后就会选择“价值”最高的方向。Q值Q-value, Q(s, a)这是Q-learning的灵魂一个价值函数。它代表了在状态s下采取动作a并且此后一直按照最优策略行动所能获得的累计期望奖励。你可以把它理解为一张巨大的“经验表”记录了在每一个格子、朝每一个方向走最终能有多“划算”。2.2 Q-learning的更新公式经验的积累AI的学习过程就是不断更新这张Q表的过程。其核心是下面的更新公式Q(s, a) Q(s, a) α * [ R γ * max(Q(s, a)) - Q(s, a) ]这个公式看起来有点复杂我们把它拆开用“教老鼠找奶酪”来类比Q(s, a)老鼠在当前位置s选择动作a比如向右走时它原来认为这个选择的价值。α学习率Learning Rate老鼠有多“听得进劝”。如果α1它完全相信这次的新经验立刻覆盖旧认知如果α0.1它只采纳10%的新信息更依赖过去的经验。通常设置为一个较小的值如0.1让学习稳定。R即时奖励老鼠向右走一步后立刻得到的反馈比如没撞墙得到-0.1。γ折扣因子Discount Factor老鼠有多“目光长远”。γ0表示它只在乎眼前的奖励鼠目寸光γ0.9表示它对未来可能获得的大奖励奶酪也很看重。这能防止AI困在局部小奖励里。max(Q(s, a))老鼠走到新位置s后评估一下从那里出发最好的未来前景是什么查看Q表中s行里最大的那个值。R γ * max(Q(s, a))这被称为目标值Target。它代表了基于这次新体验对(s, a)这个选择价值的新估计。即即时奖励 对未来最好前景的折现。[目标值 - 旧Q值]这就是时序差分误差Temporal Difference Error。可以理解为“现实与预期的差距”。如果这次走的结果比预想的好这个差值是正的我们就提高Q(s, a)反之则降低。所以整个公式的意思是用旧Q值加上一部分“现实与预期的差距”得到更新后的Q值。通过成千上万次这样的尝试和更新Q表最终会收敛准确反映出每个状态-动作对的真实长期价值。此时AI在任何一个状态只需要选择Q值最高的那个动作就是最优路径。2.3 探索与利用的权衡ε-greedy策略在训练初期Q表一片空白如果AI总是选择当前Q值最高的动作利用它可能永远发现不了真正的好路径。因此我们必须让它有一定概率去随机尝试其他动作探索。这就是ε-greedy策略以概率ε探索率随机选择一个动作探索。以概率1-ε选择当前Q值最高的动作利用。通常训练初期ε设置得较高如0.9鼓励大胆探索随着训练进行逐渐衰减ε如每个回合乘以0.995让AI越来越依赖学到的经验。注意学习率α和折扣因子γ是超参数需要根据具体环境调整。迷宫简单可以设大点如α0.5复杂则设小点如α0.1。γ一般设在0.9到0.99之间让AI有足够的远见。3. 环境搭建用代码构建一个迷宫世界理论清楚了我们开始动手。首先我们需要一个供AI训练的迷宫环境。这里我们不依赖复杂的游戏引擎而是用OpenAI的gym库来快速定义自己的环境。gym提供了一套标准的接口让强化学习算法和环境可以轻松交互。3.1 安装依赖与初始化确保你的Python环境建议3.8以上中安装了以下库pip install gym numpy matplotlib接下来我们创建一个Python文件比如maze_env.py来定义迷宫环境。3.2 定义迷宫地图与状态我们用一个二维数组矩阵来表示迷宫其中0代表可通行的空地。1代表障碍物墙。S代表起点Start。G代表终点Goal。import gym from gym import spaces import numpy as np class MazeEnv(gym.Env): def __init__(self): super(MazeEnv, self).__init__() # 定义一个5x5的迷宫地图 self.maze_map np.array([ [S, 0, 0, 1, 0], [1, 0, 1, 0, 0], [0, 0, 1, 0, 1], [0, 1, 0, 0, 0], [0, 0, 0, 1, G] ]) self.maze_height, self.maze_width self.maze_map.shape # 动作空间0:上, 1:右, 2:下, 3:左 self.action_space spaces.Discrete(4) # 状态空间每个格子是一个状态总数为迷宫大小 self.observation_space spaces.Discrete(self.maze_height * self.maze_width) # 找到起点和终点的坐标 self.start_pos np.argwhere(self.maze_map S)[0] self.goal_pos np.argwhere(self.maze_map G)[0] self.agent_pos self.start_pos.copy() # 智能体当前位置 # 将坐标转换为单一状态编号0到24 self._state_to_scalar lambda pos: pos[0] * self.maze_width pos[1]这里的关键是将二维坐标(row, col)映射为一个单一的数字状态这是为了适配gym的Discrete观测空间也方便我们后面用Q表一个二维数组来索引。3.3 实现环境的核心交互逻辑一个gym环境必须实现step和reset两个核心方法。def reset(self): 重置环境让智能体回到起点 self.agent_pos self.start_pos.copy() return self._state_to_scalar(self.agent_pos) # 返回初始状态 def step(self, action): 执行一个动作返回 (新状态, 奖励, 是否结束, 额外信息) # 根据动作计算新位置 new_pos self.agent_pos.copy() if action 0: # 上 new_pos[0] - 1 elif action 1: # 右 new_pos[1] 1 elif action 2: # 下 new_pos[0] 1 elif action 3: # 左 new_pos[1] - 1 reward -0.1 # 默认每走一步的微小惩罚鼓励快速找到终点 done False info {} # 判断新位置是否有效 if (new_pos[0] 0 or new_pos[0] self.maze_height or new_pos[1] 0 or new_pos[1] self.maze_width): # 撞到边界墙 reward -1 new_pos self.agent_pos # 位置不变 elif self.maze_map[new_pos[0], new_pos[1]] 1: # 撞到内部墙 reward -1 new_pos self.agent_pos elif np.array_equal(new_pos, self.goal_pos): # 到达终点 reward 100 done True else: # 成功走到空地 pass # 使用默认的-0.1奖励 # 更新智能体位置 self.agent_pos new_pos next_state self._state_to_scalar(self.agent_pos) return next_state, reward, done, info def render(self, modehuman): 可视化当前迷宫状态可选用于调试 render_map self.maze_map.copy().astype(str) if not np.array_equal(self.agent_pos, self.goal_pos) and not np.array_equal(self.agent_pos, self.start_pos): render_map[self.agent_pos[0], self.agent_pos[1]] A # A代表智能体 for row in render_map: print( .join(row)) print()奖励函数设计心得这里的奖励设置-1撞墙-0.1普通步100终点是典型的“稀疏奖励”设置。在实践中为了让学习更快有时可以加入一些“启发式”奖励比如给距离终点更近的步一个小的正奖励。但在这个简单迷宫中上述设置足以让Q-learning工作。关键是终点奖励要远大于步数惩罚的累积否则AI可能会觉得“躺着不动扣分最少”。4. Q-learning算法实现填充AI的经验表环境准备好了现在来实现学习算法本身。我们将创建一个独立的训练脚本train_q_learning.py。4.1 初始化参数与Q表import numpy as np from maze_env import MazeEnv # 导入我们刚创建的环境 # 初始化环境 env MazeEnv() state_size env.observation_space.n # 状态总数这里是25 action_size env.action_space.n # 动作总数4个方向 # 初始化Q表全零 # Q表形状: [state_size, action_size] Q_table np.zeros((state_size, action_size)) # 超参数设置 total_episodes 2000 # 训练的总回合数 max_steps_per_episode 100 # 每个回合最多走多少步防止无限循环 learning_rate 0.1 # α学习率 discount_factor 0.99 # γ折扣因子 exploration_rate 1.0 # ε初始探索率 max_exploration_rate 1.0 min_exploration_rate 0.01 exploration_decay_rate 0.001 # ε的衰减率超参数选择解析total_episodes2000对于5x5迷宫2000个回合通常足够收敛。如果迷宫更大更复杂需要增加。max_steps_per_episode100这是一个安全措施。如果AI在一个回合里走了100步还没到终点我们认为它这回合失败了强制结束开始新回合。这能防止训练卡死。learning_rate0.1一个比较保守稳健的值保证学习稳定。discount_factor0.99设置较高因为我们需要AI为到达终点这个远期目标而努力。exploration_decay_rate0.001让探索率缓慢下降确保训练后期有足够的利用。4.2 核心训练循环这是整个项目最核心的代码块它完美体现了Q-learning的迭代学习过程。rewards_all_episodes [] # 记录每个回合的总奖励用于绘图分析 for episode in range(total_episodes): state env.reset() # 重置环境获得初始状态 done False total_rewards 0 for step in range(max_steps_per_episode): # 1. 根据ε-greedy策略选择动作 exploration_rate_threshold np.random.uniform(0, 1) if exploration_rate_threshold exploration_rate: # 利用选择当前状态下Q值最大的动作 action np.argmax(Q_table[state, :]) else: # 探索随机选择一个动作 action env.action_space.sample() # 2. 执行动作与环境交互 new_state, reward, done, info env.step(action) total_rewards reward # 3. 更新Q表核心公式 # 找到新状态下所有动作中的最大Q值 max_future_q np.max(Q_table[new_state, :]) # 当前状态-动作对的当前Q值 current_q Q_table[state, action] # 计算目标Q值 target_q reward discount_factor * max_future_q # 应用Q-learning更新公式 Q_table[state, action] current_q learning_rate * (target_q - current_q) # 4. 转移到新状态 state new_state # 5. 如果回合结束到达终点或撞墙过多跳出循环 if done: break # 一个回合结束后衰减探索率 exploration_rate min_exploration_rate \ (max_exploration_rate - min_exploration_rate) * \ np.exp(-exploration_decay_rate * episode) rewards_all_episodes.append(total_rewards) # 每500回合打印一次进度 if (episode 1) % 500 0: avg_reward np.mean(rewards_all_episodes[-500:]) print(f回合 {episode 1}/{total_episodes} 最近500回合平均奖励: {avg_reward:.2f} 当前探索率: {exploration_rate:.3f}) print(训练完成)代码逐行解读与避坑点动作选择np.random.uniform(0, 1)生成一个0到1的随机数。注意这里是与动态衰减的exploration_rate比较而不是一个固定值0.1。很多新手会忘记更新exploration_rate导致AI永远在随机探索。Q值更新np.max(Q_table[new_state, :])计算的是下一个状态s的最大Q值代表了对未来价值的估计。这是Q-learning是“离策略”Off-policy的体现因为它用到了max操作即假设后续采取最优动作而不一定是实际采取的动作。探索率衰减我们使用了指数衰减公式让ε从1.0平滑衰减到0.01附近。你也可以使用线性衰减。关键是要衰减否则训练出的策略不稳定。奖励记录记录每个回合的总奖励是监控训练进程最重要的指标。如果平均奖励随着训练回合增加而稳步上升说明AI正在学习。4.3 可视化训练过程与结果训练完成后我们可以绘制奖励变化曲线并让训练好的AI跑一遍迷宫直观感受其学习成果。import matplotlib.pyplot as plt # 1. 绘制奖励变化曲线 plt.figure(figsize(12, 5)) plt.subplot(1, 2, 1) # 计算每100回合的平均奖励使曲线更平滑 moving_avg_rewards [] window_size 100 for i in range(len(rewards_all_episodes) - window_size 1): window rewards_all_episodes[i:iwindow_size] moving_avg_rewards.append(np.mean(window)) plt.plot(range(window_size, len(rewards_all_episodes)1), moving_avg_rewards) plt.xlabel(训练回合数) plt.ylabel(平均奖励最近100回合) plt.title(训练过程平均奖励变化曲线) plt.grid(True) # 2. 使用训练好的Q表进行测试纯利用不探索 env.reset() state env._state_to_scalar(env.start_pos) done False path [env.start_pos.copy()] print(\n 测试训练结果 ) env.render() # 显示初始迷宫 while not done: action np.argmax(Q_table[state, :]) # 永远选择最优动作 new_state, reward, done, info env.step(action) path.append(env.agent_pos.copy()) state new_state env.render() if done: print(f到达终点累计奖励: {reward}) print(f找到的路径坐标: {path}) # 3. 可选可视化Q表热力图看看AI学到了什么 plt.subplot(1, 2, 2) # 计算每个状态的最大Q值即该状态的价值 state_values np.max(Q_table, axis1).reshape(env.maze_height, env.maze_width) im plt.imshow(state_values, cmaphot, interpolationnearest) plt.colorbar(im, label状态价值 (V)) plt.title(训练后各状态价值热力图) plt.xticks([]) plt.yticks([]) # 在热力图上标注起点、终点和障碍物 for i in range(env.maze_height): for j in range(env.maze_width): if env.maze_map[i, j] 1: plt.text(j, i, 墙, hacenter, vacenter, colorblue, fontsize12, fontweightbold) elif env.maze_map[i, j] S: plt.text(j, i, S, hacenter, vacenter, colorgreen, fontsize14, fontweightbold) elif env.maze_map[i, j] G: plt.text(j, i, G, hacenter, vacenter, colorred, fontsize14, fontweightbold) plt.tight_layout() plt.show()结果分析要点奖励曲线一个成功的训练其平均奖励曲线应该从负值初期乱撞开始逐渐上升最终稳定在一个较高的正值附近能高效找到终点。如果曲线一直很低或波动剧烈可能需要调整超参数特别是学习率和探索率衰减。路径输出测试时AI应该能走出一条从S到G的、避开所有墙的路径。这条路径不一定是理论最短路径但一定是它学到的、能获得高累计奖励的路径。价值热力图这张图非常直观。你会发现终点G所在格子的价值最高亮黄色其周围格子的价值也较高而远离终点或靠近墙的格子价值较低暗红色。这完美体现了“价值”从终点向起点“扩散”的过程AI正是沿着价值梯度上升的方向前进。5. 调优、问题排查与进阶思考代码跑通只是第一步。要让AI学得又快又好并理解其局限性还需要深入以下方面。5.1 超参数调优实战指南超参数没有银弹需要根据你的迷宫大小和复杂度进行微调。以下是一个调优思路学习率α症状奖励曲线震荡剧烈无法收敛。-可能原因α太大AI对单次经验反应过激。尝试将α从0.1降低到0.05或0.01。症状学习速度极慢几千回合后奖励仍无提升。-可能原因α太小。尝试将α增加到0.2或0.3。折扣因子γ症状AI显得很“短视”在分叉路口容易选择立刻有小奖励但通向死胡同的路。-可能原因γ太小如0.5。尝试增大γ至0.9或0.95让它更看重长远回报。症状AI过于“理想化”在复杂迷宫中学习困难因为远期奖励折现后影响太小。-尝试在复杂环境中可以适当降低γ或结合更密集的奖励设计。探索率ε及其衰减症状训练后期AI表现时好时坏路径不稳定。-可能原因探索率衰减得太快或最终值太高。尝试降低exploration_decay_rate让探索衰减更慢确保min_exploration_rate足够低如0.01让测试时能稳定利用。症状AI始终找不到终点。-可能原因初期探索率不够高或者探索衰减太快AI还没探索到终点附近就停止了随机尝试。尝试将初始探索率设为1.0并减缓衰减速度。一个实用的方法是网格搜索Grid Search为α、γ、ε衰减率分别设定几个候选值如α[0.01, 0.1, 0.2], γ[0.9, 0.95, 0.99]组合运行多次训练观察哪组参数能获得最高且最稳定的最终平均奖励。5.2 常见问题与排查清单问题现象可能原因排查与解决方案奖励始终为负且不增长1. 奖励函数设计不合理如到达终点奖励为负。2. 探索率始终为1AI永远在随机走。3. 迷宫本身无解起点终点被墙隔开。1. 检查step函数中终点的奖励值确保是大的正数如100。2. 打印训练过程中的exploration_rate确认其在衰减。3. 手动检查迷宫地图确保存在一条通路。奖励曲线前期上升后期突然暴跌探索率衰减过快导致后期陷入局部最优后无法跳出。降低exploration_decay_rate或设置一个更高的min_exploration_rate如0.05。AI测试时在原地打转或来回走1. Q表未收敛最优动作不唯一或存在循环。2. 存在“对称”的等价值状态动作对。1. 增加训练回合数total_episodes。2. 在动作选择逻辑中加入极小的随机扰动测试时以0.99概率选最优0.01概率随机或检查奖励函数是否对“原地不动”有惩罚。训练速度很慢迷宫过大状态空间爆炸。5x5有25态10x10就有100态。Q-learning的Q表大小是状态数×动作数。对于大型迷宫Q表方法不再适用需要考虑使用函数逼近如用神经网络表示Q函数即DQN。np.argmax返回多个相同最大值时总是选择第一个当多个动作Q值相同时argmax默认返回索引最小的可能导致路径偏好。可以自定义一个函数当最大值不唯一时从中随机选择一个以增加策略的多样性。action np.random.choice(np.flatnonzero(Q_table[state] Q_table[state].max()))5.3 从Q-learning到深度强化学习项目进阶方向这个简单的迷宫项目是理解强化学习的“hello world”。当你掌握了它就可以向更广阔、更实用的领域迈进更大的状态空间与DQN对于更复杂的游戏如Atari或连续状态如机器人传感器数据状态数量巨大无法用表格存储。这时就需要深度Q网络DQN用一个神经网络来近似Q函数输入状态输出各个动作的Q值。这是AlphaGo Zero等里程碑式AI的基础。连续动作空间我们的迷宫只有4个离散动作。但控制汽车方向盘角度、机器人关节扭矩等都是连续值。这就需要策略梯度Policy Gradient或Actor-Critic系列算法如PPO、SAC它们能直接输出连续动作的概率分布。更复杂的奖励塑形Reward Shaping在稀疏奖励只有最终成功/失败有奖励的任务中学习极其困难。通过设计中间奖励如距离目标越近奖励越高可以大幅加速学习。但这需要领域知识且设计不当会引导AI学到错误行为。多智能体与博弈让多个AI在同一个迷宫中互动、竞争或合作就进入了多智能体强化学习MARL的领域可以模拟社会经济、交通调度等复杂系统。回过头看我们这不到200行的代码已经包含了强化学习最精髓的闭环感知状态 - 决策动作 - 获得奖励 - 更新认知。理解了这个闭环你就拿到了打开现代AI决策系统大门的钥匙。我建议你在熟练这个项目后尝试修改迷宫布局、调整奖励值、甚至尝试实现一个简单的gym标准环境如FrozenLake对比不同算法的效果。真正的理解源于亲手改变参数并观察结果带来的那些“顿悟”时刻。
