Q-learning 算法
Chris Watkins 提出 Q-learning，成为强化学习领域最基础和广泛使用的算法之一。
事件概述
1989年，Chris Watkins 在剑桥大学博士论文中提出了 Q-learning 算法。这是一种无模型的强化学习方法，智能体通过与环境交互学习最优策略，而无需环境的完整模型。Q-learning 的核心是维护一个动作-价值函数 Q(s,a)，表示在状态 s 采取动作 a 的预期累积奖励。智能体通过不断更新 Q 值来学习最优策略。Q-learning 简洁而强大，成为强化学习的基石之一，后来被扩展到深度强化学习（DQN），在游戏 AI、机器人控制和决策系统中广泛应用。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
强化学习研究智能体如何在与环境交互、奖励往往延迟到达的过程中学会行动。Christopher Watkins 在剑桥大学国王学院的博士研究中提出 Q-learning，其 1989 年毕业论文《Learning from Delayed Rewards》首次系统给出这一算法，并提供了收敛性证明的雏形。它继承自 Richard Bellman 的动态规划与 Richard Sutton 的时序差分学习。Q-learning 的关键突破是「离策略」(off-policy)：智能体无需掌握环境模型，仅凭试错与奖励反馈，就能学到最优动作价值函数。1992 年 Watkins 与 Peter Dayan 进一步在《Machine Learning》上给出了严格的收敛证明。
核心要点
- 1Q-learning 是免模型、离策略的时序差分强化学习算法。
- 2它学习最优动作价值函数 Q(s,a)，即某状态下采取某动作的长远回报期望。
- 3核心更新公式来自贝尔曼最优方程，用即时奖励加最大未来值估计。
- 4智能体可在探索中随机试错，同时学到最优策略，无需环境模型。
- 51992 年 Watkins 与 Dayan 证明了其在表格情形下的几乎必然收敛。
原理与技术细节
Q-learning 维护一张动作价值表 Q(s,a)，表示在状态 s 采取动作 a 并之后按最优策略行动所能获得的期望累计折扣回报。更新发生在每一步交互后：智能体在状态 s 选动作 a，得到即时奖励 r，并观测到新状态 s’。它用贝尔曼最优方程的思路更新：新的 Q 值 = 旧 Q 值 + 学习率 α × [r + γ·max_a’ Q(s’,a’) − Q(s,a)]。其中 γ 是折扣因子（0 到 1），max 项是对未来最优价值的估计。方括号里是「时序差分误差」：实际所得与旧估计之差。直观地说，每步都把当前估计向「奖励加最好后继」拉近一点。只要持续充分探索、学习率合适，Q 表最终会逼近真正的最优动作价值函数，从而直接给出最优动作。
影响与后续
Q-learning 奠定了无模型强化学习的基石，其「试错即学习」的思想深刻影响了之后三十年的研究。2013—2015 年 DeepMind 将它与深度神经网络结合（DQN），从像素直接玩 Atari 游戏，开启了深度强化学习时代。它的局限在于表格版只适用于状态空间很小的任务，且收敛对探索与学习率敏感；高维情形下必须借助函数逼近。
学习要点
- 最优策略可由动作价值函数推导，无需显式环境模型。
- 贝尔曼方程是连接即时奖励与长期价值的核心。
- 离策略学习允许边探索边学最优，非常实用。
- 从表格到深度网络，是强化学习走向实用的关键一跃。
术语表
Q(s,a) 表示在某状态采取某动作后按最优策略所能获得的期望累计折扣回报。
通过把当前估计与后继估计之差（TD 误差）用于自举式更新来学习的方法。
评估或改进的策略与生成数据的行为策略可以不同的学习方法，Q-learning 即属此类。