Q 表概念

Q 表是强化学习中的核心概念。它是一张查找表，其中每个条目表示在给定状态下采取特定动作的预期奖励。

目标是学习 Q 值，让智能体据此采取能够获得最大奖励的最佳动作。

Q 表的结构

Q 表的结构如下：

• 行：表示环境的状态。
• 列：表示智能体可以采取的动作。
• 值：表示状态—动作对对应的 Q 值。

智能体会在学习过程中更新这些值。

Q 值更新公式

Q 值使用贝尔曼方程进行更新：

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

其中：

• s：当前状态
• a：当前动作
• r：该动作获得的奖励
• s'：下一状态
• α：学习率
• γ：折扣因子

简单 Q 表示例

请考虑一个网格世界的 Q 表：

状态：网格位置（例如 A1、B1）

动作：向上、向下、向左、向右移动

初始时，所有 Q 值都设置为零：

状态	上	下	左	右
A1	0	0	0	0
B1	0	0	0	0

在 Python 中初始化 Q 表

我们可以使用 NumPy 数组或字典来表示 Q 表：

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Q 学习中的探索

智能体使用 ε-贪心策略来平衡探索与利用：

• 以ε的概率随机选择一个动作（探索）。
• 以1-ε的概率选择 Q 值最高的动作（利用）。

Q 表的优势

Q 表对于小型环境来说简单且有效。其优势包括：

• 易于实现和调试。
• 能够清晰地解释状态—动作关系。
• 对于较小的状态—动作空间，计算成本较低。

Q 表的局限性

Q 表存在一些局限性：

• 无法扩展到状态空间和动作空间都很大的环境。
• 对于高维问题，需要占用大量内存。
• 无法在相似状态之间进行泛化。

总结与后续步骤

在本课中，我们：

• 了解了 Q 表的概念及其结构。
• 探讨了如何使用贝尔曼方程更新 Q 值。
• 讨论了 Q 表的优点和局限性。

接下来，我们将在 Python 中实现一个简单的 Q 学习算法，看看 Q 表如何发挥作用。