Qテーブルの概念

Qテーブルは、強化学習の中心的な概念です。特定の状態で特定の行動を取ったときに期待される報酬を、各エントリで表すルックアップテーブルです。

目標は、エージェントが最大の報酬を得るために最適な行動を選択できるよう導くQ値を学習することです。

Qテーブルの構造

Qテーブルは、次のように構成されます:

• 行: 環境の状態を表します。
• 列: エージェントが選択できる行動を表します。
• 値: 状態と行動の組み合わせに対するQ値を表します。

エージェントは学習中にこれらの値を更新します。

Q値の更新式

Q値はベルマン方程式を使って更新します:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

各記号の意味:

• s: 現在の状態
• a: 現在の行動
• r: 行動に対する報酬
• s': 次の状態
• α: 学習率
• γ: 割引率

シンプルなQテーブルの例

グリッドワールドのQテーブルを考えてみましょう:

状態: グリッド上の位置（例: A1、B1）

行動: 上、下、左、右への移動

最初は、すべてのQ値が0に設定されています:

状態	上	下	左	右
A1	0	0	0	0
B1	0	0	0	0

PythonでのQテーブルの初期化

Qテーブルは、NumPy配列または辞書を使って表現できます:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Q学習における探索

エージェントは、探索と活用のバランスを取るためにε-greedy方策を使用します:

• 確率εで、ランダムな行動を選択します（探索）。
• 確率1-εで、最も高いQ値を持つ行動を選択します（活用）。

Qテーブルの利点

Qテーブルは、小規模な環境に対してシンプルで効果的です。主な利点には、次のようなものがあります:

• 実装とデバッグが容易です。
• 状態と行動の関係を明確に解釈できます。
• 状態と行動の空間が小さい場合、計算コストが低くなります。

Qテーブルの限界

Qテーブルにはいくつかの限界があります。

• 状態と行動の空間が大きい環境には拡張できません。
• 高次元の問題では、大量のメモリが必要です。
• 類似した状態間で知識を一般化できません。

まとめと次のステップ

このレッスンでは、次のことを学びました。

• Qテーブルの概念と構造について学びました。
• ベルマン方程式を使ってQ値を更新する方法を確認しました。
• Qテーブルの利点と限界について説明しました。

次は、Pythonで簡単なQ学習アルゴリズムを実装し、Qテーブルが実際にどのように機能するかを確認します。