Qテーブルの概念

Qテーブルは、強化学習の中核となる概念です。これは、与えられた状態で特定の行動を取った場合に期待される報酬を、各エントリで表すルックアップテーブルです。

目標は、エージェントが最大の報酬を得るために最適な行動を選択できるよう導くQ値を学習することです。

Qテーブルの構造

Qテーブルは、次のように構成されます。

• 行：環境の状態を表します。
• 列：エージェントが選択できる行動を表します。
• 値：状態と行動の組み合わせに対するQ値を表します。

エージェントは学習中にこれらの値を更新します。

Q値の更新式

Q値は、ベルマン方程式を使って更新します。

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

各記号の意味は次のとおりです。

• s：現在の状態
• a：現在の行動
• r：行動に対する報酬
• s'：次の状態
• α：学習率
• γ：割引率

単純なQテーブルの例

グリッドワールドのQテーブルを考えてみましょう。

状態：グリッド上の位置（例：A1、B1）

行動：上、下、左、右への移動

初期状態では、すべてのQ値が0に設定されています。

状態	上	下	左	右
A1	0	0	0	0
B1	0	0	0	0

PythonでQテーブルを初期化する

Qテーブルは、NumPy配列または辞書を使って表現できます。

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Qラーニングにおける探索

エージェントは、探索と活用のバランスを取るためにε-greedy方策を使用します。

• 確率εで、ランダムな行動を選択します（探索）。
• 確率1-εで、最も高いQ値を持つ行動を選択します（活用）。

Qテーブルの利点

Qテーブルは、小規模な環境に対してシンプルかつ効果的です。主な利点は次のとおりです。

• 実装とデバッグが容易です。
• 状態と行動の関係を明確に解釈できます。
• 状態と行動の空間が小さい場合、計算コストが低くなります。

Qテーブルの限界

Qテーブルには、いくつかの限界があります。

• 状態と行動の空間が大きい環境には拡張できません。
• 高次元の問題では、大量のメモリが必要です。
• 似た状態間で知識を一般化できません。

まとめと次のステップ

このレッスンでは、次の内容を学びました。

• Qテーブルの概念とその構造について学びました。
• ベルマン方程式を使ってQ値を更新する方法を確認しました。
• Qテーブルの利点と限界について説明しました。

次は、Pythonで単純なQラーニングアルゴリズムを実装し、Qテーブルがどのように機能するかを確認します。