Deep Q-Learning

Deep Q-Learningは、ニューラルネットワークを使ってQテーブルを近似するQ学習の拡張です。これにより、強化学習を状態と行動の空間が大きい環境や連続的な環境に適用できます。

Deep Q-Learningを使う理由

Deep Q-Learningは、従来のQ学習の制限に対処します。

• 画像などの高次元の状態空間を扱えます。
• 大規模なQテーブルをメモリに保存する必要がありません。
• ニューラルネットワークを使って状態間で一般化できます。

DQNアルゴリズム

Deep Q-Learningでは、Q値を近似するためにQネットワークと呼ばれるニューラルネットワークを使用します。主な手順は次のとおりです。

1. Qネットワークをランダムな重みで初期化します。
2. 環境と相互作用し、経験タプル (state, action, reward, next_state) を収集します。
3. ベルマン方程式を使ってQネットワークを更新します。

Q(s, a) ≈ r + γ max(Q(s', a'))

Qネットワークの構築

Qネットワークは、現在の状態を入力として受け取り、可能なすべての行動に対するQ値を出力するシンプルなフィードフォワードニューラルネットワークです。

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

経験再生

Deep Q-Learningでは、学習を改善するために経験再生と呼ばれる手法を使用します。

• 経験 (state, action, reward, next_state) をメモリーバッファーに保存します。
• 経験のバッチをランダムにサンプリングして、Qネットワークを学習させます。

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Qネットワークの学習

メモリーバッファーに保存された経験を使って、Qネットワークを学習させます。

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

ターゲットネットワーク

学習を安定させるため、DQNではターゲットネットワークを使用します。

• ターゲットQ値の計算専用に、別のネットワークを維持します。
• Qネットワークの重みを、定期的にターゲットネットワークへコピーします。

Deep Q-Learningの利点

Deep Q-Learningには、次のような利点があります。

• 画像のような高次元の状態空間を扱えます。
• ニューラルネットワークを使って状態間で一般化できます。
• Atariゲームやロボット制御などの複雑なタスクを解決できます。

まとめと次のステップ

このレッスンでは、次のことを行いました。

• Deep Q-Learningの基本を学びました。
• Q値を近似するQネットワークを構築しました。
• 安定した学習のための経験再生とターゲットネットワークについて説明しました。

次は、OpenAI Gymについて学び、シミュレーション環境で強化学習を適用します。