Deep Q-Learning

Deep Q-Learning ist eine Erweiterung von Q-Learning, die ein neuronales Netz verwendet, um die Q-Tabelle zu approximieren. Dadurch kann Reinforcement Learning auf Umgebungen mit großen oder kontinuierlichen Zustands-Aktions-Räumen skaliert werden.

Warum Deep Q-Learning?

Deep Q-Learning behebt die Einschränkungen des herkömmlichen Q-Learning:

• Verarbeitet hochdimensionale Zustandsräume (z. B. Bilder).
• Macht es überflüssig, große Q-Tabellen im Speicher abzulegen.
• Verallgemeinert über Zustände hinweg mithilfe neuronaler Netze.

Der DQN-Algorithmus

Deep Q-Learning verwendet ein neuronales Netz namens Q-Netzwerk, um die Q-Werte zu approximieren. Die wichtigsten Schritte sind:

1. Initialisieren Sie das Q-Netzwerk mit zufälligen Gewichten.
2. Interagieren Sie mit der Umgebung, um Erfahrungstupel (state, action, reward, next_state) zu sammeln.
3. Aktualisieren Sie das Q-Netzwerk mithilfe der Bellman-Gleichung:

Q(s, a) ≈ r + γ max(Q(s', a'))

Aufbau des Q-Netzwerks

Das Q-Netzwerk ist ein einfaches neuronales Feedforward-Netz, das den aktuellen Zustand als Eingabe übernimmt und Q-Werte für alle möglichen Aktionen ausgibt:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Experience Replay

Deep Q-Learning verwendet eine Technik namens Experience Replay, um das Lernen zu verbessern:

• Speichern Sie Erfahrungen (state, action, reward, next_state) in einem Speicherpuffer.
• Wählen Sie zufällig Batches von Erfahrungen aus, um das Q-Netzwerk zu trainieren.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Trainieren des Q-Netzwerks

Wir trainieren das Q-Netzwerk mit den Erfahrungen aus dem Speicherpuffer:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Zielnetzwerke

Um das Training zu stabilisieren, verwendet DQN ein Zielnetzwerk:

• Ein separates Netzwerk zum Berechnen der Ziel-Q-Werte verwalten.
• Die Gewichte des Q-Netzwerks regelmäßig in das Zielnetzwerk kopieren.

Vorteile von Deep Q-Learning

Deep Q-Learning bietet mehrere Vorteile:

• Verarbeitet hochdimensionale Zustandsräume wie Bilder.
• Verallgemeinert über Zustände hinweg mithilfe neuronaler Netze.
• Kann komplexe Aufgaben wie Atari-Spiele und die Steuerung von Robotern lösen.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir:

• Die Grundlagen von Deep Q-Learning erkundet.
• Ein Q-Netzwerk zur Approximation von Q-Werten erstellt.
• Experience Replay und Zielnetzwerke für stabiles Training besprochen.

Als Nächstes sehen wir uns OpenAI Gym an und wenden Reinforcement Learning in simulierten Umgebungen an.