Das Konzept der Q-Table

Die Q-Table ist ein grundlegendes Konzept des Reinforcement Learning. Sie ist eine Nachschlagetabelle, in der jeder Eintrag die erwartete Belohnung für die Ausführung einer bestimmten Aktion in einem bestimmten Zustand darstellt.

Das Ziel besteht darin, die Q-Werte zu lernen, die den Agenten dabei unterstützen, die besten Aktionen für maximale Belohnungen auszuwählen.

Aufbau einer Q-Table

Die Q-Table ist folgendermaßen aufgebaut:

• Zeilen: Repräsentieren Zustände der Umgebung.
• Spalten: Repräsentieren für den Agenten verfügbare Aktionen.
• Werte: Repräsentieren den Q-Wert für Zustands-Aktions-Paare.

Der Agent aktualisiert diese Werte während des Lernens.

Formel zur Aktualisierung des Q-Werts

Q-Werte werden mithilfe der Bellman-Gleichung aktualisiert:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dabei gilt:

• s: Aktueller Zustand
• a: Aktuelle Aktion
• r: Belohnung für die Aktion
• s': Nächster Zustand
• α: Lernrate
• γ: Diskontfaktor

Beispiel für eine einfache Q-Table

Betrachten wir eine Q-Table für eine Gitterwelt:

Zustände: Positionen im Gitter, beispielsweise A1 und B1

Aktionen: Nach oben, unten, links oder rechts bewegen

Zu Beginn sind alle Q-Werte auf null gesetzt:

Zustand	Oben	Unten	Links	Rechts
A1	0	0	0	0
B1	0	0	0	0

Initialisieren einer Q-Table in Python

Wir können eine Q-Table mithilfe eines NumPy-Arrays oder eines Dictionaries darstellen:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploration beim Q-Learning

Der Agent verwendet eine ε-greedy Policy, um Exploration und Exploitation auszugleichen:

• Mit der Wahrscheinlichkeit ε wird eine zufällige Aktion ausgewählt (Exploration).
• Mit der Wahrscheinlichkeit 1-ε wird die Aktion mit dem höchsten Q-Wert ausgewählt (Exploitation).

Vorteile von Q-Tables

Q-Tables sind für kleine Umgebungen einfach und effektiv. Zu ihren Vorteilen gehören:

• Einfache Implementierung und Fehlerbehebung.
• Klare Darstellung der Beziehungen zwischen Zuständen und Aktionen.
• Geringer Rechenaufwand für kleine Zustands-Aktions-Räume.

Einschränkungen von Q-Tabellen

Q-Tabellen haben einige Einschränkungen:

• Nicht skalierbar für Umgebungen mit großen Zustands-Aktions-Räumen.
• Benötigen bei Problemen mit vielen Dimensionen erheblichen Speicher.
• Können nicht auf ähnliche Zustände verallgemeinert werden.

Zusammenfassung und nächste Schritte

In dieser Lektion haben Sie:

• das Konzept der Q-Tabelle und ihren Aufbau kennengelernt.
• untersucht, wie Q-Werte mithilfe der Bellman-Gleichung aktualisiert werden.
• die Vorteile und Einschränkungen von Q-Tabellen besprochen.

Als Nächstes implementieren wir einen einfachen Q-Learning-Algorithmus in Python, um Q-Tabellen in Aktion zu sehen.