Das Konzept der Q-Tabelle

Die Q-Tabelle ist ein grundlegendes Konzept im Reinforcement Learning. Sie ist eine Nachschlagetabelle, in der jeder Eintrag die erwartete Belohnung für die Ausführung einer bestimmten Aktion in einem gegebenen Zustand darstellt.

Das Ziel besteht darin, die Q-Werte zu erlernen, die den Agenten dabei unterstützen, die besten Aktionen für maximale Belohnungen auszuwählen.

Aufbau einer Q-Tabelle

Die Q-Tabelle ist wie folgt aufgebaut:

• Zeilen: Stellen Zustände der Umgebung dar.
• Spalten: Stellen dem Agenten zur Verfügung stehende Aktionen dar.
• Werte: Stellen den Q-Wert für Zustands-Aktions-Paare dar.

Der Agent aktualisiert diese Werte während des Lernens.

Formel zur Aktualisierung der Q-Werte

Q-Werte werden mithilfe der Bellman-Gleichung aktualisiert:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dabei gilt:

• s: Aktueller Zustand
• a: Aktuelle Aktion
• r: Belohnung für die Aktion
• s': Nächster Zustand
• α: Lernrate
• γ: Diskontfaktor

Beispiel für eine einfache Q-Tabelle

Betrachten wir eine Q-Tabelle für eine Gitterwelt:

Zustände: Gitterpositionen (z. B. A1, B1)

Aktionen: Nach oben, nach unten, nach links, nach rechts

Zu Beginn sind alle Q-Werte auf null gesetzt:

Zustand	Nach oben	Nach unten	Nach links	Nach rechts
A1	0	0	0	0
B1	0	0	0	0

Initialisieren einer Q-Tabelle in Python

Wir können eine Q-Tabelle mithilfe eines NumPy-Arrays oder eines Dictionaries darstellen:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploration im Q-Learning

Der Agent verwendet eine ε-greedy Policy, um Exploration und Exploitation auszugleichen:

• Mit der Wahrscheinlichkeit ε wird eine zufällige Aktion ausgewählt (Exploration).
• Mit der Wahrscheinlichkeit 1-ε wird die Aktion mit dem höchsten Q-Wert ausgewählt (Exploitation).

Vorteile von Q-Tabellen

Q-Tabellen sind für kleine Umgebungen einfach und effektiv. Zu ihren Vorteilen gehören:

• Einfache Implementierung und Fehlerbehebung.
• Klare Interpretation der Beziehungen zwischen Zuständen und Aktionen.
• Geringer Rechenaufwand bei kleinen Zustands-Aktions-Räumen.

Einschränkungen von Q-Tabellen

Q-Tabellen weisen einige Einschränkungen auf:

• Sie sind nicht für Umgebungen mit großen Zustands-Aktions-Räumen skalierbar.
• Bei Problemen mit hoher Dimensionalität benötigen sie viel Speicher.
• Sie können nicht auf ähnliche Zustände verallgemeinert werden.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir:

• Das Konzept und den Aufbau der Q-Tabelle kennengelernt.
• Erkundet, wie Q-Werte mithilfe der Bellman-Gleichung aktualisiert werden.
• Die Vorteile und Einschränkungen von Q-Tabellen besprochen.

Als Nächstes implementieren wir einen einfachen Q-Learning-Algorithmus in Python, um Q-Tabellen in Aktion zu erleben.